Ablehnung jenseits einer einzelnen Richtung: Ein vorläufiger Vergleich von Diff-in-Means und INLP

arXiv:2606.13720v1 Ankündigungstyp: neu Abstract: Arditi et al. (2024) haben gezeigt, dass Ablehnung in sicherheits-feinabgestimmten Chat-Modellen durch eine einzelne lineare Richtung im Residual Stream vermittelt wird, die durch eine Differenz-im-Mittel (DiM) schädlicher und harmloser Aktivierungen wiederhergestellt werden kann. Wir vergleichen DiM-basierte Eingriffe