Attention-Sensitivität ist nicht genug: Dissoziierung von Attention-Level und behavioralem In-Context Learning unter Fine-Tuning

arXiv:2609.00064v1 Ankündigungstyp: neu Abstract: In-Context Learning (ICL) lässt Large Language Models sich von Demonstrationen aus an neue Tasks anpassen, und Fine-Tuning kann dieses Verhalten erodieren. Viele Erhaltungsdiagnostiken inspizieren Attention: Wenn sich Attention ändert, wenn Demonstrationen sich ändern, wird das Modell als