Rotations-erhaltende überwachte Feinabstimmung

arXiv:2605.10973v1 Ankündigungstyp: neu Zusammenfassung: Supervised Fine-Tuning (SFT) verbessert die In-Domain-Leistung, kann aber die Out-of-Domain (OOD) Generalisierung verschlechtern. Frühere Arbeiten deuten darauf hin, dass diese Verschlechterung mit Änderungen in dominanten singulären Unterräumen von vortrainierten Gewichtsmatrizen zusammenhängt