FuRA: Vollrang-Parameter-effizientes Fine-Tuning mit spektraler Vorkonditionierung

arXiv:2605.22869v1 Ankündigung Typ: neu Abstract: Sowohl vollständiges Fine-Tuning (Full FT) als auch Parameter-effiziente Fine-Tuning-Methoden wie LoRA führen Gewichtsaktualisierungen durch, ohne die spektrale Struktur berücksichtigen, die während des Pretrainings etabliert wurde. Dies führt zu verrauschten Gradienten aus begrenzten Fine-Tuning-Daten