Gewichtsraum-Geometrie des Offline-Reasoning-Trainings

arXiv:2606.23740v1 Announce Type: new Abstract: Offline-Reinforcement-Learning-Verlustfunktionen (RFT, RIFT, DFT, Offline GRPO, DPO) werden häufig verwendet, um Reasoning von großen Lehrermodellen in kleinere Schülermodelle zu destillieren, und werden typischerweise nur anhand von nachgelagerten Genauigkeitswerten verglichen. Wir fragen, ob sie mechanistisch