PowerOPD: On-Policy Distillation mit begrenzter Power Transformation stabilisieren

arXiv:2606.17199v1 Ankündigungstyp: neu Abstract: Standardmäßige On-Policy Distillation (OPD) für große Sprachmodelle schätzt das Reverse-KL-Ziel mit studentengesteuerten Token, was einen unverzerrten Single-Sample Monte-Carlo-Schätzer ergibt, der Vokabular-breite Berechnung vermeidet. Wir zeigen jedoch, dass dies