Jenseits von Policy Discrepancy: Fähigkeitsbewusste Multi-Teacher On-Policy Distillation

arXiv:2610.26950v1 Multi-Teacher On-Policy Distillation (MOPD) integriert Domänen-Spezialisten in einen gemeinsamen Student, aber die Bestimmung, wie stark jeder Teacher die Aufsicht ausüben sollte, bleibt eine Herausforderung. Bestehende Discrepancy-basierte Zuweisung kann starke Aufsicht zuweisen, selbst wenn