Entdeckung und Bewahrung von Kategorie-Korrelationswissen via adaptiver gegenseitiger Knowledge Distillation

arXiv:2609.13199v1 Ankündigungstyp: neu Zusammenfassung: Knowledge Distillation zielt darauf ab, die Leistung leichtgewichtiger Student-Modelle durch Wissenstransfer von größeren und leistungsfähigeren Teacher-Modellen zu verbessern. Jedoch behindert eine erhebliche Größenabweichung zwischen Teacher- und Student-Modellen häufig effektiven Wissenstransfer…