Trainingsfreie Wissenstransfer über Model-Skalen durch aktivierungsgelenkte Pruning

arXiv:2608.13596v1 Ankündigungstyp: neu Abstract: Heterogene Model Fusion versucht, Modelle zu kombinieren, die sich in Aufgaben, Initialisierungen, Architekturen oder Skalen unterscheiden. Wir untersuchen eine wenig erforschte Cross-Scale-Einstellung: Verbesserung eines kleinen Empfänger-Language-Modells mit einem stärkeren Donor trotz erheblicher Architektur