Ein einheitlicher Ansatz zur Interpretation von Knowledge Distillation für Large Language Models via Interaktionen

arXiv:2607.08776v1 Trotz des Erfolgs von Knowledge Distillation in Large Language Models bleibt der zugrunde liegende Mechanismus unklar. Ein einheitlicher Ansatz wird vorgeschlagen, um den gemeinsamen Mechanismus verschiedener KD-Methoden zu untersuchen.