TallyTrain: Kommunikationseffiziente Federated Distillation

arXiv:2607.00173v1 Ankündigung: Neue Arbeit Abstract: Federated Learning ist bandbreitenbegrenzt auf zwei orthogonale Achsen: Modellgröße, die einschränkt, wie oft Parameter-Averaging-Methoden sich leisten können zu mergen, und Klassen-Anzahl, die Soft-Label-Distillation pro Probe bei großen Vokabularen unmöglich macht. Beide Grenzen…