SpecDrop: Parameter-freies kategorie-bedingtes Routing für modulare Spezialisierung

arXiv:2608.04084v1 Ankündigungstyp: neu Zusammenfassung: Mixture-of-Experts (MoE)-Netzwerke verfolgen Spezialisierung durch gelernte Router, Gates und Load-Balancing-Verluste, aber bei angepassten Gesamtparameter-Budgets können gelernte Router No-Routing-Baselines mit gleicher Gewichtung unterperformen. Ist der Engpass das Routing…