Sticky Routing: Training von MoE-Modellen für speichereffiziente Inferenz

arXiv:2607.08780v1 Mixture-of-Experts Modelle aktivieren nur eine sparsame Teilmenge von Experten pro Token, aber aufeinanderfolgende Tokens aktivieren häufig unterschiedliche Experten — was zu ständigem Gewichts-Swapping zwischen langsamem Speicher und schnellem RAM auf Edge-Geräten führt.