Hierarchical Copula-Gumbel-Top-K Routing: Zweiseitige Abhängigkeitskontrolle für gefrorene Mixture-of-Experts bei festen Pro-Token Routing-Gesetzen

arXiv:2607.28670v1 Ein stochastischer Gumbel-Top-K Router definiert für jeden Token eines Mixture-of-Experts (MoE) Modells ein Routing-Gesetz: eine Verteilung über geordnete Expert-Listen und Mischungsgewichte. Wir fragen, welche gemeinsamen Verteilungen über die Routing-Entscheidungen verschiedener Tokens möglich sind