Eine Route-Umkehrung zu erkennen ist einfacher als zu wissen, ob man sie beheben sollte: Kausal vermittelte Route-Schäden in quantisierter Mixture-of-Experts

arXiv:2608.11212v1 Ankündigungstyp: neu Abstrakt: Top-k Mixture-of-Experts (MoE) Routing ist diskontinuierlich, daher führt eine deployment-motivierte numerische Störung – simulierte 4-Bit KV-Cache-Quantisierung, gelesen durch ein geschütztes BF16-Gate – zu Token, die Entscheidungsgrenzen überqueren und vertauschen, welche Experten aktiviert werden. Th…