MoEZip: Routing-bewusste KV-Cache-Kompression für spärliche Mixture-of-Experts-LLMs

arXiv:2610.30206v1 Announce Type: new Abstract: Mixture-of-Experts (MoE) Sprachmodelle skalieren Modellkapazität effizient durch Aktivierung einer kleinen Teilmenge von Parametern pro Token. Jedoch bleibt bei längeren Kontext-Inferenzen Speicher ein großer Engpass, da der KV-Cache linear mit der Sequenzlänge wächst