MawForge: Speicherbegrenzte Expert-Materialisierung für lokale Mixture-of-Experts Inference

arXiv:2607.09686v1 Ankündigungstyp: neu Abstract: Sparse Mixture-of-Experts (MoE) Language Models trennen die Gesamtparameteranzahl von der pro-Token aktiven Berechnung, aber lokale Inferenzsysteme erfordern oft trotzdem das vollständige Modell, Key-Value Cache, Runtime-Buffer und Operating-System-Kopfraum.