MODE: Modalitäts-zerlegte Quantisierung mit gemischter Präzision auf Expertenebene für MoE Multimodale LLMs

arXiv:2606.17118v1 Ankündigungstyp: neu Abstract: Mixture-of-Experts Multimodale Große Sprachmodelle (MoE-MLLMs) bieten bemerkenswerte Leistung, erfordern aber prohibitive GPU-Speicherkosten, was Komprimierung unerlässlich macht. Unter PTQ-Methoden hat sich Quantisierung mit gemischter Präzision auf Expertenebene als wirksam für MoE erwiesen