CP-MoE: Konsistenzerhaltende Mixture-of-Experts für kontinuierliches Lernen

arXiv:2605.20247v1 Ankündigungstyp: neu Zusammenfassung: Katastrophales Vergessen bleibt ein grosses Hindernis für kontinuierliches Lernen in Large Language Models (LLMs) und Vision-Language Models (VLMs). Obwohl Mixture-of-Experts (MoE)-Architekturen einen effizienten Weg zur Skalierung bieten, scheitern bestehende LoRA-basierte MoE-Verfahren