Task-aware Federated Fine-Tuning für MoE-basierte Large Language Models

arXiv:2609.13395v1 Ankündigungstyp: neu Zusammenfassung: Mixture-of-Experts (MoE) ist eine weit verbreitete Architektur für Large Language Models (LLMs) geworden, da sie Modellkapazität verbessert, während sie Rechenaufwand durch sparsame Expert-Aktivierung begrenzt. Diese Eigenschaft macht MoE-basierte LLMs besonders für…