MP-ISMoE: Gemischte Präzision Interactive Side Mixture-of-Experts für effizientes Transfer Learning

arXiv:2605.04058v1 Ankündigungstyp: neu Abstract: Parameter-effizientes Transfer Learning (PETL) hat sich als zentrales Paradigma für die Anpassung vortrainierter Foundation Models an nachgelagerte Aufgaben etabliert und reduziert trainierbare Parameter erheblich, leidet aber unter erheblichem Speicheraufwand durch Gradienten