TalkLoRA: Kommunikationsaware Mixture of Low-Rank Adaptation für große Sprachmodelle

Low-Rank Adaptation (LoRA) ermöglicht parameter-effizientes Fine-Tuning großer Sprachmodelle, und kürzliche Mixture-of-Experts-Erweiterungen erhöhen die Flexibilität durch dynamisches Kombinieren mehrerer LoRA-Experten. Allerdings haben bestehende MoE-augmentierte…