Von Parametern zu Daten: Eine Task-Parameter-gesteuerte Fine-Tuning-Pipeline für effiziente LLM-Alignment

Die Anpassung großer Sprachmodelle an spezialisierte Domänen ist typischerweise mit hohem Daten- und Rechenaufwand verbunden. Während bisherige Effizienzbestrebungen Datenauswahl und Parameter-effizientes Fine-Tuning weitgehend als isolierte Prozesse behandelt haben, zeigen unsere empirischen Ergebnisse.