Neubewertung von Datenkuration beim LLM-Training: Online-Gewichtung bietet bessere Generalisierung als Offline-Methoden

arXiv:2605.05227v1 Ankündigungstyp: neu Abstract: Datenkuration ist ein kritisches aber unterbeleuchtetes Gebiet beim Large Language Model (LLM) Training. Bestehende Methoden wie Datenauswahl und -mischung arbeiten nach einem Offline-Paradigma, das sich vom Training trennt. Diese Trennung führt zu Engineering