Wann und wie funktioniert Muon-Preconditioning? Die Rolle von strukturiertem Gradienten-Rauschen

arXiv:2610.31728v1 Ankündigungstyp: neu Abstract: Muon ist ein beliebter Optimizer für das LLM-Training geworden, doch seine theoretischen Grundlagen sind schlecht verstanden. In dieser Arbeit untersuchen wir, wie die Geometrie des Gradienten-Rauschens die Preconditioning-Vorteile von Muon formt. Wir zeigen zunächst theoretisch und