Quantifizierung des Memorization-zu-Generalization-Übergangs: Skalierungsgesetze und Phasenstruktur im Grokking

arXiv:2609.10657v1 Ankündigung: Neu. Zusammenfassung: Neuronale Netze, die über Memorization hinaus trainiert werden, erleben häufig einen verzögerten Übergang zur Generalisierung, ein Phänomen bekannt als Grokking. Trotz theoretischer Fortschritte zum Verständnis, warum dieser Übergang stattfindet, ist die quantitative Struktur des Wann noch unklar