Spektrale Rand-Dynamiken offenbaren funktionale Lernmodi

Trainingsdynamiken während Grokking konzentrieren sich entlang einer kleinen Anzahl dominanter Update-Richtungen – dem spektralen Rand – die zuverlässig zwischen Grokking und Nicht-Grokking-Regimen unterscheidet. Wir zeigen, dass Standard-Mechanistik-Interpretierbarkeitstools…