Über die Invarianten der Softmax-Attention

arXiv:2605.02907v1 Ankündigungstyp: neu Abstract: Softmax-Attention bildet jede Query-Key-Interaktion auf eine Wahrscheinlichkeitsverteilung ab, aber die zugrunde liegende Struktur bleibt weitgehend unerforsccht. Wir definieren das Energiefeld, den zentrierten Attention-Logit und zeigen, dass er invariante Eigenschaften aufweist