Fingerabdruck, nicht Blueprint: Wie Positionsschemen die Standard-Spektralalgebra der Attention bestimmen

arXiv:2607.06621v1 Ankündigungstyp: neu Abstract: Der Pre-Softmax-Score eines Attention-Kopfes ist eine bilineare Form score(i,j) = x_i^T M x_j in einem gelernten Operator M = W_q^T W_k. Da M allgemein nicht-symmetrisch ist, daher nicht-normal, hat es ein komplexes Eigenenspektrum und nicht-orthogonale Eigenvektoren