Ausbalancieren von Wiedergabetreue und Diversität in Diffusionsmodellen mittels symmetrischer Attention-Dekomposition: Hopfield-Perspektive

arXiv:2605.27476v1 Ankündigungstyp: neu Abstract: Wir charakterisieren die Pre-Softmax-Attention-Matrix $\mathbf{QK^\top}$ in Transformern als assoziative Speichermatrix, die paarweise Zuordnungen zwischen Eingabemerkmalen codiert. Durch Dekomposition dieser Matrix in ihre symmetrischen und schiefsymmetrischen Teile interpretieren wir