Prism Transformer: Progressive Head Schedules für hierarchische Aufmerksamkeitsverarbeitung

arXiv:2606.27449v1 Ankündigung: Neue Arbeit. Abstrakt: Multi-Head Attention teilt konventionell die verborgene Dimension gleichmäßig über alle Heads in jeder Schicht auf und erzwingt eine identische Dimensionalität des Repräsentationsunterraums (dh = dmodel/h) über die gesamte Modelltiefe. In dieser Arbeit identifizieren wir diese einheitliche…