RoVE: Rotary Value Embeddings Attention für relative positionsabhängige Value-Pfade

arXiv:2606.11275v1 Ankündigungstyp: neu Abstract: Rotary Position Embeddings (RoPE) machen Attention-Scores relativ zu Positionen, lassen aber den Value-Pfad positionsblind: Die Nachricht, die von einem Value-Token gesendet wird, ist unabhängig von seiner Entfernung zur Query gleich. Wir schlagen RoVE vor, eine parameterfreie Modifizierung