Gaussian Mixture Attention: Lineare Sequenzmischung durch probabilistisches Latent Routing

arXiv:2606.18283v1 Ankündigungstyp: neu. Zusammenfassung: Das dichte Token-zu-Token-Interaktionsmuster von Standard-Dot-Product-Attention bleibt ein zentraler Engpass bei der Skalierung von Transformer-Architekturen auf lange Kontexte. Wir führen Gaussian Mixture Attention (GMA) ein, ein probabilistisches Attention-ähnliches