Moderne Transformers sind implizite Hybride: Von funktionaler Differenzierung zum prinzipiellen Hybrid-Architektur-Design

arXiv:2609.02986v1 Ankündigungstyp: neu Abstract: Hybrid-Architekturen, die Full Attention (FA) und Linear Attention (LA) kombinieren, werden zunehmend prominenter, doch ihre Aufteilung bleibt heuristisch. Wir suchen eine evidenzgestützte Grundlage in der kopfebenen funktionalen Organisation, die von RoPE-basierten Transformers gelernt wird