Unsicherheits-basierte Selektion für Block-Sparse Attention

arXiv:2607.07724v1 Ankündigungstyp: neu Abstract: Block-Sparse Attention skaliert Sprachmodelle mit langen Kontexten, indem die O(N^2) Softmax durch eine Pro-Abfrage Top-k-Selektion über Schlüssel-Blöcke ersetzt wird. Dieser Cutoff ist kurzfristig: Wenn der k-te und (k+1)-te Block fast gleich bewertet werden, entscheidet der Selektor ohne…