Motif-Mamba: Netzwerk-Motiv verbessertes Mamba für Langzeit-Sequenzmodellierung

Effiziente Langzeit-Sequenzmodellierung bleibt eine zentrale Herausforderung für Large Language Models, da Self-Attention quadratisch mit der Sequenzlänge skaliert. Mamba bietet eine linear-zeitliche Alternative durch selektive State-Space-Rekurrenz, hat aber überwiegend lineare Komponenten