MARCH: Skalierung rekurrenter Memory mit Content-Routed State Anchors

arXiv:2608.12435v1 Ankündigungstyp: neu Abstract: Transformer verdanken ihre starke Long-Context-Abruffähigkeit einem Token-Level-Memory, der mit der Kontextlänge wächst. Diese Flexibilität verursacht jedoch quadratische Computerkomplexität während des Trainings und einen Key-Value-Cache, der linear wächst