Modelle machen sich Notizen beim Prefill: KV Cache kann editierbar und komponierbar sein

arXiv:2606.17107v1 Ankündigungstyp: neu Abstract: Prefix Caching nutzt Prefill nur über ein exakt gemeinsames Präfix wieder, sodass ein geändertes Feld den gesamten nachgelagerten Cache ungültig macht. Das Überschreiben der Key/Value-Vektoren des Felds selbst und die Wiederverwendung des restlichen Inhalts führt jedoch dazu, dass das Modell mit dem alten Wert arbeitet. Der Grund ist