AgentKVShift: Effiziente KV-Cache-Wiederverwendung für agentenbasierte Memory-Systeme

arXiv:2607.21604v1 Memory-erweiterte LLM-Agenten erhalten den Kontext über Hunderte von Interaktionen hinweg durch agentenbasierte Memory-Systeme, die abgerufene Inhalte aktiv mit LLM-generierten Metadaten wie Zusammenfassungen, Schlüsselwörtern und Tags kuratieren. Aus Sicht der Inferenzkosten…