Behalten oder nicht behalten: Learning KV-Cache-Aufbewahrung in disaggregierten LLM-Serving-Systemen

arXiv:2610.28637v1 Announce Type: new Abstract: Disaggregiertes LLM-Serving trennt Prefill und Decode über Node-Pools auf und platziert ein Netzwerk-Fabric zwischen KV-Cache-Berechnung und -Verbrauch. Dies bricht eine Schlüsselannahme klassischer Cache-Richtlinien: Ein Cache Miss verursacht nicht mehr nur niedrige…