Verteilte LLM-Inferenz durch kommunikationseffizientes Spekulatives Decoding

arXiv:2610.35957v1 Ankündigung: Neue Arbeit. Abstract: Verteiltes spekulatives Decoding hat sich als vielversprechender Ansatz für die kollaborative Inferenz von Geräten und Servern bei Large Language Models etabliert, aber die Dekodierungsbeschleunigung wird oft durch den Kommunikations-Overhead auf Vokabular-Ebene begrenzt