Unsicherheits-bewusste sequenzielle Entscheidungsregeln für ereignisgesteuerte LLM-Aufrufe in Streaming-Systemen

arXiv:2607.13048v1 Neue Veröffentlichung Zusammenfassung: Streaming-Inference-Pipelines koppeln zunehmend leichte schnelle Modelle mit Large Language Models (LLMs), die umfassendes semantisches Verständnis zu erheblichen Kosten bieten. Die zentrale Frage, wann das LLM aufgerufen werden soll, hat bisher nur begrenzte formale Behandlung erfahren