Notwendig aber nicht ausreichend: Temperaturkontrolle und Reproduzierbarkeit in LLM-as-Judge-Sicherheitsbewertungen

arXiv:2606.26185v1 Ankündigungstyp: neu Abstract: LLM-as-Judge-Komponenten sind nun Standard in Evaluierungs-Umgebungen, einschliesslich Sicherheitsbewertungen, bei denen ein Bestehen/Nicht-Bestehen-Urteil nachgelagerte Bereitstellungsentscheidungen kontrollieren kann. Eine weit verbreitete Annahme ist, dass das Setzen der Sampling-Temperatur des Graders auf 0