EN
FR
ES
DE
IT
KO
JA
AI judging, or LLM-as-a-judge, means each answer is scored by a language model judge drawn from a multi-vendor pool. A sample is double-scored by a second judge to measure agreement. Mixing vendors limits self-preference bias.
Das Prinzip
Statt eine KI-Antwort mit einem einzigen Modell zu bewerten — das dazu neigen würde, sich selbst zu bevorzugen —, beruft man eine Jury aus mehreren Judge-Modellen verschiedener Anbieter ein. Jedes bewertet die Antwort anhand präziser Raster (Präsenz, Korrektheit, Sentiment), danach werden die Bewertungen zusammengeführt.
Warum mehrere Judges?
- Gegen Selbstbevorzugung: Ein Modell kann seine eigenen Antworten nicht bevorzugen, wenn die Jury vielfältig ist.
- Robustheit: Vereinzelte Fehler eines Judges werden von den anderen geglättet.
- Erkennung von Halluzinationen: Ein von den Judges aufgespürter, nicht überprüfbarer Claim senkt die Bewertung.
Verlässlichkeit und Nachvollziehbarkeit
Die Übereinstimmung zwischen den Judges wird durch einen Koeffizienten der Inter-Judge-Verlässlichkeit gemessen. Die genaue Zusammensetzung der Jury jedes Audits wird über einen Konfigurations-Fingerabdruck festgehalten und sichert so die Vergleichbarkeit im Zeitverlauf. Diese Jury steht im Zentrum des AGS; siehe die Methodik und die Demonstration.
Weiterführendes
Fehlt Ihre Marke in einer KI-Antwort, nimmt ein Konkurrent in 37 % der Fälle ihren Platz ein. AI Labs Audit Daten: Teilstichprobe unserer Studie mit 3 002 KI-Antworten.