EN
FR
ES
DE
IT
KO
JA
Die Inter-Judge-Verlässlichkeit misst den Grad der Übereinstimmung zwischen mehreren Judges, die dieselbe Antwort bewerten. Eine hohe Übereinstimmung bedeutet, dass die Bewertung stabil und reproduzierbar ist; eine geringe Übereinstimmung signalisiert eine mehrdeutige Antwort, bei der die Judges auseinandergehen.
Die Übereinstimmung der Jury messen
Wenn eine KI-Jury eine Antwort bewertet, gilt es noch herauszufinden, ob die Judges untereinander übereinstimmen. Die Inter-Judge-Verlässlichkeit beziffert diese Übereinstimmung: Je stärker sie ist, desto vertrauenswürdiger ist die Bewertung. Im AGS veröffentlichen wir diesen Koeffizienten (den wir intern GRC nennen) für jedes Audit.
Wozu dient das?
- Vertrauen: Ein Wert, der auf einer starken Übereinstimmung beruht, ist belastbar.
- Warnsignal: Eine deutliche Uneinigkeit verrät eine mehrdeutige Antwort oder einen zu prüfenden Grenzfall.
Transparenz
Zusammen mit dem Konfidenzintervall gehört die Inter-Judge-Verlässlichkeit zu den Kennzahlen, die wir anzeigen, um die Robustheit — und die Grenzen — jeder Messung aufzuzeigen. Details in der AGS-Methodik.
Weiterführendes
Fehlt Ihre Marke in einer KI-Antwort, nimmt ein Konkurrent in 37 % der Fälle ihren Platz ein. AI Labs Audit Daten: Teilstichprobe unserer Studie mit 3 002 KI-Antworten.