EN
FR
ES
DE
IT
KO
JA
AI judging, or LLM-as-a-judge, means each answer is scored by a language model judge drawn from a multi-vendor pool. A sample is double-scored by a second judge to measure agreement. Mixing vendors limits self-preference bias.
El principio
En lugar de puntuar una respuesta de IA con un solo modelo —que tendería a preferirse a sí mismo—, se convoca a un jurado de varios modelos jueces procedentes de proveedores distintos. Cada uno puntúa la respuesta según criterios precisos (presencia, exactitud, sentimiento), y luego las notas se agregan.
¿Por qué varios jueces?
- Anti autopreferencia: un modelo no puede favorecer sus propias respuestas si el jurado es diverso.
- Robustez: los errores puntuales de un juez se suavizan con los demás.
- Detección de alucinaciones: una afirmación inverificable detectada por los jueces hace bajar la nota.
Fiabilidad y trazabilidad
El acuerdo entre los jueces se mide mediante un coeficiente de fiabilidad entre jueces. La composición exacta del jurado de cada auditoría se registra mediante una huella de configuración, lo que garantiza la comparabilidad a lo largo del tiempo. Este jurado está en el centro del AGS; ver la metodología y la demostración.
Para seguir
Cuando tu marca está ausente de una respuesta de IA, un competidor ocupa su lugar en el 37 % de los casos. Datos de AI Labs Audit: submuestra de nuestro estudio de 3 002 respuestas.