EN
FR
ES
DE
IT
KO
JA
Le jury d'IA, ou « LLM-as-a-judge », consiste à faire évaluer une réponse par plusieurs modèles de langue jouant le rôle de juges. En croisant des modèles de fournisseurs différents, on limite le biais d'auto-préférence et on obtient une notation plus robuste qu'avec un seul modèle.
Le principe
Plutôt que de noter une réponse d'IA avec un seul modèle — qui aurait tendance à se préférer lui-même —, on convoque un jury de plusieurs modèles juges issus de fournisseurs différents. Chacun note la réponse selon des grilles précises (présence, exactitude, sentiment), puis les notes sont agrégées.
Pourquoi plusieurs juges ?
- Anti auto-préférence : un modèle ne peut pas favoriser ses propres réponses si le jury est diversifié.
- Robustesse : les erreurs ponctuelles d'un juge sont lissées par les autres.
- Détection d'hallucinations : un claim invérifiable repéré par les juges fait baisser la note.
Fiabilité et traçabilité
L'accord entre les juges est mesuré par un coefficient de fiabilité inter-juges. La composition exacte du jury de chaque audit est tracée par une empreinte de configuration, garantissant la comparabilité dans le temps. Ce jury est au cœur de l'AGS ; voir la méthodologie et la démonstration.
ChatGPTへの質問の回答にあなたの名前がなければ、その分だけ競合があなたの代わりに推奨されています——実際のAI回答6,820件で測定。