EN
FR
ES
DE
IT
KO
JA
La giuria IA, o "LLM-as-a-judge", consiste nel far valutare una risposta da diversi modelli linguistici che agiscono come giudici. Incrociando modelli di provider diversi, si limita il bias di autocompiacimento e si ottiene un punteggio più robusto rispetto a un singolo modello.
Il principio
Invece di valutare una risposta IA con un singolo modello — che tenderebbe a favorire se stesso — si convoca un panel di diversi modelli giudici di provider diversi. Ognuno valuta la risposta secondo rubric precise (presenza, accuratezza, sentiment), poi i punteggi vengono aggregati.
Perché diversi giudici?
- Anti autocompiacimento: un modello non può favorire le proprie risposte se il panel è variegato.
- Robustezza: gli errori occasionali di un giudice vengono smorzati dagli altri.
- Rilevamento delle allucinazioni: un'affermazione non verificabile segnalata dai giudici abbassa il punteggio.
Affidabilità e tracciabilità
L'accordo tra giudici è misurato da un coefficiente di affidabilità inter-giudici. La composizione esatta del panel per ogni audit è tracciata tramite un'impronta di configurazione, che garantisce la comparabilità nel tempo. Questo panel è al centro dell'AGS; vedi la metodologia e la dimostrazione.
Ogni domanda posta a ChatGPT senza il brand nella risposta è un concorrente raccomandato al suo posto: misurato su 6.820 risposte reali di IA.