EN
FR
ES
DE
IT
KO
JA
L'affidabilità inter-giudici misura il grado di accordo tra diversi giudici che valutano la stessa risposta. Un forte accordo significa che il punteggio è stabile e riproducibile; un basso accordo segnala una risposta ambigua su cui i giudici divergono.
Misurare l'accordo del panel
Quando un panel IA valuta una risposta, occorre comunque sapere se i giudici concordano tra loro. L'affidabilità inter-giudici quantifica tale accordo: più è forte, più il punteggio è affidabile. Nell'AGS pubblichiamo questo coefficiente (chiamato internamente GRC) per ogni audit.
A cosa serve?
- Confidenza: un punteggio sostenuto da un forte accordo è solido.
- Segnale di allarme: un marcato disaccordo rivela una risposta ambigua o un caso limite da esaminare.
Trasparenza
Insieme all'intervallo di confidenza, l'affidabilità inter-giudici è uno degli indicatori che mostriamo per evidenziare la robustezza — e i limiti — di ogni misurazione. Dettagli sulla metodologia AGS.
Ogni domanda posta a ChatGPT senza il brand nella risposta è un concorrente raccomandato al suo posto: misurato su 6.820 risposte reali di IA.