Metrica IA

Affidabilità inter-giudici (GRC)

L'affidabilità inter-giudici misura il grado di accordo tra diversi giudici che valutano la stessa risposta. Un forte accordo significa che il punteggio è stabile e riproducibile; un basso accordo segnala una risposta ambigua su cui i giudici divergono.

Misurare l'accordo del panel

Quando un panel IA valuta una risposta, occorre comunque sapere se i giudici concordano tra loro. L'affidabilità inter-giudici quantifica tale accordo: più è forte, più il punteggio è affidabile. Nell'AGS pubblichiamo questo coefficiente (chiamato internamente GRC) per ogni audit.

A cosa serve?

  • Confidenza: un punteggio sostenuto da un forte accordo è solido.
  • Segnale di allarme: un marcato disaccordo rivela una risposta ambigua o un caso limite da esaminare.

Trasparenza

Insieme all'intervallo di confidenza, l'affidabilità inter-giudici è uno degli indicatori che mostriamo per evidenziare la robustezza — e i limiti — di ogni misurazione. Dettagli sulla metodologia AGS.

Come compaiono i vostri marchi nelle risposte delle IA?

Agenzie, consulenti e team interni: confrontate le risposte ai vostri scenari, nelle lingue e con i modelli selezionati. La nostra infrastruttura, i vostri scenari, la vostra esperienza.