L'intervallo di confidenza di Wilson è una formula statistica progettata per piccoli campioni binari (successo/insuccesso) che delimita un punteggio osservato tra un limite inferiore e uno superiore. AI Labs Audit lo evidenzia su ogni Hero Grade per indicare se il punteggio è statisticamente solido o ancora fragile.
Perché non una semplice media?
Immagina un brand citato 4 volte su 5 prompt (80%) e un altro citato 80 volte su 100 prompt (80%). Entrambi hanno la stessa media, ma il secondo è molto più affidabile. L'intervallo di confidenza di Wilson coglie questa differenza.
Come leggerlo
Per ogni Hero Grade, AI Labs Audit mostra ad esempio:
Punteggio: 78 / 100
Intervallo di Wilson 95%: [71; 84]
Lettura: con una confidenza del 95%, il punteggio reale è compreso tra 71 e 84. Più l'intervallo è stretto, più il voto è solido. Un intervallo ampio segnala che è opportuno rieseguire un audit con più prompt o attendere più dati storici.
Perché Wilson invece di Wald?
La classica formula di Wald (media ± deviazione standard) è numericamente instabile quando il punteggio è vicino allo 0% o al 100% e quando il campione è piccolo (tipico degli audit AEO/GEO su 12-24 prompt). Wilson rimane accurata in queste regioni ed è la formula raccomandata dagli standard statistici moderni (Brown, Cai & DasGupta, 2001).
Wilson e AGS
L'AGS (Anti-Drift Grading System) calcola un intervallo di Wilson su ogni dimensione del Hero Grade e su ogni risposta valutata. In questo modo i punteggi fragili (intervallo > 15 punti) diventano immediatamente visibili e vengono segnalati nel PDF Premium, preservando la difendibilità del report.
Ogni domanda posta a ChatGPT senza il brand nella risposta è un concorrente raccomandato al suo posto: misurato su 6.820 risposte reali di IA.