Metodologia AGS: AI Grading System | AI Labs Audit

In 30 secondi

L'AGS (AI Grading System) è un metodo aperto per misurare la visibilità di un brand nelle risposte delle IA. Per ogni risposta valutiamo tre cose: il brand è presente, ciò che si dice è valorizzante, la risposta è affidabile, con un pool di giudici indipendenti (un giudice per risposta, doppia valutazione su un campione). Il punteggio finale combina le tre note in modo che una debolezza non possa essere nascosta. È soprattutto un metodo: potete comprenderlo, verificarlo e contestarlo. Versione pubblicata: AGS v2, formula v4.

Questo metodo può essere letto a diversi livelli: una definizione di 30 secondi, un diagramma, una spiegazione delle dimensioni, la formula, e infine l'appendice sulla riproducibilità. Un direttore marketing, un consulente GEO e un ricercatore dovrebbero tutti potersi orientare, ciascuno al livello di dettaglio che gli parla.

Il diagramma

                 +---------------------------------------------+
   Scenario --->  |   Risposta da un modello AI (ChatGPT, ecc.) |
                 +---------------------------------------------+
                                     |
                                     v
                 +---------------------------------------------+
                 |  GIURIA = diversi giudici AI indipendenti   |
                 |  (provider diversi, anti self-pref.)        |
                 +---------------------------------------------+
                                     |
          +--------------------------+--------------------------+
          v                          v                          v
     P - Presenza               I - Influenza              Q - Qualità
     (M, RP, WC)              (INF, UNQ, REL)             (SENT, ACC)
          +--------------------------+--------------------------+
                                     v
                        AGS = (P x I x Q) ^ (1/3)
                     (media geometrica: uno zero su una
                      dimensione fa crollare il punteggio)

La media geometrica è deliberata: non puoi compensare un'assenza di presenza con un buon sentiment. Molto più difficile da gonfiare di una media convenzionale.

Cos'è AGS?

AGS è un protocollo di scoring multi-modello open-source. Invece di affidarsi a un singolo LLM per valutare la visibilità del tuo brand (bias, allucinazioni, drift del modello), AGS distribuisce le valutazioni su un pool di modelli di fornitori diversi e pubblica lo scarto tra loro. Più lo scarto è ridotto, più il punteggio è affidabile.

Le 3 dimensioni valutate

• P (Precision): la risposta menziona il tuo brand correttamente, senza confusione con un competitor o omonimo? Misura allucinazioni ed errori di attribuzione.
• I (Informativeness): la risposta fornisce informazioni utili e differenzianti sul tuo brand, o lo nomina soltanto? Misura la profondità della citazione.
• Q (Quality): la risposta è fattualmente corretta e aggiornata? Misura la freschezza delle informazioni e la conformità a fatti verificabili.

La formula (metodo pubblico, pesi proprietari)

AGS = (P x I x Q) ^ (1/3), ogni dimensione valutata da 0 a 100. Ogni dimensione è una combinazione ponderata di sotto-metriche:

• P: Presenza = una combinazione di Mention (M), Rank / Position (RP) e Coverage (WC).
• I: Influenza = una combinazione di Informativeness (INF), Uniqueness (UNQ) e Relevance (REL).
• Q: Qualità = una combinazione di Sentiment (SENT) e Accuracy (ACC).

I valori esatti dei pesi fanno parte della nostra metodologia proprietaria: sono normalizzati (somma = 1), calibrati e versionati, e tracciati dal judge_config_hash (che garantisce che due audit che condividono lo stesso hash siano strettamente comparabili). Pubblichiamo il metodo: struttura, media geometrica, dimensioni, sotto-metriche, giuria, affidabilità: senza divulgare i pesi esatti, che fanno parte del nostro know-how.

Giuria & riproducibilità

Ogni risposta è valutata da un giudice primario di un pool di modelli di fornitori diversi. Un campione di circa il 20 % è valutato da un secondo giudice per misurare l'accordo (GRC). Il pool combina ad esempio OpenAI, Anthropic, Google, Mistral e DeepSeek: l'elenco evolve, il judge_config_hash (SHA-256) è il riferimento stabile.

La configurazione effettiva di ogni audit (modelli + pesi + rubriche) è tracciata dal suo judge_config_hash (SHA-256): quello è il riferimento stabile. Due audit che condividono lo stesso hash sono strettamente comparabili, e qualsiasi modifica alla giuria è tracciata.

• GRC: affidabilità tra giudici (omega di McDonald, forma Spearman-Brown ω₂ = 2r/(1+r)) calcolata su item valutati da due giudici distinti. Si pubblica quando ci sono almeno 5 paia disponibili.
• Intervallo di confidenza mostrato sui punteggi di presenza: l'incertezza è visibile, non solo un numero.
• Anchor set: un pannello di brand di riferimento sorveglia la deriva dei modelli nel tempo. Questa sorveglianza non entra nel punteggio AGS del cliente; la calibrazione EWMA tra audit assorbe gran parte della deriva dei giudici.

Protocollo di valutazione

Per ogni scenario auditato, AGS invia ai modelli valutatori istruzioni identiche (scoring zero-shot). Le valutazioni sono distribuite a rotazione sul pool, con una quota duplicata per misurare l'accordo tra valutatori. I punteggi vengono poi aggregati e calibrati. Il risultato finale include il punteggio medio, lo scarto tra valutatori e l'intervallo di confidenza bootstrap al 95 %.

Affidabilità tra giudici (GRC)

AGS pubblica il coefficiente di affidabilità tra giudici GRC per ogni audit quando il campione doppio lo consente. Il GRC si basa sull'omega di McDonald (forma Spearman-Brown per due valutatori). Più è vicino a 1, maggiore è l'accordo. In pratica: oltre 0,80 il punteggio è molto stabile; tra 0,60 e 0,80 l'accordo è accettabile; sotto 0,60 interpretare con prudenza e riformulare la domanda.

Trasparenza e riproducibilità

Ogni audit AGS produce un hash crittografico degli scenari, delle risposte grezze e dei punteggi individuali. Questa firma prova che il punteggio non è stato manipolato. Il codice AGS è open source (licenza MIT) su github.com/sarsator/aqa-specification, e la formula di scoring è versionata e pubblicata. Qualsiasi cliente può verificare o contestare un punteggio.

Acronimi AGS

GRC

GRC: affidabilità tra giudici (omega di McDonald, forma Spearman-Brown ω₂ = 2r/(1+r)) calcolata su item valutati da due giudici distinti. Si pubblica quando ci sono almeno 5 paia disponibili.

GIS

Generative Inclusion Score: punteggio medio ponderato basato sulla posizione del brand nella risposta (primo menzionato = 100%, ultimo = 0%).

ASR

Answer Sentiment Rating: tonalità della menzione (positiva/neutra/negativa) su una scala da -1 a +1.

BVI

BVI (Brand Variance Index): decomposizione ANOVA della varianza dei punteggi (segnale, giudice, prompt, modello). Indica cosa muove il voto, non una percentuale di visibilità.

CIA

CIA (Citation-Influence Asymmetry): asimmetria tra la quota di URL del brand citati come fonti e la quota di risposte che nominano il brand. Oltre +20 alimentate le IA senza essere raccomandati; sotto -20 venite raccomandati senza essere citati come fonte.

30 Check GEO Avanzati 2026

Lo Sprint 15 ha consegnato 30 nuovi segnali GEO/AEO misurati passivamente (zero scraping che viola i ToS). Questi segnali completano lo scoring AGS attraverso la 6ª categoria 'advanced_signals' (peso composito 15%).

6 differenziatori di mercato

• A08: Specificity score (Princeton GEO 2024): Densità di statistiche con fonte tier-1 (Princeton GEO KDD 2024: fino a +40% di citazioni LLM).
• A09: Marcatori di contro-argomentazioni: Nessun tool concorrente misura i marcatori di argomentazione bilanciata.
• A07: Dichiarazioni datate
• S05: Inclusione in Common Crawl
• S08: Validazione RFC llms.txt
• B10: Menzioni del brand su Stack Overflow

Modulo 6: Segnali di Autorità Esterna

Nuovo modulo dedicato ai segnali di autorità esterna: LinkedIn, ProductHunt, G2/Capterra, Stack Overflow, GitHub, Substack/Medium.

Check per modulo GEO

SSR / Crawlability

mainEntity | QAPage | Trascrizioni video | Speakable | @graph @id | inLanguage | Common Crawl | llms.txt | IndexNow | ai.txt | Verifiche | HTTP/3 | Brotli

Entity Health

Wikidata | DBpedia

Citation Readiness

Statistiche con fonte | Argomentazione bilanciata | Datazione inline | ItemList | Dataset | Blockquote cite | Link interni | Entropia anchor | News Sitemap

External Authority

Stack Overflow | LinkedIn | GitHub | ProductHunt | Recensioni B2B | Newsletter

Tutti i check usano safe_external_call (retry + cache + circuit breaker) e memorizzano i risultati in audits.advanced_checks_v2 (JSONB + indice GIN).

Articolo completo sul blog: 30 nuovi segnali GEO/AEO 2026: Stato dell'arte auditato.

Cosa misuriamo: e cosa non misuriamo

Cosa misuriamo

Interroghiamo i modelli AI attraverso le loro API ufficiali, in modalità nativa (la memoria del modello, senza browsing) e in modalità web (ricerca online abilitata), con domande riproducibili. Ogni audit calcola un'impronta crittografica della sua configurazione: due audit confrontati sono genuinamente comparabili.

Il panel predefinito è allineato con i prodotti che il pubblico usa realmente (ChatGPT, Gemini, Perplexity, Claude, Mistral…), e la dashboard mostra un punteggio di visibilità ponderato per la quota di audience reale di ciascun motore (fonti Statcounter / SimilarWeb, datate e riviste).

Cosa non misuriamo

Una risposta ottenuta tramite API può differire dall'interfaccia consumer dello stesso prodotto: memoria della conversazione, istruzioni proprietarie, geolocalizzazione o test A/B lato provider. Misuriamo il motore, non la sessione personalizzata di un utente loggato.

Le risposte delle IA sono probabilistiche: la stessa domanda può produrre varianti. Per questo misuriamo su decine di domande, con intervalli di confidenza, invece che su un test singolo.

Le quote di audience usate per la ponderazione sono stime di terze parti, datate e regolarmente riviste: non cifre interne non verificabili.

Perché documentare i nostri limiti? Perché una misurazione il cui perimetro è sconosciuto non vale nulla. È ciò che rende i nostri punteggi difendibili di fronte ai tuoi clienti.

Glossario termini tecnici

Approfondisci