Méthodologie AGS: AI Grading System | AI Labs Audit

En 30 secondes

L'AGS (AI Grading System) est une méthode ouverte de mesure de la visibilité d'une marque dans les réponses des IA. Pour chaque réponse, on note trois choses : la marque est-elle présente, ce qui est dit est-il valorisant, et la réponse est-elle fiable, via un pool de juges indépendants (un juge par réponse, double-scoring sur un échantillon). Le score final combine ces trois notes de façon à ce qu'une faiblesse ne puisse pas être masquée. C'est avant tout une méthode : vous pouvez la comprendre, la vérifier et la contester. Version publiée : AGS v2, formule v4.

Cette méthode se lit à plusieurs niveaux : une définition en 30 secondes, un schéma, l'explication des dimensions, la formule, puis l'annexe reproductibilité. Un directeur marketing, un consultant GEO et un chercheur doivent tous pouvoir s'y retrouver, chacun au niveau de détail qui lui parle.

Le schéma

                 +---------------------------------------------+
   Scénario  --->  |  Réponse d'un modèle d'IA (ChatGPT, etc.)   |
                 +---------------------------------------------+
                                     |
                                     v
                 +---------------------------------------------+
                 |   JURY = plusieurs IA juges indépendantes   |
                 |   (fournisseurs différents, anti auto-préf.)|
                 +---------------------------------------------+
                                     |
          +--------------------------+--------------------------+
          v                          v                          v
     P - Présence              I - Influence              Q - Qualité
     (M, RP, WC)              (INF, UNQ, REL)             (SENT, ACC)
          +--------------------------+--------------------------+
                                     v
                        AGS = (P x I x Q) ^ (1/3)
                     (moyenne géométrique : un zéro sur
                      une dimension effondre le score)

La moyenne géométrique est volontaire : impossible de compenser une absence de présence par un bon sentiment. Beaucoup plus difficile à gonfler qu'une moyenne classique.

Qu’est-ce qu’AGS ?

AGS est un protocole de scoring multi-modèles. Au lieu d’utiliser un seul LLM pour évaluer la visibilité de votre marque (biais, hallucinations, dérive du modèle), AGS répartit les évaluations sur un pool de modèles issus de fournisseurs différents et publie l’écart entre eux. Plus l’écart est faible, plus le score est fiable.

Les 3 dimensions évaluées

• P (Présence) : votre marque est-elle mentionnée dans la réponse, à quelle position et sur quelle couverture de scénarios ? Combine Mention, Rang et Couverture.
• I (Influence) : lorsque la marque est citée, la réponse fournit-elle des informations utiles, uniques et pertinentes ? Combine Informativité, Unicité et Pertinence.
• Q (Qualité) : la mention est-elle positive et factuellement exacte ? Combine Sentiment et Exactitude.

La formule (méthode publique, pondérations propriétaires)

AGS = (P x I x Q) ^ (1/3), chaque dimension notée de 0 à 100. Chaque dimension est une combinaison pondérée de sous-métriques :

• P: Présence = combinaison de la Mention (M), du Rang / Position (RP) et de la Couverture (WC).
• I: Influence = combinaison de l'Informativité (INF), de l'Unicité (UNQ) et de la Pertinence (REL).
• Q: Qualité = combinaison du Sentiment (SENT) et de l'Exactitude (ACC).

Les valeurs exactes des pondérations font partie de notre méthodologie propriétaire: elles sont normalisées (somme = 1), calibrées et versionnées, et tracées par le judge_config_hash (qui garantit que deux audits au même hash utilisent exactement la même configuration de jury ; la comparabilité dépend aussi du marché, de la langue, de la période et des modèles interrogés). Nous publions la méthode: structure, moyenne géométrique, dimensions, sous-métriques, jury, fiabilité: sans divulguer la pondération exacte, qui relève de notre savoir-faire.

Jury & reproductibilité

Chaque réponse est notée par un juge primaire issu d'un pool de modèles de fournisseurs différents. Un échantillon d'environ 20 % des réponses est double-noté par un second juge pour mesurer l'accord (GRC). Le pool combine par exemple OpenAI, Anthropic, Google, Mistral et DeepSeek : la liste évolue, le judge_config_hash (SHA-256) est la référence stable.

La configuration réelle de chaque audit (modèles + poids + rubriques) est tracée par son judge_config_hash (SHA-256) : c'est lui la référence stable. Deux audits au même hash sont strictement comparables, et tout changement de jury est tracé.

• GRC : fiabilité inter-juges (oméga de McDonald, forme Spearman-Brown ω₂ = 2r/(1+r)) calculée sur les items double-notés par deux juges distincts. Publier quand au moins 5 paires sont disponibles.
• Intervalle de confiance affiché sur les scores de présence : l'incertitude est montrée, pas seulement un chiffre.
• Anchor set : un panel de marques témoins sert à la surveillance de la dérive des modèles dans le temps. Cette surveillance n'est pas intégrée au score AGS client ; la calibration EWMA cross-audits absorbe une grande partie de la dérive des juges.

Protocole d’évaluation

Pour chaque scénario audité, AGS envoie aux modèles évaluateurs des instructions identiques (zero-shot scoring). Les évaluations sont réparties en rotation sur le pool, une part d’entre elles étant doublée pour mesurer l’accord entre évaluateurs. Les scores sont ensuite agrégés et calibrés. Le résultat final inclut le score moyen, l’écart entre évaluateurs et l’intervalle de confiance bootstrap à 95 %.

Fiabilité inter-juges (GRC)

AGS publie le coefficient de fiabilité inter-juges GRC pour chaque audit quand l'échantillon double-noté le permet. Le GRC s'appuie sur l'oméga de McDonald (forme Spearman-Brown pour deux évaluateurs). Plus le GRC est proche de 1, plus les juges sont alignés. En pratique : au-dessus de 0,80, le score est très stable ; entre 0,60 et 0,80, l'accord est correct ; en dessous de 0,60, interprétez avec prudence et reformulez la question.

Transparence et reproductibilité

Chaque audit AGS produit un hash cryptographique des scénarios, des réponses brutes et des scores individuels. Cette signature permet de prouver que le score n’a pas été manipulé. La méthode AGS (structure, formule, sous-métriques) est publiée ; les pondérations exactes restent propriétaires. La spécification AQA associée est, elle, ouverte (licence MIT) sur github.com/sarsator/aqa-specification. Tout client peut vérifier ou contester un score.

Acronymes AGS

GRC

GRC : fiabilité inter-juges (oméga de McDonald, forme Spearman-Brown ω₂ = 2r/(1+r)) calculée sur les items double-notés par deux juges distincts. Publier quand au moins 5 paires sont disponibles.

GIS

Generative Inclusion Score : score moyen pondéré par la position de la marque dans la réponse (premier mentionné = 100%, dernier = 0%).

ASR

Answer Sentiment Rating : tonalité de la mention (positif/neutre/négatif) sur une échelle de -1 à +1.

BVI

BVI (Brand Variance Index) : décomposition ANOVA de la variance des scores (signal, juge, prompt, modèle). Indique ce qui fait bouger la note, pas un pourcentage de visibilité.

CIA

CIA (Citation-Influence Asymmetry) : asymétrie entre la part des URLs de la marque citées comme sources et la part des réponses qui nomment la marque. Au-delà de +20, vous alimentez les IA sans être recommandé ; en dessous de -20, vous êtes recommandé sans être cité comme source.

30 Advanced Checks GEO 2026

Sprint 15 a livré 30 nouveaux signaux GEO/AEO mesurés en passif (zéro scraping ToS-violant). Ces signaux complètent le scoring AGS via la 6e catégorie « advanced_signals » (poids 15 % du composite).

6 différenciateurs marché

• A08: Specificity score (Princeton GEO 2024): Densité de statistiques sourcées tier-1 (Princeton GEO KDD 2024 : jusqu'à +40 % de visibilité dans les réponses des IA (étude GEO, arXiv 2311.09735, KDD 2024)).
• A09: Counter-arguments markers: Aucun outil concurrent ne mesure les marqueurs d’argumentation équilibrée.
• A07: Date-stamped statements
• S05: Common Crawl inclusion
• S08: llms.txt RFC validation
• B10: Stack Overflow brand mentions

Module 6: External Authority Signals

Nouveau module dédié aux signaux d’autorité externes : LinkedIn, ProductHunt, G2/Capterra, Stack Overflow, GitHub, Substack/Medium.

Checks par module GEO

SSR / Crawlabilité

mainEntity | QAPage | Transcripts vidéo | Speakable | @graph @id | inLanguage | Common Crawl | llms.txt | IndexNow | ai.txt | Verifications | HTTP/3 | Brotli

Entity Health

Wikidata | DBpedia

Citation Readiness

Stats sourcées | Argumentation | Datage inline | ItemList | Dataset | Blockquote cite | Liens internes | Anchor entropy | Sitemap News

External Authority

Stack Overflow | LinkedIn | GitHub | ProductHunt | B2B reviews | Newsletter

Tous les checks utilisent safe_external_call (retry + cache + circuit breaker) et stockent leurs résultats dans audits.advanced_checks_v2 (JSONB + index GIN).

Article complet sur le blog: 30 nouveaux signaux GEO/AEO 2026: État de l’art audité.

Ce que nous mesurons: et ce que nous ne mesurons pas

Ce que nous mesurons

Nous interrogeons les modèles d'IA via leurs API officielles, en mode natif (la mémoire du modèle, sans navigation) et en mode web (recherche en ligne activée), avec des questions reproductibles. Chaque audit calcule une empreinte cryptographique de sa configuration : deux audits comparés sont réellement comparables.

Le panel par défaut est aligné sur les produits que le public utilise réellement (ChatGPT, Gemini, Perplexity, Claude, Mistral…), et le tableau de bord affiche une visibilité pondérée par la part d'audience réelle de chaque moteur (sources Statcounter / SimilarWeb, datées et révisées).

Ce que nous ne mesurons pas

Une réponse obtenue par API peut différer de l'interface grand public du même produit : mémoire de conversation, instructions propriétaires, géolocalisation ou tests A/B de l'éditeur. Nous mesurons le moteur, pas la session personnalisée d'un utilisateur connecté.

Les réponses des IA sont probabilistes : la même question peut produire des variantes. C'est pourquoi nous mesurons sur des dizaines de questions, avec des intervalles de confiance, plutôt que sur un test unique.

Les parts d'audience utilisées pour la pondération sont des estimations tierces, datées, et révisées régulièrement: pas des chiffres internes invérifiables.

Pourquoi documenter nos limites ? Parce qu'une mesure dont on ne connaît pas le périmètre ne vaut rien. C'est la condition pour que nos scores soient défendables devant vos clients.

Glossaire des termes techniques

Pour aller plus loin