Méthodologie AGS: AI Grading System | AI Labs Audit
AGS regroupe des méthodes propriétaires d’évaluation des réponses IA. Cette page décrit notamment la voie P/I/Q de référence, formule 4 ; son existence ne prouve pas que tous les audits utilisent cette version.
En 30 secondes
La présence de la marque, les informations qui la concernent et leur qualité peuvent être évaluées sur un corpus de réponses. Identifiez la méthode, sa version, les modèles, les modes et la couverture avant d’interpréter le score. AGS, readiness technique et grades ne désignent pas une mesure unique.
Cette méthode se lit à plusieurs niveaux : une définition en 30 secondes, un schéma, l'explication des dimensions, la formule, puis l'annexe reproductibilité. Un directeur marketing, un consultant GEO et un chercheur doivent tous pouvoir s'y retrouver, chacun au niveau de détail qui lui parle.
Le schéma
Réponses et observations admissibles
|
v
Évaluations disponibles
|
v
P / I / Q (0..100)
|
v
Référence formule 4 (cas complet)
AGS = (P x I x Q) ^ (1/3)
Absences : résultat partiel ou non mesurable
Schéma du cas complet P/I/Q de référence. Des dimensions manquantes donnent un résultat partiel ; un zéro présent reste un zéro. Ce schéma ne décrit pas automatiquement chaque audit historique.
Qu’est-ce qu’AGS ?
AGS évalue un corpus de réponses selon une méthode identifiée. Un accord élevé entre juges ne démontre pas à lui seul l’exactitude des affirmations ni la représentativité du corpus.
Dimensions de la voie P/I/Q
- P (Présence) combine mention, position réciproque et part des mots liés à la marque dans les observations admissibles. Il ne mesure pas la part réelle de tous les usages IA.
- I (Influence) : lorsque la marque est citée, la réponse fournit-elle des informations utiles, uniques et pertinentes ? Combine Informativité, Unicité et Pertinence.
- Q (Qualité) : la mention est-elle positive et factuellement exacte ? Combine Sentiment et Exactitude.
Quelle méthode s’applique à ce résultat ?
AGS P/I/Q, readiness AEO, composites techniques et Hero Grades décrivent des mesures différentes. Des voies de stockage, recalcul et repli existent, avec des règles distinctes pour les valeurs manquantes et zéro. Identifiez la source du résultat, sa méthode, sa version et sa couverture avant de comparer dashboard et rapport.
Référence documentaire vérifiée le 16 novembre 2026 par lecture du code. Ces chemins disponibles ne démontrent pas un incident dans un audit donné. Si la provenance ou la version manque, la comparaison reste non vérifiée ; aucune métrique interne n’est une métrique officielle Google.
Voie P/I/Q de référence : formule 4
La formule 4 agrège géométriquement les dimensions disponibles, notées de 0 à 100. Avec trois dimensions : AGS = (P x I x Q) ^ (1/3). Une dimension présente à zéro donne zéro ; toutes absentes donnent un résultat non mesurable. Un résultat partiel doit être identifié comme tel.
- P : combinaison de la mention (M), de la position réciproque (RP) et de la part de mots (WC).
- I: Influence = combinaison de l'Informativité (INF), de l'Unicité (UNQ) et de la Pertinence (REL).
- Q: Qualité = combinaison du Sentiment (SENT) et de l'Exactitude (ACC).
Les sous-métriques sont pondérées dans le calcul de référence. Une configuration déclarée ou son hash ne démontre pas à lui seul les poids effectivement appliqués. Pour reproduire un résultat, il faut documenter la version du calcul, ses paramètres réels et les observations admissibles.
Jury & reproductibilité
Le protocole multi-juges prévoit un évaluateur primaire et peut doubler l’évaluation d’un sous-échantillon. Le jury, la couverture et le taux de double évaluation doivent être ceux du corpus considéré, sans supposer un pool ou un taux fixe pour tous les audits.
Le judge_config_hash peut identifier des éléments du jury et des rubriques disponibles. Il ne garantit ni l’application des paramètres ni la comparabilité. Vérifiez aussi questions, corpus, langue, marché, modèles, modes, dates, version et couverture.
- GRC : fiabilité inter-juges (oméga de McDonald, forme Spearman-Brown ω₂ = 2r/(1+r)) calculée sur les items double-notés par deux juges distincts. Publier quand au moins 5 paires sont disponibles.
- L’intervalle d’AGS de référence est estimé par bootstrap quand les observations le permettent. Il peut être absent : il faut indiquer la méthode et la population avant d’interpréter l’incertitude.
- La calibration et les panels témoins peuvent servir à étudier la dérive. Leur disponibilité et leur effet doivent être documentés pour la période considérée ; ils ne prouvent pas une correction automatique de toute évolution des modèles.
Protocole d’évaluation
Les évaluations sont agrégées selon la voie et la version retenues. Dans la voie P/I/Q de référence, un intervalle bootstrap peut être calculé sur les observations disponibles ; il peut manquer, notamment avec moins de cinq observations. Il ne couvre pas toute la variabilité entre fournisseurs ou exécutions.
Fiabilité inter-juges (GRC)
Le GRC décrit l’accord entre évaluateurs sur les réponses double-notées lorsque les données permettent son calcul. Il ne constitue ni une probabilité d’exactitude ni une garantie de stabilité dans le temps. Publiez le nombre de paires et les limites du corpus.
Transparence et reproductibilité
Une empreinte peut aider à reconnaître une configuration ; elle n’est pas une preuve suffisante d’intégrité, de non-manipulation ou de comparabilité. Conservez les réponses sources, paramètres réellement appliqués, versions, dates et couverture pour permettre une vérification.
Acronymes AGS
- GRC
- GRC : fiabilité inter-juges (oméga de McDonald, forme Spearman-Brown ω₂ = 2r/(1+r)) calculée sur les items double-notés par deux juges distincts. Publier quand au moins 5 paires sont disponibles.
- GIS
- Generative Inclusion Score : score moyen pondéré par la position de la marque dans la réponse (premier mentionné = 100%, dernier = 0%).
- ASR
- Answer Sentiment Rating : tonalité de la mention (positif/neutre/négatif) sur une échelle de -1 à +1.
- BVI
- BVI (Brand Variance Index) : décomposition ANOVA de la variance des scores (signal, juge, prompt, modèle). Indique ce qui fait bouger la note, pas un pourcentage de visibilité.
- CIA
- CIA (Citation-Influence Asymmetry) : asymétrie entre la part des URLs de la marque citées comme sources et la part des réponses qui nomment la marque. Au-delà de +20, vous alimentez les IA sans être recommandé ; en dessous de -20, vous êtes recommandé sans être cité comme source.
Signaux techniques complémentaires
Les signaux avancés alimentent un composite technique distinct d’AGS. Une version de ce composite prévoit advanced_signals à 15 % nominal lorsqu’il est disponible ; les composantes présentes et leur renormalisation déterminent le poids effectif. Publiez la version et la couverture.
Exemples de signaux examinés
- A08: Specificity score (Princeton GEO 2024): Densité de statistiques sourcées tier-1 (Princeton GEO KDD 2024 : jusqu'à +40 % de visibilité dans les réponses des IA (étude GEO, arXiv 2311.09735, KDD 2024)).
- A09: Counter-arguments markers: Ce contrôle recherche des marqueurs d’argumentation équilibrée. Leur présence ne prouve ni exactitude ni préférence d’un moteur, et ne démontre aucune exclusivité concurrentielle.
- A07: Date-stamped statements
- S05: Common Crawl inclusion
- S08: llms.txt RFC validation
- B10: Stack Overflow brand mentions
Module 6: External Authority Signals
Nouveau module dédié aux signaux d’autorité externes : LinkedIn, ProductHunt, G2/Capterra, Stack Overflow, GitHub, Substack/Medium.
Checks par module GEO
- SSR / Crawlabilité
- mainEntity | QAPage | Transcripts vidéo | Speakable | @graph @id | inLanguage | Common Crawl | llms.txt | IndexNow | ai.txt | Verifications | HTTP/3 | Brotli
- Entity Health
- Wikidata | DBpedia
- Citation Readiness
- Stats sourcées | Argumentation | Datage inline | ItemList | Dataset | Blockquote cite | Liens internes | Anchor entropy | Sitemap News
- External Authority
- Stack Overflow | LinkedIn | GitHub | ProductHunt | B2B reviews | Newsletter
Les contrôles avancés doivent être lus avec leur statut, leur date et leur couverture. Un contrôle non configuré, sans données, en erreur ou en timeout n’est pas une mauvaise qualité mesurée.
Article complet sur le blog: 30 nouveaux signaux GEO/AEO 2026: État de l’art audité.
Ce que nous mesurons: et ce que nous ne mesurons pas
Ce que nous mesurons
Les réponses sont collectées par API selon le protocole configuré. Distinguez le mode demandé de l’exécution réellement étayée et conservez les questions exactes, modèles, langue, dates et provenance disponibles. Un hash seul ne rend pas deux audits comparables.
Le panel dépend de la sélection du client. Toute moyenne pondérée doit préciser ses poids effectivement appliqués et leur provenance ; une estimation d’audience ne représente pas automatiquement les usages réels de vos clients.
Ce que nous ne mesurons pas
Une réponse obtenue par API peut différer de l'interface grand public du même produit : mémoire de conversation, instructions propriétaires, géolocalisation ou tests A/B de l'éditeur. Nous mesurons le moteur, pas la session personnalisée d'un utilisateur connecté.
La même question peut produire des variantes. La taille et la population de l’échantillon doivent être documentées ; un test unique et un corpus de plusieurs questions ne portent pas la même information.
Une pondération d’audience éventuelle doit identifier ses sources, sa date et ses limites. Ne la confondez pas avec une mesure directe de la population qui a produit les réponses auditées.
Pourquoi documenter nos limites ? Parce qu'une mesure dont on ne connaît pas le périmètre ne vaut rien. C'est la condition pour que nos scores soient défendables devant vos clients.
Limites & variabilité
Mesurer la visibilité IA n'est pas une science exacte. Nous documentons nos limites et comment la méthode les prend en compte.
LireLa preuve, étape par étape
Un exemple anonymisé qui montre comment une réponse d'IA devient réellement un score AGS.
LireGlossaire des termes techniques
Pour aller plus loin
Mesurez la visibilité réelle de vos clients dans les IA
Lancez un audit AGS et obtenez un score auditable, des limites assumées et un plan d'action concret.
Découvrir les tarifs