La preuve : d’une réponse d’IA à un score AGS

Le pipeline

  1. PROMPT            2. RÉPONSE IA        3. EXTRACTION        4. NOTATION        5. RAPPORT
  (question      -->   (texte brut    -->   (marque ? rang ? -->  (jury d'IA :  -->  (P/I/Q ->
   posée)               du modèle)           concurrents ?         exactitude,        AGS + IC)
                                             claims ?)             sentiment...)

1Cas n°1 : mention positive… mais un claim non vérifié

Prompt (reformulé, anonymisé)

« Pour le support et la maintenance d'infrastructure IT en entreprise, quel fournisseur est le meilleur et pourquoi ? »

Réponse IA (extrait, anonymisé)

« Marque B2B IT s'en sort le mieux pour le support critique… elle met en avant un outil d'analyse prédictive qui résoudrait “plus de 80 % des incidents automatiquement”… Concurrent A reste compétitif sur le coût… »

Extraction (ce que le système détecte)

Notation par le jury d’IA

• Exactitude : moyenne — un juge flague une affirmation invérifiable : « le chiffre “80 % d'incidents résolus automatiquement” n'est pas vérifiable / possiblement périmé ».
• evidence_grounded : false (la réponse n'est appuyée sur aucune source vérifiable).
• Confiance du juge : moyenne.

Ce que ça donne dans le rapport

Mention en 1ʳᵉ position et sentiment positif, mais brand-safety abaissée (claim non étayé) : c'est le cas typique « bien cité mais mal soutenu ». Sans cette analyse, on aurait juste vu « cité en n°1, super » ; le système, lui, signale le risque.

2Cas n°2 : la marque n'est pas vraiment connue (cas honnête)

Prompt (reformulé, anonymisé)

« Que peux-tu me dire sur la réputation de Marque B2B IT ? »

Réponse IA (extrait, anonymisé)

« Je n'ai pas d'information vérifiable sur Marque B2B IT dans mes connaissances… »

Extraction & notation

• Marque détectée : nom répété, mais is_genuinely_known : false (le modèle ne connaît pas réellement la marque — il paraphrase la question).
• Exactitude basse, présence « en écho » et non spontanée.

Dans le rapport

Ce cas ne gonfle pas le score : la présence « écho » (le modèle répète le nom qu'on lui a donné) est distinguée de la visibilité spontanée. C'est précisément ce qui empêche un score flatteur mais faux.

Comment ces réponses deviennent un score

Chaque réponse passe par le jury (plusieurs IA), produit ses notes P / I / Q, et l'AGS agrège le tout en moyenne géométrique, avec intervalle de confiance et GRC (accord inter-juges) publiés. Détail de la formule : voir la page Méthodologie AGS. Limites assumées : voir la page Limites & variabilité.

Note d’honnêteté sur cette page

Cet exemple est anonymisé et reformulé pour illustrer la mécanique sans exposer de client réel. Les chiffres et formulations sont représentatifs, pas un audit nominatif. Prochainement, nous publierons un auto-audit d'AI Labs Audit (nous, nommément), avec des données brutes réelles — y compris nos points faibles.

Glossaire des termes techniques

Pour aller plus loin