Metodología AGS: AI Grading System | AI Labs Audit

En 30 segundos

AGS (AI Grading System) es un método abierto para medir la visibilidad de una marca en las respuestas de las IA. Por cada respuesta se puntúan tres cosas: si la marca está presente, si lo dicho es favorable y si la respuesta es fiable, con un pool de jueces independientes (un juez por respuesta, doble puntuación en una muestra). La puntuación final combina las tres notas para que una debilidad no pueda ocultarse. Ante todo es un método: puedes comprenderlo, verificarlo y cuestionarlo. Versión publicada: AGS v2, fórmula v4.

Este método se lee en varios niveles: una definición en 30 segundos, un esquema, la explicación de las dimensiones, la fórmula y, por último, el anexo de reproducibilidad. Un director de marketing, un consultor GEO y un investigador deben poder orientarse en él, cada uno con el nivel de detalle que le resulte más cercano.

El esquema

                 +---------------------------------------------+
   Escenario --->  |  Respuesta de un modelo de IA (ChatGPT...)  |
                 +---------------------------------------------+
                                     |
                                     v
                 +---------------------------------------------+
                 |  JURADO = varias IA jueces independientes   |
                 |  (proveedores distintos, anti autopref.)    |
                 +---------------------------------------------+
                                     |
          +--------------------------+--------------------------+
          v                          v                          v
     P - Presencia             I - Influencia             Q - Calidad
     (M, RP, WC)              (INF, UNQ, REL)             (SENT, ACC)
          +--------------------------+--------------------------+
                                     v
                        AGS = (P x I x Q) ^ (1/3)
                    (media geométrica: un cero en una
                     dimensión hunde la puntuación)

La media geométrica es intencionada: es imposible compensar la falta de presencia con un buen sentimiento. Mucho más difícil de inflar que una media clásica.

¿Qué es AGS?

AGS es un protocolo de puntuación multimodelo. En lugar de usar un solo LLM para evaluar la visibilidad de tu marca (sesgos, alucinaciones, deriva del modelo), AGS reparte las evaluaciones entre un conjunto de modelos de distintos proveedores y publica la desviación entre ellos. Cuanto menor es la desviación, más fiable es la puntuación.

Las 3 dimensiones evaluadas

• P (Presencia): ¿se menciona tu marca en la respuesta, en qué posición y con qué cobertura de escenarios? Combina Mención, Rango y Cobertura.
• I (Influencia): cuando la marca es citada, ¿la respuesta aporta información útil, única y pertinente? Combina Informatividad, Unicidad y Pertinencia.
• Q (Calidad): ¿la mención es positiva y factualmente exacta? Combina Sentimiento y Exactitud.

La fórmula (método público, ponderaciones propietarias)

AGS = (P x I x Q) ^ (1/3), con cada dimensión puntuada de 0 a 100. Cada dimensión es una combinación ponderada de submétricas:

• P: Presencia = combinación de la Mención (M), el Rango / Posición (RP) y la Cobertura (WC).
• I: Influencia = combinación de la Informatividad (INF), la Unicidad (UNQ) y la Pertinencia (REL).
• Q: Calidad = combinación del Sentimiento (SENT) y la Exactitud (ACC).

Los valores exactos de las ponderaciones forman parte de nuestra metodología propietaria: están normalizados (suma = 1), calibrados y versionados, y quedan rastreados por el judge_config_hash (que garantiza que dos auditorías con el mismo hash usan exactamente la misma configuración de jurado; la comparabilidad también depende del mercado, el idioma, el periodo y los modelos consultados). Publicamos el método: estructura, media geométrica, dimensiones, submétricas, jurado, fiabilidad: sin divulgar la ponderación exacta, que forma parte de nuestro saber hacer.

Jurado y reproducibilidad

Cada respuesta la puntúa un juez principal de un pool de modelos de proveedores distintos. Una muestra de alrededor del 20 % se puntúa con un segundo juez para medir el acuerdo (GRC). El pool combina por ejemplo OpenAI, Anthropic, Google, Mistral y DeepSeek: la lista evoluciona, el judge_config_hash (SHA-256) es la referencia estable.

La configuración real de cada auditoría (modelos + pesos + rúbricas) queda rastreada por su judge_config_hash (SHA-256): esa es la referencia estable. Dos auditorías con el mismo hash son estrictamente comparables, y todo cambio de jurado queda registrado.

• GRC: fiabilidad entre jueces (omega de McDonald, forma Spearman-Brown ω₂ = 2r/(1+r)) calculada sobre items puntuados por dos jueces distintos. Se publica cuando hay al menos 5 pares disponibles.
• Intervalo de confianza mostrado en las puntuaciones de presencia: se muestra la incertidumbre, no solo una cifra.
• Anchor set: un panel de marcas de referencia vigila la deriva de los modelos en el tiempo. Esa vigilancia no se integra en la puntuación AGS del cliente; la calibración EWMA entre auditorías absorbe buena parte de la deriva de los jueces.

Protocolo de evaluación

Para cada escenario auditado, AGS envía instrucciones idénticas a los modelos evaluadores (puntuación zero-shot). Las evaluaciones se reparten por rotación entre el conjunto, y una parte se duplica para medir el acuerdo entre evaluadores. Después las puntuaciones se agregan y se calibran. El resultado final incluye la puntuación media, la diferencia entre evaluadores y el intervalo de confianza bootstrap del 95 %.

Fiabilidad entre jueces (GRC)

AGS publica el coeficiente de fiabilidad entre jueces GRC en cada auditoría cuando la muestra doble lo permite. El GRC se basa en el omega de McDonald (forma Spearman-Brown para dos evaluadores). Cuanto más cerca de 1, mayor acuerdo entre jueces. En la práctica: por encima de 0,80 la puntuación es muy estable; entre 0,60 y 0,80 el acuerdo es correcto; por debajo de 0,60, interpretar con prudencia y reformular la pregunta.

Transparencia y reproducibilidad

Cada auditoría AGS produce un hash criptográfico de los escenarios, las respuestas en bruto y las puntuaciones individuales. Esta firma permite demostrar que la puntuación no ha sido manipulada. El método AGS (estructura, fórmula, submétricas) está publicado; las ponderaciones exactas siguen siendo propietarias. La especificación AQA asociada sí es abierta (licencia MIT) en github.com/sarsator/aqa-specification. Todo cliente puede verificar o impugnar una puntuación.

Acrónimos AGS

GRC

GRC: fiabilidad entre jueces (omega de McDonald, forma Spearman-Brown ω₂ = 2r/(1+r)) calculada sobre items puntuados por dos jueces distintos. Se publica cuando hay al menos 5 pares disponibles.

GIS

Generative Inclusion Score: puntuación media ponderada por la posición de la marca en la respuesta (mencionada primero = 100%, última = 0%).

ASR

Answer Sentiment Rating: tonalidad de la mención (positiva/neutral/negativa) en una escala de -1 a +1.

BVI

BVI (Brand Variance Index): descomposición ANOVA de la varianza de las puntuaciones (señal, juez, prompt, modelo). Indica qué mueve la nota, no un porcentaje de visibilidad.

CIA

CIA (Citation-Influence Asymmetry): asimetría entre la proporción de URLs de tu marca citadas como fuentes y la proporción de respuestas que nombran tu marca. Por encima de +20, alimentas a las IA sin ser recomendado; por debajo de -20, eres recomendado sin ser citado como fuente.

30 Advanced Checks GEO 2026

El Sprint 15 entregó 30 nuevas señales GEO/AEO medidas de forma pasiva (cero scraping que viole ToS). Estas señales complementan el scoring AGS mediante la 6ª categoría « advanced_signals » (peso 15 % del composite).

6 diferenciadores de mercado

• A08: Puntuación de especificidad (Princeton GEO 2024): Densidad de estadísticas con fuentes tier-1 (Princeton GEO KDD 2024: hasta un +40 % más de citas LLM).
• A09: Marcadores de contraargumentos: Ninguna herramienta competidora mide los marcadores de argumentación equilibrada.
• A07: Declaraciones con fecha
• S05: Inclusión en Common Crawl
• S08: Validación RFC de llms.txt
• B10: Menciones de marca en Stack Overflow

Módulo 6: External Authority Signals

Nuevo módulo dedicado a las señales de autoridad externa: LinkedIn, ProductHunt, G2/Capterra, Stack Overflow, GitHub, Substack/Medium.

Checks por módulo GEO

SSR / Crawlabilidad

mainEntity | QAPage | Transcripciones de vídeo | Speakable | @graph @id | inLanguage | Common Crawl | llms.txt | IndexNow | ai.txt | Verificaciones | HTTP/3 | Brotli

Entity Health

Wikidata | DBpedia

Citation Readiness

Estadísticas con fuente | Argumentación equilibrada | Fechado inline | ItemList | Dataset | Blockquote cite | Enlaces internos | Anchor entropy | Sitemap News

External Authority

Stack Overflow | LinkedIn | GitHub | ProductHunt | B2B reviews | Newsletter

Todos los checks usan safe_external_call (retry + caché + circuit breaker) y almacenan sus resultados en audits.advanced_checks_v2 (JSONB + índice GIN).

Artículo completo en el blog: 30 nuevas señales GEO/AEO 2026: Estado del arte auditado.

Lo que medimos: y lo que no medimos

Lo que medimos

Interrogamos los modelos de IA a través de sus API oficiales, en modo nativo (la memoria del modelo, sin navegación) y en modo web (búsqueda en línea activada), con preguntas reproducibles. Cada auditoría calcula una huella criptográfica de su configuración: dos auditorías comparadas son realmente comparables.

El panel por defecto está alineado con los productos que el público utiliza realmente (ChatGPT, Gemini, Perplexity, Claude, Mistral…), y el panel de control muestra una visibilidad ponderada por la cuota de audiencia real de cada motor (fuentes Statcounter / SimilarWeb, fechadas y revisadas).

Lo que no medimos

Una respuesta obtenida por API puede diferir de la interfaz de consumo del mismo producto: memoria de conversación, instrucciones propietarias, geolocalización o pruebas A/B del proveedor. Medimos el motor, no la sesión personalizada de un usuario conectado.

Las respuestas de las IA son probabilísticas: la misma pregunta puede producir variantes. Por eso medimos sobre decenas de preguntas, con intervalos de confianza, en lugar de con una única prueba.

Las cuotas de audiencia utilizadas para la ponderación son estimaciones de terceros, fechadas y revisadas con regularidad: no cifras internas inverificables.

¿Por qué documentar nuestros límites? Porque una medición cuyo perímetro se desconoce no vale nada. Es lo que hace que nuestras puntuaciones sean defendibles ante sus clientes.

Glosario de términos técnicos

Para profundizar