Límites conocidos y variabilidad de la medición

1Las respuestas de las IA varían de una ejecución a otra

Un mismo prompt puede dar respuestas distintas según el momento y la aleatoriedad del modelo (la variabilidad observada suele situarse en torno al 15-20 % en determinadas consultas).

Nuestra respuesta : Jurado de varios jueces, agregación robusta e intervalo de confianza de Wilson mostrado: usted ve el margen de incertidumbre, no solo una cifra.

2Cada modelo tiene su propio comportamiento

Los modelos no son equivalentes: algunos citan más las fuentes técnicas, otros son más inestables en las consultas locales y otros varían según el idioma.

Nuestra respuesta : Auditoría multimodelo (varios jueces, decenas de modelos consultados) y detalle por modelo en el informe, en lugar de una nota global que ocultaría estas diferencias.

3Las puntuaciones se mueven cuando los proveedores cambian sus modelos

Cuando OpenAI, Google o Anthropic actualizan un modelo, las respuestas —y por tanto las puntuaciones— pueden moverse sin que la marca haya cambiado nada.

Nuestra respuesta : El anchor set (marcas de referencia remedidas de forma continua) aísla esta deriva del modelo del rendimiento real de la marca; la puntuación del cliente se corrige en consecuencia.

4Una medición puntual no basta

La visibilidad en IA es inestable en el tiempo: una sola medición resulta engañosa.

Nuestra respuesta : Auditorías programadas / recurrentes y seguimiento de tendencia: observamos la evolución, no una instantánea.

5La parte de «búsqueda web» frente a «memoria del modelo»

Una respuesta cambia según si el modelo ha realizado una búsqueda web (retrieval) o responde desde su memoria interna (paramétrica).

Nuestra respuesta : Diagnóstico diferencial nativo frente a web para distinguir ambos casos y saber sobre qué palanca actuar.

6Los resultados dependen de la formulación del prompt

Dos maneras de plantear la misma pregunta pueden producir respuestas —y por tanto puntuaciones— distintas.

Nuestra respuesta : Prompts normalizados, versionados y documentados (taxonomía de prompts por intención); no improvisamos la pregunta, aplicamos un protocolo reproducible y seguimos la misma rejilla a lo largo del tiempo.

7El contexto geográfico y lingüístico cambia la respuesta

Una IA puede responder de forma distinta según el país (Francia, Bélgica, Canadá, Estados Unidos...) y el idioma.

Nuestra respuesta : Cada auditoría se realiza en un contexto lingüístico y geográfico documentado (auditorías por idioma con contextualización de mercado, competidores locales): siempre precisamos en qué mercado se ha hecho la medición, en lugar de una puntuación «descontextualizada».

Lo que esto implica, con honestidad

El AGS es una estimación calibrada y reproducible, no una verdad absoluta. Está diseñado para ser comparable en el tiempo (mismo judge_config_hash) y honesto sobre su incertidumbre (intervalos de confianza, GRC, deriva corregida). Nuestro objetivo no es una cifra halagadora, sino una medición que usted —y sus clientes— puedan comprender, verificar y rebatir.

Glosario de términos técnicos

Para profundizar