La prueba: de una respuesta de IA a una puntuación AGS

El pipeline

  1. ESCENARIO         2. RESPUESTA IA      3. EXTRACCION        4. PUNTUACION      5. INFORME
  (pregunta      -->   (texto bruto   -->   (marca ? rango ? -->  (jurado de IA: -->  (P/I/Q ->
   planteada)           del modelo)          competidores ?        exactitud,         AGS + IC)
                                             claims ?)             sentimiento...)

1Caso n.º 1: mención positiva... pero un claim sin verificar

Escenario (reformulado, anonimizado)

«Para el soporte y el mantenimiento de infraestructura TI en empresa, ¿qué proveedor es el mejor y por qué?»

Respuesta IA (extracto, anonimizado)

«Marca B2B TI es la que mejor se desenvuelve para el soporte crítico... destaca una herramienta de análisis predictivo que resolvería “más del 80 % de las incidencias de forma automática”... Competidor A sigue siendo competitivo en costes...»

Extracción (lo que el sistema detecta)

Puntuación por el jurado de IA

• Exactitud: media — un juez marca una afirmación no verificable: «la cifra de “80 % de incidencias resueltas automáticamente” no es verificable / posiblemente desactualizada».
• evidence_grounded: false (la respuesta no se apoya en ninguna fuente verificable).
• Confianza del juez: media.

Lo que esto da en el informe

Mención en 1.ª posición y sentimiento positivo, pero brand-safety rebajada (claim sin respaldo): es el caso típico de «bien citado pero mal sustentado». Sin este análisis, solo habríamos visto «citado en el n.º 1, genial»; el sistema, en cambio, señala el riesgo.

2Caso n.º 2: la marca no es realmente conocida (caso honesto)

Escenario (reformulado, anonimizado)

«¿Qué puedes decirme sobre la reputación de Marca B2B TI?»

Respuesta IA (extracto, anonimizado)

«No tengo información verificable sobre Marca B2B TI en mis conocimientos...»

Extracción y puntuación

• Marca detectada: nombre repetido, pero is_genuinely_known: false (el modelo no conoce realmente la marca: se limita a parafrasear la pregunta).
• Exactitud baja, presencia «en eco» y no espontánea.

En el informe

Este caso no infla la puntuación: la presencia «en eco» (el modelo repite el nombre que se le ha dado) se distingue de la visibilidad espontánea. Esto es precisamente lo que impide una puntuación halagadora pero falsa.

Cómo estas respuestas se convierten en una puntuación

Cada respuesta pasa por el jurado (varias IA), produce sus notas P / I / Q, y el AGS lo agrega todo en una media geométrica, con intervalo de confianza y GRC (acuerdo entre jueces) publicados. Detalle de la fórmula: véase la página Metodología AGS. Límites asumidos: véase la página Límites y variabilidad.

Nota de honestidad sobre esta página

Este ejemplo está anonimizado y reformulado para ilustrar la mecánica sin exponer a ningún cliente real. Las cifras y formulaciones son representativas, no una auditoría nominativa. Próximamente publicaremos una autoauditoría de AI Labs Audit (nosotros, con nombre propio), con datos en bruto reales, incluidos nuestros puntos débiles.

Glosario de términos técnicos

Para profundizar