증명: AI 응답에서 AGS 점수까지

파이프라인

  1. 시나리오           2. AI RESPONSE       3. EXTRACTION        4. GRADING         5. REPORT
  (질문          -->   (모델의         -->   (브랜드? 순위?   -->  (AI 심사단:    -->  (P/I/Q ->
   요청)                원시 텍스트)         경쟁업체?            정확성,            AGS + CI)
                                             주장?)               감정...)

1사례 1: 긍정적 언급... 하지만 검증되지 않은 주장

시나리오(재작성, 익명화)

"엔터프라이즈 IT 인프라 지원 및 유지보수를 위해 어떤 제공업체가 가장 좋으며 그 이유는 무엇입니까?"

AI 응답(발췌, 익명화)

"B2B IT Brand가 중요한 지원에서 가장 우수합니다... '80% 이상의 인시던트를 자동으로 해결'한다고 보고된 예측 분석 도구를 강조합니다... Competitor A는 비용 면에서 여전히 경쟁력이 있습니다..."

추출(시스템이 감지한 내용)

AI 심사단의 평가

• 정확성: 중간 — 한 심사위원이 검증할 수 없는 주장을 지적합니다: "'80%의 인시던트가 자동으로 해결됨' 수치는 검증할 수 없음 / 구식일 가능성".
• evidence_grounded: false(응답이 검증 가능한 출처로 뒷받침되지 않음).
• 심사위원 신뢰도: 중간.

보고서에서 보이는 내용

1위 위치와 긍정적 감정으로 언급되었지만 브랜드 안전성이 낮아졌습니다(뒷받침되지 않는 주장). 이것이 전형적인 "잘 인용되었지만 제대로 뒷받침되지 않은" 사례입니다. 이 분석이 없었다면 단순히 "1위로 인용됨, 훌륭함"으로 보였을 것입니다. 반면 시스템은 위험을 표시합니다.

2사례 2: 브랜드가 실제로 알려지지 않음(정직한 사례)

시나리오(재작성, 익명화)

"B2B IT Brand의 평판에 대해 무엇을 말씀해 주실 수 있습니까?"

AI 응답(발췌, 익명화)

"제 지식에는 B2B IT Brand에 대한 검증 가능한 정보가 없습니다..."

추출 및 평가

• 감지된 브랜드: 이름이 반복되지만 is_genuinely_known: false(모델이 실제로 브랜드를 알지 못함 — 질문을 바꿔 말하고 있음).
• 낮은 정확성, 자발적이 아닌 "에코"에 의한 존재.

보고서에서

이 사례는 점수를 부풀리지 않습니다. "에코" 존재(모델이 주어진 이름을 반복함)는 자발적 가시성과 구별됩니다. 이것이 바로 아첨하지만 거짓인 점수를 방지하는 것입니다.

이러한 응답이 점수가 되는 방법

각 응답은 심사단(여러 AI)을 거쳐 P / I / Q 등급을 생성하며, AGS는 모든 것을 기하 평균으로 집계하고 신뢰 구간과 GRC(심사위원 간 합의)를 공개합니다. 공식의 세부 사항은 AGS 방법론 페이지를 참조하십시오. 우리가 인정하는 한계는 한계 및 변동성 페이지를 참조하십시오.

이 페이지의 정직성에 대한 참고 사항

이 예시는 실제 클라이언트를 노출하지 않고 메커니즘을 설명하기 위해 익명화되고 재작성되었습니다. 수치와 표현은 대표적이며 명명된 감사가 아닙니다. 곧 AI Labs Audit(우리 자신, 이름 포함)의 자체 감사를 실제 원시 데이터와 함께 공개할 예정입니다 — 약점을 포함하여.

기술 용어 용어집

더 나아가기