설명 가능한 점수

AGS 점수 읽기 및 설명하기

AGS는 각 감사에 경영진 회의에서 통용될 수 있는 수치를 제공합니다. 이 튜토리얼은 점수를 설명 가능하게 만드는 네 가지 신호를 안내합니다: P/I/Q 3가지 차원, 평가자 간 신뢰도 계수, 드리프트 방지 보정, 그리고 재현성을 위한 암호화 해시.

심층 기사 읽기 용어집: Hero Grades

목차

  1. 1단계: 대시보드에서 AGS 점수 찾기
  2. 2단계: P/I/Q 3가지 차원 읽기
  3. 3단계: GRC 계수 확인하기
  4. 4단계: ASR(드리프트 방지) 읽기
  5. 5단계: SHA-256 해시 확인하기
  6. 6단계: 고객 앞에서 수치 방어하기

1단계: 대시보드에서 AGS 점수 찾기

완료된 감사를 엽니다. 결과 페이지 상단에 전체 AGS 점수(0-100)와 함께 Hero Grade 등급(A+부터 F까지)이 표시됩니다. 점수 자체는 세 가지 복합 차원의 기하 평균입니다: 존재감, 인상, 품질. Hero Grade는 비기술 독자가 한눈에 읽을 수 있는 정성적 레이블입니다.

등급 읽기 : A+ = 지배적 존재감(첫 번째로 인용됨, 잘 설명됨, 긍정적 감정). F = 거의 보이지 않음. 12개 등급(A+, A, A−, B+, B, B−, C+, C, C−, D, E, F)은 실제 감사를 기반으로 보정된 백분위수 분포를 따릅니다.

2단계: 3가지 차원 P / I / Q 읽기

전체 점수 바로 아래에 세 가지 하위 점수가 나타납니다:

  • P — 존재감 : 귀사의 브랜드가 언급되었습니까? 어느 위치에? 몇 단어로? 모든 쿼리(브랜드가 나타나지 않은 쿼리 포함)에서 계산됩니다.
  • I — 인상 : 귀사가 인용될 때, 정보가 유익하고, 독특하며, 관련성이 있습니까? 브랜드가 언급된 쿼리에서만 계산됩니다.
  • Q — 품질 : 감정이 긍정적입니까? 인용된 사실이 정확합니까? 언급이 있는 쿼리에서 계산됩니다.
기하 평균을 사용하는 이유, 산술 평균이 아닌 : 일반 평균을 사용하면 뛰어난 Q(완벽한 품질)가 재앙적인 P(전혀 인용되지 않음)를 가릴 수 있습니다. 기하 평균을 사용하면 한 차원이 무너지면 전체 점수도 무너집니다. 조작하기 더 어렵고, 더 정직합니다.

3단계: 평가자 간 GRC 계수 확인하기

각 AGS 점수는 0과 1 사이의 GRC(등급 신뢰도 계수)와 함께 공개됩니다. 이는 동일한 항목을 평가한 5개 AI 평가자 간의 일치도를 측정합니다. 해석 기준:

  • GRC ≥ 0.80 : 탁월한 일치도, 점수를 직접 방어할 수 있습니다.
  • 0.60 ≤ GRC < 0.80 : 좋은 일치도, 노이즈가 많은 도메인에서 정상적입니다.
  • GRC < 0.60 : 낮은 일치도 — 감사에 시나리오가 적은지(20개 미만) 또는 브랜드가 논란이 있는 도메인에 있는지 확인하십시오.

고객 앞에서 수치를 방어할 때 GRC를 인용하는 것이 진지한 감사와 마법의 숫자를 구분하는 정확한 요소입니다. 알려진 다른 GEO/AEO 플랫폼은 이 계수를 공개하지 않습니다.

4단계: ASR(드리프트 방지 보정) 읽기

AGS 점수 옆에 ASR이 표시됩니다 = AGS에서 같은 주에 5개의 안정적인 기준 브랜드에서 측정된 모델 드리프트를 뺀 값입니다. OpenAI가 GPT-4o를 업데이트하거나 Google이 Gemini를 조정하면 아무것도 하지 않은 브랜드를 포함하여 모든 브랜드의 점수가 변동됩니다. 앵커 세트는 이 드리프트를 분리하고, ASR은 보정된 점수를 보여줍니다.

구체적 해석: 두 감사 사이에 AGS가 62에서 71로 증가했지만 ASR이 62에서 67로 증가했다면, 5점의 진전만이 귀하의 것입니다. 나머지 4점은 해당 주에 평균적으로 더 관대해진 모델에서 비롯된 것입니다.

5단계: 구성의 SHA-256 해시 확인

감사 상세 페이지 하단의 '기술 서명' 섹션에서 judge_config_hash를 찾을 수 있습니다: 해당 감사에 사용된 심사자 풀, 가중치 및 루브릭 파일의 SHA-256 지문입니다.

  • 두 감사 간 동일한 해시 → 점수를 직접 비교할 수 있습니다.
  • 다른 해시 → 공식 또는 심사자가 변경되었습니다; 대시보드에서 명시적으로 추적하며 기준선을 재설정할 것을 제안합니다.

경쟁사가 귀하의 고객에게 '귀하의 점수가 62에서 71로 증가했습니다'라고 말할 때, 브랜드가 실제로 개선되었는지 아니면 그 사이에 공식이 변경되었는지 알 수 있는 방법이 없습니다. AGS를 사용하면 이는 문제가 되지 않습니다: 해시가 증명합니다.

6단계: 고객 앞에서 귀하의 수치 방어하기

마케팅 이사나 경영진에게 감사를 발표할 때, 슬라이드에는 항상 다음 순서로 네 가지 수치를 포함해야 합니다:

  1. AGS + Hero Grade : 기억하기 쉬운 전체 수치.
  2. P / I / Q : 어디서 조치를 취해야 하는지 알기 위한 세부 분석.
  3. GRC : 방법론적 신뢰성의 신호.
  4. ASR : 시간적 비교를 정직하게 하기 위한 드리프트 보정 점수.

누군가 귀하의 수치에 의문을 제기할 때, 마케팅이 아닌 코드로 답변하십시오: AQA 표준의 GitHub 저장소, 방법론 백서, 감사의 SHA-256 해시, 공개된 GRC. 이것이 '저를 믿으세요'를 '확인하세요'로 대체하는 방법입니다.

더 알아보기

첫 AGS 점수를 확인할 준비가 되셨습니까?

가입 시 500 크레딧 무료 제공, 신용카드 불필요. 실제 감사를 시작하고 5분 안에 AGS, GRC 및 ASR을 확인하십시오.

무료로 가입하기

AI 가시성 감사를 시작할 준비가 되셨습니까?

무료 계정을 생성하고 500 보너스 크레딧을 받으세요.

무료 계정 생성