평가자 간 GRC (Generalized Reliability Coefficient)

왜 평가자 간 일치를 측정하나요?

AGS는 5개의 LLM 심사위원(Claude, GPT-4, Gemini, Llama, Mistral)을 활용합니다. 5개 모두 일치하면 최종 점수는 확고합니다. 3개가 A라고 하고 2개가 F라고 할 때 평균은 C입니다. 하지만 이 평균은 드러내야 할 불일치를 숨깁니다. 이것이 GRC의 역할입니다.

읽는 방법

• GRC = 1.0: 완벽한 일치. 5개 심사위원 모두 같은 등급을 부여합니다.
• GRC ≥ 0.8: 강한 일치. 등급을 있는 그대로 방어할 수 있습니다.
• GRC가 0.5와 0.8 사이: 보통의 일치. 등급은 여전히 사용 가능하지만 Wilson 구간이 더 넓어집니다.
• GRC < 0.5: 강한 불일치. AI Labs Audit은 PDF Premium에서 해당 차원을 “쟁점”으로 표시하고, 감사를 다시 실행하거나 작업 계획에서 해당 차원의 우선순위를 높일 것을 권장합니다.

Hero Grade와의 연계

GRC는 모든 Hero Grade 차원(인용, 위치, 감정, 커버리지, 권위, 인식)에 대해 계산됩니다. 대시보드와 PDF에서 Wilson 구간과 나란히 표시되어 GEO 컨설턴트가 고객 앞에서 각 지점을 엄밀하게 방어할 수 있게 합니다.