평가자 간 신뢰성은 동일한 답변을 채점하는 여러 평가자들 간의 일치 정도를 측정합니다. 높은 일치는 점수가 안정적이고 재현 가능함을 의미하며, 낮은 일치는 평가자들의 의견이 갈리는 모호한 답변을 시사합니다.
평가단의 일치 측정
AI 평가단이 답변을 채점할 때에도 평가자들이 서로 일치하는지 확인해야 합니다. 평가자 간 신뢰성은 그 일치를 정량화합니다: 일치가 강할수록 점수를 신뢰할 수 있습니다. AGS에서는 이 계수(내부 명칭 GRC)를 각 감사마다 공개합니다.
무엇에 쓰이나?
- 신뢰도: 강한 일치로 뒷받침된 점수는 견고합니다.
- 경고 신호: 뚜렷한 불일치는 모호한 답변이나 검토가 필요한 예외 케이스를 드러냅니다.
투명성
신뢰 구간과 함께 평가자 간 신뢰성은 각 측정의 견고성과 한계를 보여주는 지표 중 하나입니다. 자세한 내용은 AGS 방법론을 참조하세요.
AI 답변에서 담당 브랜드는 어떻게 소개되나요?
에이전시, 컨설턴트, 사내 팀을 위한 인프라입니다. 직접 만든 시나리오와 선택한 언어 및 모델로 얻은 답변을 비교하세요. 여러분의 시나리오와 전문성을 지원합니다.