EN
FR
ES
DE
IT
KO
JA
평가자 간 신뢰성은 동일한 답변을 채점하는 여러 평가자들 간의 일치 정도를 측정합니다. 높은 일치는 점수가 안정적이고 재현 가능함을 의미하며, 낮은 일치는 평가자들의 의견이 갈리는 모호한 답변을 시사합니다.
평가단의 일치 측정
AI 평가단이 답변을 채점할 때에도 평가자들이 서로 일치하는지 확인해야 합니다. 평가자 간 신뢰성은 그 일치를 정량화합니다: 일치가 강할수록 점수를 신뢰할 수 있습니다. AGS에서는 이 계수(내부 명칭 GRC)를 각 감사마다 공개합니다.
무엇에 쓰이나?
- 신뢰도: 강한 일치로 뒷받침된 점수는 견고합니다.
- 경고 신호: 뚜렷한 불일치는 모호한 답변이나 검토가 필요한 예외 케이스를 드러냅니다.
투명성
신뢰 구간과 함께 평가자 간 신뢰성은 각 측정의 견고성과 한계를 보여주는 지표 중 하나입니다. 자세한 내용은 AGS 방법론을 참조하세요.
고객이 브랜드명 없이 AI에 물으면 다른 곳이 추천됩니다. 담당 브랜드는 어떤가요?
ChatGPT에 대한 질문에서 답변에 브랜드가 언급되지 않을 때마다, 그 자리에는 경쟁사가 추천됩니다: 6,820개의 실제 AI 답변으로 측정된 결과입니다.