윌슨 신뢰 구간은 소규모 이진 샘플(성공/실패)에 맞게 설계된 통계 공식으로, 관찰된 점수를 하한과 상한 사이로 구속합니다. AI Labs Audit는 모든 Hero Grade에 이를 표시해 점수가 통계적으로 확실한지 아직 불안정한지를 나타냅니다.
왜 단순 평균이 아닌가?
5개의 프롬프트에 4번 인용된 브랜드(80%)와 100개의 프롬프트에 80번 인용된 브랜드(80%)를 상상해 보세요. 둘의 평균은 같지만, 후자가 훨씬 더 신뢰할 수 있습니다. 윌슨 신뢰 구간은 이러한 차이를 포착합니다.
해석하는 방법
각 Hero Grade에 대해 AI Labs Audit는 예를 들어 다음과 같이 표시합니다:
점수: 78 / 100
윌슨 95% 구간: [71; 84]
해석: 95% 신뢰 수준에서 실제 점수는 71과 84 사이에 있습니다. 구간이 좁을수록 등급이 더 확실합니다. 구간이 넓으면 프롬프트를 더 많이 사용해 감사를 다시 실행하거나 더 많은 과거 데이터를 기다려야 한다는 신호입니다.
왜 Wald가 아니라 Wilson인가?
전통적인 Wald 공식(평균 ± 표준편차)은 점수가 0% 또는 100% 근처이거나 샘플이 작을 때(12-24개 프롬프트의 AEO/GEO 감사에서 전형적) 수치적으로 불안정합니다. 윌슨은 이런 영역에서도 정확성을 유지하며, 현대 통계 표준(Brown, Cai & DasGupta, 2001)이 권장하는 공식입니다.
윌슨과 AGS
윌슨 구간은 AGS (Anti-Drift Grading System)가 모든 Hero Grade 차원과 모든 평가된 응답에 대해 계산합니다. 이렇게 하면 불안정한 점수(구간 > 15점)가 즉시 눈에 띄고 Premium PDF에 플래그가 표시되어 보고서의 근거력이 유지됩니다.
에이전시, 컨설턴트, 사내 팀을 위한 인프라입니다. 직접 만든 시나리오와 선택한 언어 및 모델로 얻은 답변을 비교하세요. 여러분의 시나리오와 전문성을 지원합니다.