EN
FR
ES
DE
IT
KO
JA
윌슨 신뢰 구간은 소규모 이진 샘플(성공/실패)에 맞게 설계된 통계 공식으로, 관찰된 점수를 하한과 상한 사이로 구속합니다. AI Labs Audit는 모든 Hero Grade에 이를 표시해 점수가 통계적으로 확실한지 아직 불안정한지를 나타냅니다.
왜 단순 평균이 아닌가?
5개의 프롬프트에 4번 인용된 브랜드(80%)와 100개의 프롬프트에 80번 인용된 브랜드(80%)를 상상해 보세요. 둘의 평균은 같지만, 후자가 훨씬 더 신뢰할 수 있습니다. 윌슨 신뢰 구간은 이러한 차이를 포착합니다.
해석하는 방법
각 Hero Grade에 대해 AI Labs Audit는 예를 들어 다음과 같이 표시합니다:
점수: 78 / 100
윌슨 95% 구간: [71; 84]해석: 95% 신뢰 수준에서 실제 점수는 71과 84 사이에 있습니다. 구간이 좁을수록 등급이 더 확실합니다. 구간이 넓으면 프롬프트를 더 많이 사용해 감사를 다시 실행하거나 더 많은 과거 데이터를 기다려야 한다는 신호입니다.
왜 Wald가 아니라 Wilson인가?
전통적인 Wald 공식(평균 ± 표준편차)은 점수가 0% 또는 100% 근처이거나 샘플이 작을 때(12-24개 프롬프트의 AEO/GEO 감사에서 전형적) 수치적으로 불안정합니다. 윌슨은 이런 영역에서도 정확성을 유지하며, 현대 통계 표준(Brown, Cai & DasGupta, 2001)이 권장하는 공식입니다.
윌슨과 AGS
윌슨 구간은 AGS (Anti-Drift Grading System)가 모든 Hero Grade 차원과 모든 평가된 응답에 대해 계산합니다. 이렇게 하면 불안정한 점수(구간 > 15점)가 즉시 눈에 띄고 Premium PDF에 플래그가 표시되어 보고서의 근거력이 유지됩니다.
ChatGPT에 대한 질문에서 답변에 브랜드가 언급되지 않을 때마다, 그 자리에는 경쟁사가 추천됩니다: 6,820개의 실제 AI 답변으로 측정된 결과입니다.