信頼区間は、測定値の周りの不確実性の範囲を表します。Wilson法は、限られたAI応答数で測定されたブランドの出現率など、小規模サンプルで計算される比率に適しています。
数値だけでなく、不確実性を測定する
AIの応答は実行ごとに異なります。したがって、数十の応答で測定された言及率は絶対的な真実ではありません。Wilsonの信頼区間は、この率を範囲で囲みます:「ブランドは応答の40%に出現し、±8%の誤差があります」。
なぜ古典的な計算ではなくWilson法なのか?
Wilson法は小規模サンプルや極端な値(0%または100%)の近くでも信頼性を保ちます。古典的な公式では不合理な結果が出る場合でも有効です。これは、まだあまり引用されていないブランドの可視性を測定する際に重要です。
AGSにおける適用
AGSは、出現スコアにこの区間を表示します:不確実性は隠されず、明示されます。これは、評価者間信頼性と同様に、当社の方法論における透明性の柱の一つです。
AIの回答では、ブランドが登場するのは6回に1回だけです。あなたのブランドは?
ChatGPTへの質問の回答にあなたの名前がなければ、その分だけ競合があなたの代わりに推奨されています——実際のAI回答6,820件で測定。