説明できるスコアリング

AGSスコアを読み解き、説明する

AGS は、経営会議の場でも通用する数値を各監査に与えます。本ガイドでは、その数値を説明可能にしている4つのシグナルを順に見ていきます。3つの評価軸 P/I/Q、審査員間の信頼係数、ドリフト補正、そして再現性を保証する暗号ハッシュです。

詳しい記事を読む 用語集:Hero Grade

目次

  1. ステップ1:ダッシュボードでAGSスコアを見つける
  2. ステップ2:3つの評価軸 P/I/Q を読む
  3. ステップ3:GRC係数を確認する
  4. ステップ4:ASR(ドリフト補正)を読む
  5. ステップ5:SHA-256ハッシュを確認する
  6. ステップ6:クライアントに数値を説明する

ステップ1:ダッシュボードでAGSスコアを見つける

完了済みの監査を開いてください。結果ページの上部に、総合AGSスコア(0〜100)と、それに対応する Hero Grade の評価(A+ から F)が表示されます。この数値は、Presence(提示)、Impression(印象)、Quality(品質)という3つの複合的な評価軸の幾何平均です。Hero Grade はその定性的なラベルで、専門知識がなくても一目で意味が分かります。

評価の読み方 : A+ は圧倒的な存在感(最初に挙げられ、内容も充実し、評価も好意的)を表します。F はほぼ不可視の状態です。12段階(A+、A、A−、B+、B、B−、C+、C、C−、D、E、F)は、実際の監査データで較正されたパーセンタイル分布に従います。

ステップ2:3つの評価軸 P / I / Q を読む

総合スコアのすぐ下に、3つのサブスコアが表示されます。

  • P — Presence(提示) : ブランドは挙げられているか。何番目に挙げられているか。どれだけの分量で語られているか。すべてのクエリ(ブランドが登場しなかったものも含む)をもとに算出します。
  • I — Impression(印象) : 挙げられたとき、その情報は有益で、独自性があり、的確か。ブランドが言及されたクエリのみをもとに算出します。
  • Q — Quality(品質) : 評価は好意的か。挙げられた事実は正確か。言及のあったクエリを対象とします。
なぜ算術平均ではなく幾何平均なのか : 通常の平均では、Q が満点(品質は完璧)であることが、壊滅的な P(一度も挙げられていない)を覆い隠してしまいます。幾何平均であれば、ひとつの軸が崩れれば総合スコアも崩れます。操作しにくく、より誠実です。

ステップ3:審査員間のGRC係数を確認する

AGSスコアには必ず GRC(Grade Reliability Coefficient)が0〜1の値で添えられます。同じ項目を評価した審査モデル同士の一致度を測る指標です。読み方は次のとおりです。

  • GRC ≥ 0.80 : 一致度は非常に高く、スコアをそのまま説明に使えます。
  • 0.60 ≤ GRC < 0.80 : 良好な一致度です。ばらつきの大きい領域では通常の水準です。
  • GRC < 0.60 : 一致度が低い状態です。監査のシナリオ数が少なくないか(20未満)、あるいはブランドが議論を呼ぶ領域にないかをご確認ください。

クライアントに数値を説明する場面で GRC を示せることが、真剣な監査と根拠のない数字とを分けます。この係数を公表している GEO/AEO プラットフォームは、ほかに確認されていません。

ステップ4:ASR(ドリフト補正)を読む

AGSスコアの隣に ASR が表示されます。これは AGS から、同じ週に5つの安定した基準ブランドで測定したモデルのドリフトを差し引いた値です。OpenAI が GPT-4o を更新したり、Google が Gemini を調整したりすると、何もしていないブランドまで含めて、すべてのスコアが動きます。アンカーセットはこのドリフトだけを切り出し、ASR が補正後のスコアを示します。

具体的な読み方:2つの監査のあいだに AGS が62から71へ上がっても、ASR が62から67にしか上がっていなければ、あなた自身の進歩は5ポイントです。残る4ポイントは、その週にモデル全体が寛容になったことによるものです。

ステップ5:設定のSHA-256ハッシュを確認する

監査の詳細ページ下部、「技術的な署名」のセクションに judge_config_hash があります。この監査で用いた審査員の構成、重み付け、評価基準ファイルの SHA-256 の指紋です。

  • 2つの監査でハッシュが同じであれば、スコアをそのまま比較できます。
  • ハッシュが異なる場合は、算出式か審査員が変わっています。ダッシュボードがその点を明示し、基準値の取り直しを提案します。

競合が「あなたのスコアは62から71に上がりました」とクライアントに伝えても、ブランドが本当に伸びたのか、その間に算出式が変わったのかを知る手立てはありません。AGS ではこれは論点になりません。ハッシュが証拠になるからです。

ステップ6:クライアントに数値を説明する

マーケティング責任者や経営会議で監査を報告する際は、次の4つの数値を必ずこの順序で示してください。

  1. AGS + Hero Grade : 総合の数値。記憶に残ります。
  2. P / I / Q : 内訳。どこに手を打つべきかが分かります。
  3. GRC : 手法の信頼性を示すシグナル。
  4. ASR : ドリフトを補正したスコア。時系列の比較を誠実に行えます。

数値に疑問を投げかけられたときは、宣伝文句ではなくコードで応じてください。AQA標準の GitHub リポジトリ、手法のホワイトペーパー、監査の SHA-256 ハッシュ、公開された GRC。「信じてください」を「確かめてください」に置き換えるとは、こういうことです。

さらに詳しく

最初のAGSスコアを読んでみませんか?

ご登録で500クレジットを進呈します。クレジットカードは不要です。実際に監査を実行して、5分で AGS、GRC、ASR を読み解いてください。

無料で登録する

AIでの可視性を監査する準備はできましたか?

無料でアカウントを作成すると、500クレジットのウェルカムボーナスと毎月100クレジットを受け取れます。

無料アカウントを作成