方法と透明性

AGS方法論: AI Grading System | AI Labs Audit

AGS v2（AI Grading System、formule v4）はAI Labs Auditの採点エンジンです。独立した評価者モデルのプールがあなたのAI回答を採点し、サンプルの二重採点で評価者間の信頼性を測ります。

30秒で

AGS（AI Grading System）は、AIの回答におけるブランド可視性を測るオープンな方法です。各回答で3点を採点します。ブランドが現れているか、述べられた内容は好意的か、回答は信頼できるか。独立した評価者プールを使い、1回答1評価者、一部を二重採点します。最終スコアは3つの採点を組み合わせ、弱点を隠せないようにしています。何より方法論であり、理解し、検証し、反論できます。公開バージョン：AGS v2、formule v4。

この方法は、いくつかのレベルで読めます。30秒の定義、図、次元の説明、式、そして最後に再現性の付録です。マーケティング責任者も、GEOコンサルタントも、研究者も、それぞれ自分に響く詳細レベルで、皆がこの方法を理解できるはずです。

図

                 +---------------------------------------------+
   シナリオ  --->  |  AIモデルの回答（ChatGPT など）             |
                 +---------------------------------------------+
                                     |
                                     v
                 +---------------------------------------------+
                 |   ジュリー = 複数の独立したAIジャッジ        |
                 |   （異なるプロバイダー、自己優遇の防止）     |
                 +---------------------------------------------+
                                     |
          +--------------------------+--------------------------+
          v                          v                          v
     P - 存在                  I - 影響力                 Q - 品質
     (M, RP, WC)              (INF, UNQ, REL)             (SENT, ACC)
          +--------------------------+--------------------------+
                                     v
                        AGS = (P x I x Q) ^ (1/3)
                     （幾何平均：一つの次元がゼロだと
                      スコアが崩壊する）

幾何平均は意図的です。存在の欠如を良好なセンチメントで埋め合わせることはできません。従来の平均よりはるかに水増ししにくいのです。

AGSとは？

AGSは、オープンソースのマルチモデル・スコアリングプロトコルです。単一のLLMに頼ってブランドの可視性を評価する（バイアス、ハルシネーション、モデルのドリフト）代わりに、AGSは異なるプロバイダーのモデルのプールに評価を分散し、それらの間の差を公開します。差が小さいほど、スコアの信頼性は高まります。

評価される3つの次元

P（精度）：回答は、あなたのブランドを、競合や同名の別物と混同することなく正しく言及しているか？ハルシネーションと帰属の誤りを測定します。
I（情報性）：回答は、あなたのブランドについて有用で差別化された情報を提供しているか、それとも単に名前を挙げているだけか？引用の深さを測定します。
Q（品質）：回答は、事実として正確で最新か？情報の鮮度と、検証可能な事実への適合を測定します。

式（公開された方法、独自の重み付け）

AGS = (P x I x Q) ^ (1/3)、各次元は0から100で採点されます。各次元は、サブメトリクスの加重的な組み合わせです：

P: 存在（Présence）= 言及（M）、順位／ポジション（RP）、カバレッジ（WC）の組み合わせ。
I: 影響力（Influence）= 情報性（INF）、独自性（UNQ）、関連性（REL）の組み合わせ。
Q: 品質（Qualité）= センチメント（SENT）と正確性（ACC）の組み合わせ。

重み付けの正確な値は、私たちの独自の方法論の一部です。正規化され（合計 = 1）、較正・バージョン管理され、judge_config_hashによって追跡されます（これにより、同じハッシュを共有する二つの監査が厳密に比較可能であることが保証されます）。私たちは方法: 構造、幾何平均、次元、サブメトリクス、ジュリー、信頼性: を公開しますが、私たちのノウハウにあたる正確な重み付けは開示しません。

ジュリーと再現性

各回答は、異なるベンダーのモデルからなるプールの一次評価者が採点します。約20%の回答は2人目の評価者による二重採点で一致度（GRC）を測ります。プールはOpenAI、Anthropic、Google、Mistral、DeepSeekなどを組み合わせます。リストは変化しますが、judge_config_hash（SHA-256）が安定した基準です。

各監査の実際の構成（モデル + 重み + ルーブリック）は、そのjudge_config_hash（SHA-256）によって追跡されます。これが安定した基準です。同じハッシュを共有する二つの監査は厳密に比較可能であり、ジュリーの変更はすべて追跡されます。

GRC：評価者間の信頼性（マクドナルドのオメガ、スピアマン・ブラウン型 ω₂ = 2r/(1+r)）。2人の異なる評価者が二重採点した項目で計算します。5組以上ある場合に公開します。
存在スコアに表示される信頼区間：単なる数字ではなく、不確実性が示されます。
アンカーセット：ベンチマークブランドのパネルでモデルのドリフトを時系列で監視します。この監視はクライアントのAGSスコアには含まれません。監査横断のEWMAキャリブレーションが評価者ドリフトの相当部分を吸収します。

評価プロトコル

監査対象の各シナリオについて、AGSは評価者モデルに同一の指示を送ります（ゼロショットスコアリング）。評価はプール上でローテーションして配分され、その一部を二重化して評価者間の一致を測定します。スコアはその後、集約・較正されます。最終結果には、平均スコア、評価者間の差、そして95％のブートストラップ信頼区間が含まれます。

評価者間の信頼性（GRC）

AGSは、二重採点サンプルが揃う場合に、各監査の評価者間信頼係数GRCを公開します。GRCはマクドナルドのオメガ（2名評価用のスピアマン・ブラウン型）に基づきます。1に近いほど評価者の一致が高い。実務では0.80超でスコアはかなり安定、0.60から0.80で妥当、0.60未満は慎重に解釈し質問を言い換えてください。

透明性と再現性

各AGS監査は、シナリオ、生の回答、個々のスコアの暗号学的ハッシュを生成します。この署名により、スコアが改ざんされていないことを証明できます。AGSのコードはgithub.com/sarsator/aqa-specificationでオープンソース（MITライセンス）として公開され、スコアリング式はバージョン管理され公開されています。どのクライアントも、スコアを検証または異議申し立てできます。

AGSの頭字語

GRC: GRC：評価者間の信頼性（マクドナルドのオメガ、スピアマン・ブラウン型 ω₂ = 2r/(1+r)）。2人の異なる評価者が二重採点した項目で計算します。5組以上ある場合に公開します。
GIS: Generative Inclusion Score：回答内でのブランドの位置で重み付けした平均スコア（最初に言及された場合＝100%、最後の場合＝0%）。
ASR: Answer Sentiment Rating：言及のトーン（ポジティブ/ニュートラル/ネガティブ）を-1から+1のスケールで表します。
BVI: BVI（Brand Variance Index）：スコア分散のANOVA分解（シグナル、評価者、プロンプト、モデル）。可視性の割合ではなく、何が点数を動かすかを示します。
CIA: CIA（Citation-Influence Asymmetry）：ブランドのURLがソースとして引用される割合と、回答がブランド名を挙げる割合の差です。+20を超えると推薦されないままAIに情報を渡している状態、-20を下回るとソース引用なしに推薦されている状態です。

30の高度なGEOチェック 2026

Sprint 15では、パッシブに測定される30の新しいGEO/AEOシグナルを提供しました（ToS違反のスクレイピングはゼロ）。これらのシグナルは、6番目のカテゴリー「advanced_signals」（複合スコアの重み15%）を通じてAGSスコアリングを補完します。

6つの市場差別化要因

A08: Specificity score (Princeton GEO 2024): tier-1の出典付き統計の密度（Princeton GEO KDD 2024：LLM引用が最大+40%）。
A09: Counter-arguments markers: バランスの取れた論証のマーカーを測定する競合ツールは存在しません。
A07: Date-stamped statements
S05: Common Crawl inclusion
S08: llms.txt RFC validation
B10: Stack Overflow brand mentions

モジュール6: 外部権威シグナル

外部の権威シグナルに特化した新しいモジュール：LinkedIn、ProductHunt、G2/Capterra、Stack Overflow、GitHub、Substack/Medium。

GEOモジュール別のチェック

SSR / クロール可能性: mainEntity | QAPage | 動画のtranscript | Speakable | @graph @id | inLanguage | Common Crawl | llms.txt | IndexNow | ai.txt | 検証 | HTTP/3 | Brotli
Entity Health: Wikidata | DBpedia
Citation Readiness: 出典付き統計 | 論証のバランス | インラインの日付付け | ItemList | Dataset | Blockquote cite | 内部リンク | Anchor entropy | ニュースサイトマップ
External Authority: Stack Overflow | LinkedIn | GitHub | ProductHunt | B2B reviews | Newsletter

すべてのチェックはsafe_external_call（リトライ＋キャッシュ＋サーキットブレーカー）を使用し、その結果をaudits.advanced_checks_v2（JSONB＋GINインデックス）に保存します。

ブログの詳細記事：30の新しいGEO/AEOシグナル2026: 検証済みの最新動向。

私たちが測定するもの、そして測定しないもの

私たちが測定するもの

私たちは、AIモデルを公式APIを通じて、ネイティブモード（ナビゲーションなしのモデルの記憶）とウェブモード（オンライン検索を有効化）で照会し、再現可能な質問を用います。各監査はその構成の暗号学的な指紋を計算するため、比較される2つの監査は実際に比較可能です。

デフォルトのパネルは、一般の人々が実際に使用する製品（ChatGPT、Gemini、Perplexity、Claude、Mistralなど）に合わせて構成され、ダッシュボードには各エンジンの実際のオーディエンスシェアで重み付けした可視性が表示されます（出典はStatcounter／SimilarWeb、日付付きで見直し済み）。