AIモデルは23%の質問でブランド言及が一致しない

要点。実際の監査から得た617件の質問を平均4.3モデルに提示したところ、23%の質問で、少なくとも一つのモデルがブランドに言及し、別のモデルが言及しなかった。これは同じ質問への回答に観察された言及の有無の差であり、各回答の真偽を判定するものではない。監査を受けることを選んだブランドの標本であり、すべてのブランドを代表する結果ではない。

23%という割合が測定しているもの

この調査が対象にしたのは、生成された回答文にブランドが登場するかどうかという、明確に定義された事象である。各質問について、回答したモデルごとに言及の有無を確認した。少なくとも一つのモデルがブランドに言及し、少なくとも別の一つが言及しなかった場合、その質問を不一致があった質問として数える。617件のうち、この定義に当てはまった質問の割合が23%である。

したがって、この割合は回答の質、文体、長さ、推薦される順序、個々の主張の正確さを測る指標ではない。ブランド名が慎重な注意書きとともに登場する場合も、誤った文脈や無関係な文脈で登場する場合もある。逆に、ブランドに言及しない回答でも、利用者の役に立つことはあり得る。言及の有無と回答の評価は、別々に確認しなければならない。

単一モデルでは全体を判断できない理由

同じ質問を一つのシステムに投げた結果は、特定のモデル、時点、応答モード、質問文という一組の条件で得られた一つの観測である。別のモデルがブランド名を出さなくても、最初の回答が直ちに誤りになるわけではない。これは、観測される言及が測定条件によっても変わることを示している。モデルは、いつでも同じ結果を返す相互交換可能な経路ではない。

一枚のスクリーンショットや一回の出力は、確認すべき信号としては意味があるが、一般的な結論の根拠としては弱い。状況を比較するなら、同じ質問を保持し、使用したモデルと条件を記録する必要がある。こうした文脈を欠くと、矛盾して見える二つの結果が、実際には異なる条件を記述しているだけなのか判断できない。

あり得る仕組みは確定した原因ではない

差が生じる仕組みとしては、学習データや更新時点の違い、応答ルール、情報源の選択、質問の表現、ウェブ検索の利用有無などが考えられる。ただし、これらはもっともらしい仮説であり、今回確立された原因ではない。617件の質問から単一の原因を切り分けたり、特定の差を提供者のある判断に帰属させたりすることはできない。

一つの回答での非言及は全般的な不在を証明せず、一度の言及も安定した存在感を証明しない。

ウェブ検索とネイティブ応答は別の条件

出典は、2025年9月から2026年6月の収集データに基づく2026年バロメーター。表は両モードを測定した63件の監査という部分標本を対象とする。本研究の617件の質問や、オブザーバトワールの現行集計とは対象範囲が異なる。

応答条件	平均可視性スコア（/100）	比較した監査数
ネイティブ、ウェブ検索なし	63.4	63
ウェブ検索あり	70.5	63
ウェブからネイティブを引いた差	7.1	63

差はスコアの7.1ポイントであり、ブランド言及率の7.1%ではない。すべてのブランドに適用できる平均でもない。ネイティブモードは外部ウェブ検索を有効にしない条件での回答を測る。ブランドが学習データに含まれることを証明するものではない。

情報源は確認しても過度に解釈しない

回答は異なる信号や情報源に基づくことがある。回答に情報源が示されている場合は、ブランド自身が公開している情報と第三者が公開している情報に矛盾がないかを点検できる。ただし、情報源の一覧だけで、個々の回答に差が出た原因を断定してはいけない。

特に、解決しないURLは、情報が捏造された証拠ではない。ページの移動、リダイレクト、アクセス制限、一時的な障害、転記ミスなど、URLが開かない理由は複数考えられる。URLを保存し、現在の状態を確認し、関連する主張を文脈の中で読む必要がある。結論は推測ではなく、実際に確認できた事項に限定すべきである。

複数モデルの監査に必要な記録

比較可能な監査にするには、正確な質問文、言語、モデル、応答モード、収集日、回答全文、ブランド言及の有無を少なくとも残す。表示された情報源がある場合はそれも記録するが、因果関係の証明として扱わない。集計値だけでなく、その背後にある個別事例へ戻れるようにするためである。記録がそろっていれば、集計に使った定義と各ケースの関係も確認しやすくなる。

• 推薦、比較、特定の課題の解決など、質問の意図が同じものを比較する。
• 変化を追う場合は、質問の文言をそろえる。
• 割合を要約する前に回答本文を読み、特にモデル間で結果が分かれた質問を確認する。
• 言及の有無、事実の正確さ、文体、情報源を分けて評価する。

利用可能な設定と収集時に表示された情報源も保存する。別の確認者にも、二つの回答が言及の有無について異なる分類になった理由が分かる記録が必要だ。チェック欄だけでは留保や文脈が残らない。回答全文を保存したい。

23%の分母と分布を正しく読む

この区別は判断を誤らせないために重要である。標本全体に一律に当てはめると、実際の分布が見えなくなる。特定のブランドや質問タイプに差が集中している可能性もあれば、収集した回答で結果が安定している領域もあり得る。その分布を確かめるには、全体率ではなく詳細データを見る必要がある。

不一致を調査と意思決定に生かす

私たちの見解は明確だ。モデル間の可視性を評価するには、単一モデルの監査では不十分である。質問の23%で言及の有無が分かれた結果が、この判断を支える。ただし、すべての監査に必要なモデル数を定める数値ではない。好都合な一枚の画面では全体像を検証できない。

まず、ブランドにとって商業上重要な質問を選ぶ。同じ文言を複数モデルに提示し、ネイティブとウェブ検索の条件を分け、結果が分かれた事例から確認する。何が欠け、何が不正確で、ブランド側が検証可能な情報源によって何を訂正できるかを記録する。これは私たちが推奨する手順であり、この研究で効果を測った施策ではない。

人為的な傾向を作らず変化を追う

モデルと出力は変化する。同じ質問セットを繰り返せば観測を比較できるが、質問文、言語、モデル、応答モードを同時に変えてはいけない。複数の条件が変わると、観測された差が何に由来するか解釈しにくくなる。一本の折れ線だけを示すダッシュボードより、条件を追跡できる記録が有用である。

継続的な観測は将来の軌道を約束しない。上昇や低下を記録できても、それだけで最近の施策の効果が証明されたことにはならない。変化を仮説と結びつける場合は、実施した変更と回答を保存し、比較対象の範囲が一貫しているかを確認する。観測、仮説、検証結果を分ける姿勢が必要である。

標本の選ばれ方と解釈の限界

617件の質問は、監査を受けることを選んだブランドから得られたものである。したがって、この標本はすべてのブランドを代表するものではない。参加を選んだブランドと選ばなかったブランドで状況が異なる可能性を排除できず、全体への一般化はできない。平均4.3モデルという数値も、この収集の条件を表すもので、すべての調査に課すべき基準ではない。

結論として個別事例と分布を重視する

私たちが優先するのは、訂正を始める前に不一致を検証可能にすることだ。事例を保存し、確認する情報を特定してから、記録した条件で比較を繰り返す。何を調べるかを決めるには、単独のスコアよりこの記録が役立つ。

個別の回答と分布を確かめれば、一つの印象的な事例を全体像と誤認しにくくなる。さらに文脈を確認するには、2026年バロメーター、AGSの方法論、オブザーバトワール、ブランド可視性の監査ガイドを参照できる。