どのAIモデルが最もURLを捏造するか? 26,435件の引用を検証

<p><em>私たちはプラットフォームから得られる集計・匿名化された数字を定期的に公開しています。今回の問いはシンプルですが、実データで答える人はいませんでした。AIがソースを引用するとき、そのリンクは本当に存在するのか。そして、どのモデルが最も間違えるのか。</em></p> <h2>調査の範囲</h2> <p>2025年9月から2026年7月までに、プラットフォームは132件の監査に由来する<strong>7,774件のAI回答</strong>を分析しました。対象は<strong>53の異なるモデル</strong>(ChatGPT、Claude、Gemini、Perplexity、Grok、Mistralほか)です。これらの回答で、モデルは<strong>26,435件のURLをソースとして引用</strong>しました。私たちはそれらを1件ずつ検証しました。<strong>70件が存在しませんでした</strong>。もっともらしい見た目でありながら一度も公開されたことのないページへのリンクが、<strong>23の異なるブランド</strong>にまたがって見つかりました。平均レートは<strong>0.26%</strong>、約<strong>380件の引用に1件</strong>の計算です。</p> <p>方法は意図的に反論しにくいものにしています。URLが「捏造」とカウントされるのは、モデルがそれをソースとして引用し、かつ検証時点でエラー(404またはソフト404)を返す場合のみです。解釈の余地はありません。ページは存在するか、しないかのどちらかです。</p> <h2>ランキング: モデル別の捏造URL率</h2> <p>正直な数字はエラーの絶対数ではなく<strong>率</strong>です。あるモデルが引用するURLのうち、解決できないものの割合はどれくらいか。Perplexityのように多くのリンクを引用するモデルは、機械的に間違える機会が多くなるからです。以下は、十分なデータ量があるモデルについて、捏造URLを引用URL総数で割ったものです。</p> <div style='overflow-x:auto;margin:20px 0;'><table style='width:100%;border-collapse:collapse;font-size:0.92rem;min-width:520px;'><thead><tr><th style='text-align:left;padding:10px 12px;border-bottom:2px solid #e5e7eb;font-size:0.85rem;'>モデル</th><th style='text-align:left;padding:10px 12px;border-bottom:2px solid #e5e7eb;font-size:0.85rem;'>捏造URL率</th><th style='text-align:left;padding:10px 12px;border-bottom:2px solid #e5e7eb;font-size:0.85rem;'>捏造URL数</th><th style='text-align:left;padding:10px 12px;border-bottom:2px solid #e5e7eb;font-size:0.85rem;'>影響ブランド数</th><th style='text-align:left;padding:10px 12px;border-bottom:2px solid #e5e7eb;font-size:0.85rem;'>引用URL数</th></tr></thead><tbody><tr style='background:#faf5ff;'><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-weight:700;'>Perplexity Sonar Pro</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-weight:700;font-variant-numeric:tabular-nums;'>1.05%</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>21</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>9</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>2,002</td></tr><tr style='background:#f9fafb;'><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-weight:500;'>Anthropic Claude Sonnet 4.6</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-weight:700;font-variant-numeric:tabular-nums;'>0.62%</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>9</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>5</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>1,449</td></tr><tr style='background:#ffffff;'><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-weight:500;'>OpenAI GPT-5 Mini</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-weight:700;font-variant-numeric:tabular-nums;'>0.44%</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>24</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>13</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>5,436</td></tr><tr style='background:#f9fafb;'><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-weight:500;'>Anthropic Claude Haiku 4.5</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-weight:700;font-variant-numeric:tabular-nums;'>0.19%</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>8</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>3</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>4,198</td></tr><tr style='background:#ffffff;'><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-weight:500;'>OpenAI GPT-5</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-weight:700;font-variant-numeric:tabular-nums;'>0.16%</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>3</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>2</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>1,848</td></tr><tr style='background:#f9fafb;'><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-weight:500;'>Google Gemini 2.5 Flash</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-weight:700;font-variant-numeric:tabular-nums;'>0.12%</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>2</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>1</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>1,656</td></tr><tr style='background:#ffffff;'><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-weight:500;'>Perplexity Sonar</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-weight:700;font-variant-numeric:tabular-nums;'>0.04%</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>3</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>3</td><td style='padding:10px 12px;border-bottom:1px solid #f0f0f0;font-variant-numeric:tabular-nums;color:#6b7280;'>7,065</td></tr></tbody></table></div> <p style="font-size:0.9em;color:#6b7280;">読み方: 私たちの監査でPerplexity Sonar Proが引用した2,002件のURLのうち、21件(1.05%)は解決できず、9ブランドにまたがっていました。捏造URLが3件以下のモデルは参考値です。サンプルが小さすぎて細かい判定はできず、その点は認めます。</p> <h2>発見1: 「検索エンジン」のパラドックス</h2> <p>割合として最も多くのURLを捏造したのは<strong>Perplexity Sonar Pro</strong>でした。まさに「ソースを引用する検索エンジン」として売られているモデルです。しかし同じベンダーの軽量版<strong>Perplexity Sonar</strong>は、パネル全体で<strong>最良</strong>のスコア(0.04%)を記録しています。両者の差は約<strong>25倍</strong>です。教訓は明白です。引用の信頼性はモデルのブランドではなく、正確な構成によって決まります。モデルごとに測定する意味がここにあります。一般的な「ChatGPT」や「Perplexity」という括りでは何も分かりません。</p> <h2>発見2: 絶対数では、最も使われるモデルが最も多くのエラーを生む</h2> <p><strong>GPT-5 Mini</strong>は、絶対数で最大の捏造URL(24件、13ブランド)を生み出しています。最も信頼性が低いからではありません(率0.44%は中位です)。私たちの監査で圧倒的に最も多く使われるモデルだからです。大規模に運用すれば、平均的な率でも相当な量のエラーになります。これが「デフォルトモデル」の落とし穴です。</p> <h2>発見3: 免疫のあるモデルはない</h2> <p>データに含まれるすべてのファミリー(OpenAI、Anthropic、Google、Perplexity)が、少なくとも1件の捏造URLを生成しました。0%の「クリーンな」モデルは存在しません。そして引用型AIによる捏造URLは、単なる間違いより<strong>危険</strong>です。ユーザーは表示されたソースを信頼するからです。私たちの2026年バロメーターでは、こうした幽霊アドレスのうち8件が実際の人間の訪問を受けていたことを検出しました。クリックして、あなたのブランドに帰属するエラーページにたどり着く見込み客です。これはレピュテーションの盲点であり、<a href="/blog/ja/hallucinated-urls-ai-detection">ハルシネーションURLのガイド</a>と用語集の<a href="/glossaire/ja/ai-hallucination">AIハルシネーション</a>で詳述しています。</p> <h2>ブランドにとっての意味</h2> <p>具体的な教訓は2つです。第一に、どのモデルで見えているかは、見えていること自体と同じくらい重要です。リンクを捏造するモデルでの引用は、誤った結び付けにブランドをさらします。第二に、それを知る唯一の方法は、モデルごとに測定し、引用された各URLを検証することです。この規模での手動の監視では不可能です。</p> <h2>これらの数字の限界</h2> <p>このデータは、監査を選択したブランドに由来します。全企業の代表的なサンプルではありません。エラー量の少ないモデル(3件以下)は確定的ではなく参考値です。率はモデル更新のたびに変動します。新しいデータでこの調査を再公開する予定です。測定していない項目を含む完全な方法論は、<a href="/methodologie-ags">方法論ページ</a>に記載しています。</p> <p>どのモデルがあなたのブランドについてURLを引用し、あるいは捏造しているか知りたいですか。モデルごと、URLごとに測定するのが、まさに監査の役割です。</p>