技術

クロール / クローリング

クロールとは、ロボット(クローラーまたはスパイダー)によるWebページの自動探索を指します。GooglebotはGoogleのインデックスに供給するためにWebをクロールします。BingBotもBingのために同様に動作します。AEOにおいて、クロールは基本的です:クロールされていないページは、検索エンジンにもRAGを使用するAIにも存在しません。

AEOにおける重要なクローラー

Googlebot:Googleのクローラー。Googleランキングと AI Overviews に影響します。

BingBot:Bingのクローラー。ChatGPTがRAGにBingを使用するため重要です。

GPTBot:OpenAIのクローラー。将来のトレーニングデータに供給します。

PerplexityBot:Perplexityのクローラー。

クロールの制御:robots.txt

robots.txtファイルは、どのロボットがサイトをクロールできるかを制御します。注意:GPTBotや他のAIクローラーをブロックすると、これらのシステムから見えなくなります。

クロールの最適化

  • 高速なサイト(クローラーには時間の「予算」があります)
  • robots.txtでの誤ったブロックがないこと
  • 最新のXMLサイトマップ
  • 一貫した内部リンク構造
AIの回答で、担当するブランドはどのように紹介されていますか?

代理店、コンサルタント、社内チーム向け。独自のシナリオと選択した言語・モデルで得られた回答を比較できます。私たちのインフラと、皆様のシナリオ・専門知識を組み合わせてください。