クロールとは、ロボット(クローラーまたはスパイダー)によるWebページの自動探索を指します。GooglebotはGoogleのインデックスに供給するためにWebをクロールします。BingBotもBingのために同様に動作します。AEOにおいて、クロールは基本的です:クロールされていないページは、検索エンジンにもRAGを使用するAIにも存在しません。
AEOにおける重要なクローラー
Googlebot:Googleのクローラー。Googleランキングと AI Overviews に影響します。
BingBot:Bingのクローラー。ChatGPTがRAGにBingを使用するため重要です。
GPTBot:OpenAIのクローラー。将来のトレーニングデータに供給します。
PerplexityBot:Perplexityのクローラー。
クロールの制御:robots.txt
robots.txtファイルは、どのロボットがサイトをクロールできるかを制御します。注意:GPTBotや他のAIクローラーをブロックすると、これらのシステムから見えなくなります。
クロールの最適化
- 高速なサイト(クローラーには時間の「予算」があります)
- robots.txtでの誤ったブロックがないこと
- 最新のXMLサイトマップ
- 一貫した内部リンク構造
AIの回答で、担当するブランドはどのように紹介されていますか?
代理店、コンサルタント、社内チーム向け。独自のシナリオと選択した言語・モデルで得られた回答を比較できます。私たちのインフラと、皆様のシナリオ・専門知識を組み合わせてください。