EN
FR
ES
DE
IT
KO
JA
クロールとは、ロボット(クローラーまたはスパイダー)によるWebページの自動探索を指します。GooglebotはGoogleのインデックスに供給するためにWebをクロールします。BingBotもBingのために同様に動作します。AEOにおいて、クロールは基本的です:クロールされていないページは、検索エンジンにもRAGを使用するAIにも存在しません。
AEOにおける重要なクローラー
Googlebot:Googleのクローラー。Googleランキングと AI Overviews に影響します。
BingBot:Bingのクローラー。ChatGPTがRAGにBingを使用するため重要です。
GPTBot:OpenAIのクローラー。将来のトレーニングデータに供給します。
PerplexityBot:Perplexityのクローラー。
クロールの制御:robots.txt
robots.txtファイルは、どのロボットがサイトをクロールできるかを制御します。注意:GPTBotや他のAIクローラーをブロックすると、これらのシステムから見えなくなります。
クロールの最適化
- 高速なサイト(クローラーには時間の「予算」があります)
- robots.txtでの誤ったブロックがないこと
- 最新のXMLサイトマップ
- 一貫した内部リンク構造
顧客がブランド名を挙げずにAIに尋ねると、別の誰かが推薦されます。運用中のブランドはどうでしょう？
ChatGPTへの質問で回答にブランド名が挙がらなければ、その分だけ競合が代わりに推奨されます,, 実際のAI回答6,820件で測定。