Crawling ist der automatisierte Prozess, bei dem Bots das Web durchsuchen, um Inhalte zu entdecken und zu indexieren. Für AEO ist die Crawlbarkeit durch KI-Datenquellen (Common Crawl usw.) essenziell, um in Trainingsdaten aufgenommen zu werden.
Was ist Crawling?
Crawling ist der Prozess, bei dem automatisierte Bots (Crawler, Spider) Websites durchsuchen, um deren Inhalte zu entdecken und zu indexieren.
Wichtige Crawler
- Googlebot: Googles Crawler
- Bingbot: Microsofts Crawler
- Common Crawl: Offenes Webarchiv
- GPTBot: OpenAIs Crawler
- ClaudeBot: Anthropics Crawler
Crawling und AEO
Damit Ihre Inhalte LLMs trainieren oder von RAG genutzt werden können:
- KI-Crawler in robots.txt erlauben
- Zugänglichkeit der Website sicherstellen
- Saubere technische SEO pflegen