Die Datei robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die den Exploration-Robots (Crawlern) angibt, welche Seiten sie durchsuchen dürfen und welche nicht — einschließlich der KI-Crawler.
Was ist die Datei robots.txt?
Die Datei robots.txt ist eine standardisierte Textdatei im Stammverzeichnis einer Website (beispiel.de/robots.txt), die den Exploration-Robots (Crawlern) Zugriffsanweisungen gibt: welche Teile der Website durchsucht werden dürfen und welche ignoriert werden sollen. Sie ist das Erste, was Googlebot, GPTBot und andere Crawler konsultieren, bevor sie Ihre Website durchsuchen.
Robots.txt und KI-Crawler
Mit dem Aufstieg der KIs sind neue Crawler erschienen:
- GPTBot: Der Crawler von OpenAI zur Speisung von ChatGPT
- ClaudeBot: Der Crawler von Anthropic zur Speisung von Claude
- PerplexityBot: Der Crawler von Perplexity AI
- Google-Extended: Der Crawler von Google für Gemini
- Bytespider: Der Crawler von ByteDance (TikTok)
Empfohlene Konfiguration für KI-Sichtbarkeit
Um Ihre Sichtbarkeit auf den KIs zu maximieren, sollte Ihre robots.txt die KI-Crawler erlauben:
# KI-Crawler erlauben
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Sitemap
Sitemap: https://example.com/sitemap.xmlHäufige Fehler
- Alle Bots blockieren: „User-agent: * / Disallow: /" blockiert auch die KI-Crawler
- KI-Crawler vergessen: Wenn GPTBot blockiert ist, kann ChatGPT Ihren Inhalt nicht indexieren
- Keine robots.txt haben: Die Crawler durchsuchen alles ohne Priorität
Robots.txt und AI Labs Audit
Der GEO-Score von AI Labs Audit überprüft automatisch Ihre robots.txt-Datei und warnt Sie, wenn wichtige KI-Crawler blockiert werden.