GPTBot ist der Crawler von OpenAI, der das Web durchsucht, um die Datengrundlage von ChatGPT zu speisen. Er ist am User-Agent „GPTBot/1.0“ erkennbar und kann über robots.txt zugelassen oder blockiert werden.
Was ist GPTBot?
GPTBot ist der von OpenAI entwickelte Web-Crawler. Seine Aufgabe ist es, Websites zu durchsuchen und Daten zu sammeln, die zum Trainieren und Versorgen der GPT-Modelle, insbesondere ChatGPT, verwendet werden. Er ist in den Server-Logs am User-Agent „GPTBot/1.0“ identifizierbar.
GPTBot zulassen oder nicht?
Die Frage ist strategisch für die KI-Sichtbarkeit:
- GPTBot zulassen: Ihre Inhalte speisen ChatGPT und erhöhen die Chance, in Antworten zitiert zu werden. Dies ist die für GEO empfohlene Strategie.
- GPTBot blockieren: schützt Ihr geistiges Eigentum, verringert aber Ihre Sichtbarkeit auf ChatGPT.
Konfiguration in der robots.txt
Die Steuerung erfolgt über die robots.txt:
User-agent: GPTBot
Allow: / # Gesamte Website zulassen
Disallow: /private/ # Bestimmte Bereiche blockieren
Tracking mit AI Labs Audit
AI Labs Audit erkennt die Besuche von GPTBot auf Ihrer Website automatisch über das Tracking-Modul. Sie können so die Crawl-Frequenz messen und mit Ihrer Sichtbarkeit auf ChatGPT korrelieren. Siehe auch: ClaudeBot, PerplexityBot, Google-Extended.
Jede Frage an ChatGPT ohne den Namen Ihres Kunden in der Antwort ist ein Wettbewerber, der an seiner Stelle empfohlen wird — gemessen an 6 820 echten KI-Antworten.