Eine KI-Bot-Signatur ist ein User-Agent-Muster (und manchmal ein IP-Bereich), das einen Crawler einer generativen KI eindeutig identifiziert — OpenAIs GPTBot, Anthropics ClaudeBot, PerplexityBot, Google-Extended usw. AI Labs Audit pflegt ein Verzeichnis von 256 aktiven Signaturen, das kontinuierlich aktualisiert wird.
Warum ein eigenes Verzeichnis?
KI-Bots entwickeln sich rasant: neue Anbieter (Mistral-AI-User, ByteDance-Sora), Umbenennungen (Anthropic-AI → ClaudeBot → Claude-Web → Claude-SearchBot), Verhaltensänderungen (Training vs. Search-Modus). Ohne aktuelles Verzeichnis riskieren robots.txt und WAF entweder die richtigen Bots zu blockieren oder genau die zu ignorieren, die Ihre Inhalte tatsächlich konsumieren.
Inhalt des AI-Labs-Audit-Verzeichnisses
Pro Signatur wird erfasst:
- Anbieter (OpenAI, Anthropic, Google, Microsoft, Perplexity, xAI, ByteDance, Common Crawl …);
- Rolle (Training, Search, Agent, Browse) — ein Anbieter kann mehrere Bots mit unterschiedlichen Rollen betreiben;
- User-Agent-Muster zum Abgleich;
- Offizielle IP-Bereiche (sofern veröffentlicht);
- robots.txt-Empfehlungen (allow / disallow / kontextabhängig);
- Auswirkung auf die KI-Sichtbarkeit, wenn der Bot blockiert wird.
Insgesamt sind aktuell 256 Signaturen im Verzeichnis aktiv.
Nutzung im Tracking
Der Open-Source-Tracker von AI Labs Audit nutzt dieses Verzeichnis, um jeden Hit auf Ihrer Website zu klassifizieren. Sie erhalten: aktivste Bots, am häufigsten gecrawlte URLs pro Bot, Korrelation Crawl ↔ Citation in Ihren Audits, Alerts bei verdächtigen Spitzen oder fehlenden Bots.
Nutzung im GEO-Audit
Der GEO-Score eines Audits bestraft Websites, die KI-Such-Bots blockieren (PerplexityBot, OAI-SearchBot, Claude-SearchBot), da sie für das Erscheinen in web-augmentierten KI-Antworten unverzichtbar sind. Das Blockieren von Training-Bots (GPTBot Training, Google-Extended Training) ist hingegen neutral und wird sogar gewürdigt, wenn Marken ihre Inhalte schützen möchten.
Jede Frage an ChatGPT ohne den Namen Ihres Kunden in der Antwort ist ein Wettbewerber, der an seiner Stelle empfohlen wird — gemessen an 6 820 echten KI-Antworten.