KI-Bot-Signaturen

Warum ein eigenes Verzeichnis?

KI-Bots entwickeln sich rasant: neue Anbieter (Mistral-AI-User, ByteDance-Sora), Umbenennungen (Anthropic-AI → ClaudeBot → Claude-Web → Claude-SearchBot), Verhaltensänderungen (Training vs. Search-Modus). Ohne aktuelles Verzeichnis riskieren robots.txt und WAF entweder die richtigen Bots zu blockieren oder genau die zu ignorieren, die Ihre Inhalte tatsächlich konsumieren.

Inhalt des AI-Labs-Audit-Verzeichnisses

Pro Signatur wird erfasst:

• Anbieter (OpenAI, Anthropic, Google, Microsoft, Perplexity, xAI, ByteDance, Common Crawl …);
• Rolle (Training, Search, Agent, Browse) — ein Anbieter kann mehrere Bots mit unterschiedlichen Rollen betreiben;
• User-Agent-Muster zum Abgleich;
• Offizielle IP-Bereiche (sofern veröffentlicht);
• robots.txt-Empfehlungen (allow / disallow / kontextabhängig);
• Auswirkung auf die KI-Sichtbarkeit, wenn der Bot blockiert wird.

Insgesamt sind aktuell 100+ Signaturen im Verzeichnis aktiv.

Nutzung im Tracking

Der Open-Source-Tracker von AI Labs Audit nutzt dieses Verzeichnis, um jeden Hit auf Ihrer Website zu klassifizieren. Sie erhalten: aktivste Bots, am häufigsten gecrawlte URLs pro Bot, Korrelation Crawl ↔ Citation in Ihren Audits, Alerts bei verdächtigen Spitzen oder fehlenden Bots.

Nutzung im GEO-Audit

Der GEO-Score eines Audits bestraft Websites, die KI-Such-Bots blockieren (PerplexityBot, OAI-SearchBot, Claude-SearchBot), da sie für das Erscheinen in web-augmentierten KI-Antworten unverzichtbar sind. Das Blockieren von Training-Bots (GPTBot Training, Google-Extended Training) ist hingegen neutral und wird sogar gewürdigt, wenn Marken ihre Inhalte schützen möchten.