Der User-Agent ist ein HTTP-Header, der von einem Browser oder Roboter bei jeder Webanfrage gesendet wird und die Software identifiziert, die die Anfrage durchführt (Browser, Suchmaschinen-Bot, KI-Crawler usw.).
Was ist ein User-Agent?
Der User-Agent ist eine Zeichenkette, die im HTTP-Header jeder Webanfrage gesendet wird. Sie identifiziert die Software, die die Anfrage durchführt.
User-Agents von KI-Bots
Im Kontext des KI-Trackings sind User-Agents unverzichtbar, um die Roboter der KI-Suchmaschinen zu identifizieren:
GPTBot/1.0— OpenAI (ChatGPT)ClaudeBot/1.0— Anthropic (Claude)PerplexityBot/1.0— Perplexity AIGoogle-Extended— Google (Gemini)CCBot/2.0— Common Crawl (von vielen LLMs verwendet)Bytespider— ByteDance
Rolle in der robots.txt
Die robots.txt-Datei verwendet User-Agents, um den Zugriff der Bots zu erlauben oder zu blockieren:
User-agent: GPTBot
Disallow: /private/
User-agent: ClaudeBot
Allow: /Warum ist es wichtig?
Die Analyse der User-Agents ermöglicht es, genau zu wissen, welche KI-Bots Ihre Website besuchen, wie häufig und welche Seiten sie aufrufen. Dies ist die Grundlage des KI-Trackings.