Su robots.txt es lo primero que leen los crawlers IA.
Estrategia recomendada
Autorizar crawlers de búsqueda IA y bloquear los de entrenamiento.
Preguntas y respuestas
¿Cómo configurar robots.txt para crawlers de IA?
Para configurar robots.txt para crawlers de IA, añade directivas específicas para cada bot (GPTBot, ClaudeBot, PerplexityBot, etc.). Utiliza User-agent seguido de Allow o Disallow según las secciones que desees hacer accesibles o bloquear.
¿Qué bots de IA deben permitirse en robots.txt?
Los principales bots de IA a considerar son GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, Google-Extended (Gemini) y CCBot (Common Crawl). Para maximizar tu visibilidad en AEO, se recomienda permitir estos bots en tus páginas estratégicas.
¿Debo bloquear o permitir crawlers de IA?
Para una estrategia de AEO efectiva, se recomienda permitir crawlers de IA en tu contenido público estratégico. Bloquear bots de IA reduce tu visibilidad en respuestas generativas. AI Labs Audit puede verificar tu configuración de robots.txt a través de su auditoría técnica.
Agencias, consultores y equipos internos: comparen las respuestas de sus propios escenarios, idiomas y modelos seleccionados. Nuestra infraestructura, sus escenarios, su experiencia.