robots.txt para IA: guía de configuración óptima de crawlers IA

Su robots.txt es lo primero que leen los crawlers IA.

Estrategia recomendada

Autorizar crawlers de búsqueda IA y bloquear los de entrenamiento.

Preguntas y respuestas

¿Cómo configurar robots.txt para crawlers de IA?

Para configurar robots.txt para crawlers de IA, añade directivas específicas para cada bot (GPTBot, ClaudeBot, PerplexityBot, etc.). Utiliza User-agent seguido de Allow o Disallow según las secciones que desees hacer accesibles o bloquear.

¿Qué bots de IA deben permitirse en robots.txt?

Los principales bots de IA a considerar son GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, Google-Extended (Gemini) y CCBot (Common Crawl). Para maximizar tu visibilidad en AEO, se recomienda permitir estos bots en tus páginas estratégicas.

¿Debo bloquear o permitir crawlers de IA?

Para una estrategia de AEO efectiva, se recomienda permitir crawlers de IA en tu contenido público estratégico. Bloquear bots de IA reduce tu visibilidad en respuestas generativas. AI Labs Audit puede verificar tu configuración de robots.txt a través de su auditoría técnica.

Sobre el autor

Davy Abderrahman

Fundador de

Como especialista en visibilidad en las respuestas de IA (AEO/GEO/LLMO), ayudo a agencias y consultores a medir y analizar la presencia de sus clientes en ChatGPT, Claude, Gemini, Perplexity y otros motores de respuesta de IA.

AEO GEO LLMO Visibilidad en IA Auditorías de IA
¿Cómo aparecen sus marcas en las respuestas de la IA?

Agencias, consultores y equipos internos: comparen las respuestas de sus propios escenarios, idiomas y modelos seleccionados. Nuestra infraestructura, sus escenarios, su experiencia.

¿Te ha sido útil este artículo?

- (0 votes)