Generador de robots.txt

Genera un archivo robots.txt para tu sitio web

Regla #1

robots.txt generado

¿Qué es un generador de robots.txt?

Un generador de robots.txt es una herramienta online gratuita para crear archivos robots.txt. Te ayuda a controlar cómo interactúan los rastreadores de los motores de búsqueda con tu sitio web, especificar qué rutas están permitidas o no e incluir referencias al sitemap. Toda la generación ocurre en el navegador.

Cómo crear robots.txt

Selecciona el rastreador que quieres configurar (o usa * para todos los rastreadores). Añade reglas de allow y disallow para especificar qué rutas pueden o no rastrearse. Añade la URL de tu sitemap. Copia el contenido del robots.txt generado y súbelo al directorio raíz de tu sitio web.

Entendiendo la sintaxis

robots.txt usa la directiva User-agent para especificar a qué rastreador se aplica una regla. La directiva Disallow bloquea el acceso a rutas. La directiva Allow anula a Disallow. La directiva Sitemap especifica la ubicación del sitemap.

Patrones habituales

  • Bloquear todos los rastreadores en el área de administración
  • Permitir a un rastreador específico acceder a todo
  • Bloquear el acceso a directorios privados
  • Especificar la ubicación del sitemap
  • Establecer reglas diferentes para distintos rastreadores

Preguntas frecuentes

¿Qué es robots.txt?+
robots.txt es un archivo de texto colocado en el directorio raíz de un sitio web. Indica a los rastreadores de los motores de búsqueda qué páginas o archivos pueden o no rastrearse en tu sitio web.
¿Cómo uso el generador de robots.txt?+
Selecciona los rastreadores que quieres permitir (como Googlebot, Bingbot), añade reglas de allow y disallow y especifica la ubicación del sitemap. La herramienta genera un archivo robots.txt que puedes descargar o copiar.
¿Cuál es la diferencia entre las directivas Disallow y Allow?+
Disallow indica a los rastreadores que no accedan a rutas específicas. Allow anula a Disallow y permite el acceso a subrutas específicas. Por defecto, todo está permitido si no se especifican reglas.
¿Debería bloquear todos los rastreadores?+
Normalmente no. Generalmente solo querrás bloquear directorios específicos (como /admin/ o /private/). Bloquear todos los rastreadores (User-agent: * Disallow: /) elimina tu sitio web de los resultados de búsqueda.
¿Puede robots.txt proteger páginas sensibles?+
No. robots.txt es de acceso público y cualquiera puede leerlo. No impide que los usuarios accedan a las páginas. Para una protección real, usa protección con contraseña o autenticación del lado del servidor.
¿Debería incluir una directiva Sitemap?+
Sí. Incluir Sitemap: https://example.com/sitemap.xml ayuda a los motores de búsqueda a encontrar tu sitemap e indexar mejor tu sitio web.

Herramientas relacionadas

Generador de metaetiquetasCodificador/Decodificador de URL

Generador de robots.txt — generador de robots.txt, archivo robots.txt, rastreadores de motores de búsqueda, control de rastreo del sitio web, sintaxis de robots.txt, robots.txt seo, directivas de rastreo, directivas de sitemap online gratis. Sin registro. Funciona en tu navegador.