🤖 Constructor robots.txt — Crear tus Reglas de Rastreo
Build a robots.txt file visually. Add allow/disallow rules, block AI crawlers (GPTBot, CCBot), set crawl delay. Download instantly. Free online robots.txt generator.
Use the visual rules builder to add User-agent directives, allow/disallow paths, and optionally set a crawl delay. One-click presets for Allow All, Block All, Block AI Bots (GPTBot, CCBot, anthropic-ai), and SEO-Friendly configurations. Download the finished file.
How to Use
Choose a preset
Start with a preset: Allow All, Block All, Block AI Bots (GPTBot, ClaudeBot, etc.), or SEO-Friendly.
Customize the rules
Add or remove User-agent rules and Disallow/Allow paths using the rule builder below the presets.
Download your file
Add your sitemap URL (optional), then click Download to save your robots.txt file.
Frequently Asked Questions
Guía: Generador de Robots.txt
¿Qué es?
robots.txt dice a los crawlers de buscadores qué partes de tu sitio rastrear. Solo es una sugerencia — no es un mecanismo de seguridad. Úsalo para excluir páginas de admin, resultados de búsqueda internos y endpoints de API.
Cómo usar
- Define reglas por user-agent (Googlebot,
*para todos). - Añade rutas Disallow para URLs no deseadas.
- Incluye la URL del sitemap al final.
- Sube a la raíz de tu dominio.
Consejos
Disallow: /bloquea todo el sitio — verifica dos veces antes de desplegar.- Bloquear con robots.txt no elimina del índice páginas ya indexadas — usa
noindex. - Google ignora
Crawl-delay— usa Search Console para limitar la velocidad.