🤖 robots.txt Generator

Build a robots.txt file visually. Configure allow/disallow rules per user-agent, set crawl delay, and add sitemap URL. Free online robots.txt generator for SEO.

Presets:

Rules Builder

Sitemap URL (optional):

How to Use

Choose a preset

Start with a preset: Allow All, Block All, Block AI Bots (GPTBot, ClaudeBot, etc.), or SEO-Friendly.

Customize the rules

Add or remove User-agent rules and Disallow/Allow paths using the rule builder below the presets.

Download your file

Add your sitemap URL (optional), then click Download to save your robots.txt file.

Frequently Asked Questions

What is a robots.txt file? +

robots.txt is a file placed at the root of your website (example.com/robots.txt) that tells web crawlers which pages they can or cannot request. It follows the Robots Exclusion Protocol and is the first thing most crawlers fetch.

Does robots.txt prevent pages from being indexed? +

No — robots.txt prevents crawling, not indexing. If other pages link to a disallowed URL, Google can still index it without crawling it. To prevent indexing, use the noindex meta tag or X-Robots-Tag header.

How do I block AI training bots? +

Use the "Block AI Bots" preset. Common AI crawlers include: GPTBot (OpenAI), CCBot (Common Crawl), Google-Extended (Google AI), anthropic-ai (Anthropic), and ChatGPT-User. Add User-agent: BotName / Disallow: / for each.

What does "Disallow: /" mean? +

Disallow: / blocks all pages on the site for that user-agent. Disallow: /admin/ blocks only the /admin/ directory. Disallow: (empty) means allow everything. Allow: /public/ within a blocked section creates an exception.

Is robots.txt case-sensitive? +

Paths in robots.txt are case-sensitive on case-sensitive servers (most Linux servers). User-agent names are case-insensitive. So Disallow: /Admin/ and Disallow: /admin/ may be different paths.

Tam Rehber: Robots.txt Oluşturucu

robots.txt dosyası, web tarayıcılarına sitenizin hangi bölümlerine erişip erişemeyeceklerini bildiren, sitenizin kök dizinine yerleştirilen düz metin bir dosyadır. 1994'ten beri büyük tarayıcılar tarafından saygıyla karşılanmakta ve 2022'de IETF standardı olarak resmileştirilmektedir.

Temel Direktifler

User-agent — Tarayıcı adı. * tüm tarayıcıları kapsar.
Disallow — Belirtilen yolu taramayı engeller.
Allow — Daha geniş bir Disallow'u daha spesifik bir yol için geçersiz kılar.
Crawl-delay — Google bu direktifi dikkate almaz; Google Search Console'u kullanın.
Sitemap — Tarayıcıları XML site haritanıza yönlendirir.

Yapay Zeka Tarayıcılarını Engelleme (2024–2026)

Yapay zeka eğitim tarayıcılarını engellemek için şu blokları ekleyin:

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

Sık Yapılan Hatalar

En zararlı hata CSS ve JavaScript dosyalarını engellemektir. Google'ın sayfalarınızı doğru şekilde işlemesi için bu dosyalara erişmesi gerekir:

# KÖTÜ — bunu asla yapmayın
User-agent: *
Disallow: /css/
Disallow: /js/

robots.txt'nin Yapamadıkları

robots.txt tavsiye niteliğindedir, bir güvenlik mekanizması değildir. Kötü niyetli botlar buna uymaz. Gerçek erişim kontrolü için kimlik doğrulama veya güvenlik duvarı kuralları kullanın. Dizine eklemeyi önlemek için noindex meta etiketi veya X-Robots-Tag HTTP başlığını kullanın.

Google Search Console'da Test Etme

Google Search Console → Ayarlar → robots.txt bölümüne gidin.
Belirli URL'lerin izin verilip verilmediğini kontrol edin.
Değişiklikleri yayınlamadan önce Test Et düğmesini kullanın.

Site haritanızı Site Haritası Oluşturucu ile oluşturun.
Meta robots etiketlerini Meta Etiket Oluşturucu ile ayarlayın.