Robots.txt Oluşturucu
Arama motorlarına hangi sayfaları tarayacaklarını bildiren robots.txt dosyanızı formu doldurarak oluşturun.
Tamamen ücretsiz · Kayıt gerekmez · Sınırsız kullanım
robots.txt dosyası nasıl yazılır, ne işe yarar?
robots.txt, sitenizin kökünde duran ve arama motorlarına hangi bölümleri tarayabileceklerini bildiren metin dosyasıdır. User-agent satırıyla hangi tarayıcıya seslendiğinizi, Disallow ile engellenen yolları, Allow ile istisnaları ve Sitemap satırıyla site haritanızın adresini belirtirsiniz. Önemli uyarı: robots.txt bir güvenlik önlemi değildir, yalnızca kibar bir ricadır ve dosya herkese açıktır; gizli kalması gereken adresleri buraya yazmayın. Bu araç formu doldurarak geçerli bir dosya üretmenizi sağlar.
- Dosya konumu
- Sitenin kökü: /robots.txt
- Hazır şablon
- 4 senaryo
- AI tarayıcı ayarı
- Dahil
- Sunucuya istek
- Gönderilmez
robots.txt dosyanız
-…
https://siteniz.com/robots.txt
adresinden açılabilmelidir. Dosya adı küçük harfle yazılır. Yükledikten sonra
Robots.txt Test Aracı ile belirli bir sayfanın taranabildiğini doğrulayın.
Robots.txt Oluşturucu sonuçlarını nasıl yorumlamalı?
Dosya kökte durmalı
robots.txt yalnızca sitenizin kök dizininde geçerlidir: siteniz.com/robots.txt. Alt klasöre koyulan dosya hiçbir arama motoru tarafından okunmaz. Dosya adı küçük harfle yazılır ve her alt alan adının kendi robots.txt dosyası olması gerekir; blog.siteniz.com için ayrı bir dosya gerekir.
Disallow indekslemeyi engellemez
Bu en sık yapılan hatadır. Disallow sayfanın taranmasını durdurur, arama sonuçlarında görünmesini değil. Başka sitelerden bağlantı alan engellenmiş bir sayfa, Google tarafından içeriği okunmadan yine listelenebilir. Bir sayfanın kesin olarak çıkmaması gerekiyorsa sayfaya noindex etiketi koyun ve o sayfayı robots.txt ile engellemeyin.
Sitemap satırı tam adres ister
Sitemap satırı User-agent gruplarına bağlı değildir ve dosyanın herhangi bir yerinde durabilir. Ancak kısaltılmış yol kabul edilmez; https ile başlayan, alan adını içeren tam adres yazmanız gerekir. Birden fazla site haritanız varsa her biri için ayrı bir Sitemap satırı ekleyin.
Crawl-delay kimin işine yarar?
Google bu satırı tamamen yok sayar; tarama hızını Search Console üzerinden ayarlamanız gerekir. Bing ve Yandex ise dikkate alır. Sunucunuz yoğun tarama altında zorlanmıyorsa bu satırı hiç kullanmayın, gereksiz yere tarama hızınızı düşürür.
Sık sorulanlar
Bu bir tercih meselesidir, teknik bir zorunluluk değildir. İçeriğiniz asıl değeriniz ise ve izinsiz kullanılmasını istemiyorsanız engelleyebilirsiniz. Buna karşılık ChatGPT, Claude ve Perplexity gibi araçlar giderek daha fazla kişi tarafından arama amacıyla kullanılıyor; engellerseniz bu yanıtlarda kaynak olarak gösterilmezsiniz. Çoğu küçük işletme için görünür olmak, içeriği korumaktan daha değerlidir. Ayrıca robots.txt bir ricadır: kurala uymayan tarayıcıları teknik olarak durdurmaz.
Sitenizin tamamının taranmasını yasaklar. Geliştirme ve test sitelerinde doğru bir kullanımdır. Canlı sitede yanlışlıkla bırakılırsa sayfalarınız zamanla arama sonuçlarından düşer. Bu hata çoğunlukla test sitesi canlıya alınırken dosyanın da birlikte kopyalanmasıyla olur; yayına almadan önce robots.txt dosyanızı mutlaka kontrol edin.
Google robots.txt dosyasını önbelleğe alır ve genellikle 24 saat içinde yeniden okur. Acil bir düzeltme yaptıysanız Search Console üzerindeki robots.txt raporundan yeniden taranmasını isteyebilirsiniz. Yeni kuralın etkisinin sayfalara yansıması ise daha uzun sürer, çünkü sayfaların yeniden taranması gerekir.