Robots.txt Test Aracı
Sitenizin robots.txt dosyasını okuyup belirli bir adresin Google tarafından taranıp taranamadığını test edin.
Tamamen ücretsiz · Kayıt gerekmez · Sınırsız kullanım
Bir sayfanın robots.txt tarafından engellenip engellenmediği nasıl anlaşılır?
robots.txt, arama motorlarına hangi adresleri tarayabileceklerini bildiren bir metin dosyasıdır ve sitenin kökünde bulunur. Bu araç sitenizin robots.txt dosyasını okur, kuralları ayrıştırır ve girdiğiniz adresin seçtiğiniz tarayıcı (Googlebot, Bingbot, GPTBot) tarafından taranıp taranamayacağını söyler. Google'ın kuralı şudur: birden fazla kural eşleşirse en uzun (en spesifik) yol kazanır, eşitlik durumunda Allow kuralı önceliklidir.
- Test edilen
- Tekil adres
- Tarayıcı seçimi
- Googlebot, Bingbot, GPTBot
- Ücret
- Ücretsiz
- Kayıt gerekmez
- Evet
Robots.txt Test Aracı sonuçlarını nasıl yorumlamalı?
En uzun kural kazanır
Bir yola birden fazla kural uyduğunda arama motoru en kısa olanı değil, en uzun ve en özel olanı uygular. Örneğin Disallow: /blog/ ile Allow: /blog/nasil-yapilir/ birlikte tanımlıysa o tek sayfa taranabilir kalır, klasörün geri kalanı kapalıdır. Uzunluk eşitse Allow kazanır.
Her bot kendi grubuna bakar
Bir bot için özel bir User-agent grubu tanımlıysa, o bot yıldız (*) grubundaki kuralları tamamen yok sayar. Yani Googlebot için ayrı bir grup açtıysanız, yıldız grubuna yazdığınız kısıtlar Googlebot için geçerli olmaz. Bu, en sık yapılan robots.txt hatasıdır.
Taranamaz demek indekslenmez demek değil
robots.txt yalnızca tarama iznini kontrol eder. Kapattığınız bir adres başka sitelerden bağlantı alıyorsa arama motoru sayfayı açmadan, sadece bağlantı metnine bakarak indeksleyebilir. Bir sayfayı arama sonuçlarından çıkarmak istiyorsanız robots ile kapatmak değil, sayfaya noindex etiketi koymak gerekir.
Yol eşleşmesi baştan yapılır
Kurallar adresin başından itibaren eşleşir. Disallow: /ara yazdığınızda /arama, /arac ve /ara-sonuc adreslerinin hepsi kapanır. Yalnızca tam bir adresi kapatmak istiyorsanız sonuna dolar işareti koyun: Disallow: /ara$ gibi. Yıldız işareti aradaki herhangi bir karakter dizisini temsil eder.
Sık sorulanlar
Çünkü robots.txt taramayı engeller, indekslemeyi değil. Google sayfayı açamadığı için içeriğini bilmez, ama başka sitelerden gelen bağlantılara bakarak adresi indekste tutabilir. Bu durumda sonuçlarda açıklamasız bir bağlantı görürsünüz. Doğru çözüm şudur: sayfayı robots.txt'den çıkarın ki Google okuyabilsin, sonra sayfaya noindex etiketi ekleyin. Google noindex etiketini görebilmek için sayfayı taramak zorundadır.
Bu bir strateji tercihidir, teknik bir zorunluluk değildir. GPTBot'u engellerseniz içeriğiniz ChatGPT'nin tarama süreçlerinde kullanılmaz; buna karşılık yapay zekâ yanıtlarında kaynak olarak gösterilme ihtimalinizi de düşürürsünüz. Özgün ve ticari değeri yüksek içerik üreten yayıncılar engellemeyi tercih edebilir. Hizmet sitelerinin çoğu için açık bırakmak daha mantıklıdır, çünkü yapay zekâ motorlarından gelen ziyaretçi payı artıyor.
Google robots.txt dosyasını genellikle 24 saatte bir yeniler; yani değişiklik anında değil, birkaç saat içinde geçerli olur. Acil bir durum varsa Search Console'daki robots.txt raporundan yeniden taranmasını isteyebilirsiniz. Bir sayfayı yanlışlıkla kapattıysanız açtıktan sonra sayfanın tekrar taranması ve sonuçlara dönmesi günler sürebilir.