Robots.txt Test Aracı - İzinli veya Engelli ve Tam Olarak Neden
Bir robots.txt dosyasını yazmak kolay, hakkında akıl yürütmek zordur. Bu test aracı, belirli bir tarayıcı ve URL için önemli olan tek soruyu yanıtlar.
Robots.txt Test Aracı Nasıl Kullanılır
- robots.txt içeriklerinizi yapıştırın.
- Test edilecek tam URL adresini ve kullanıcı aracısı adını girin (Googlebot, GPTBot, *).
- Bu URL adresini test et düğmesine tıklayın.
- Kararı ve onu üreten eşleşen kuralı okuyun.
Nasıl çalışır
Eşleştirme standardı izler (RFC 9309, Google değerinin uyguladığı gibi): önce tarayıcının grubu seçilir - en belirli eşleşen user-agent belirtecini adlandıran grup, * grubunu yener - sonra, o grubun içinde, yolu URL yoluna uyan ve en uzun olan kural kazanır; berabere kalırsa, Allow, Disallow değerini yener. Kalıplar, * değerini joker olarak ve sondaki $ değerini bir bitiş çapası olarak destekler. Boş bir Disallow hiçbir şeyle eşleşmez, bu yüzden 'Disallow:' tek başına her şeye izin verir.
Sık Sorulan Sorular
Bu test aracı ücretsiz mi?
Evet - tamamen ücretsiz, kayıt yok.
Hangi eşleştirme kurallarını izler?
RFC 9309 / Google uygulaması: en belirli aracı grubu, en uzun eşleşen kural, Allow berabere kalırsa kazanır, * ve $ kalıp desteği.
URL değerim burada engelli ama Google değerinde dizine eklenmiş - neden?
Robots, dizine eklemeyi değil, taramayı engeller. Engellenmiş bir sayfa, bağlantılardan yine de dizine eklenebilir, bir açıklama olmadan gösterilir.
Canlı robots.txt dosyamı getirir mi?
Hayır - içeriği yapıştırın. Tarayıcılar, rastgele sitelerin dosyalarını getiremez (CORS) ve yapıştırmak, yayımlamadan önce bir taslağı test etmenize de olanak verir.
Bir şey yükleniyor mu?
Hayır. Test, tarayıcınızda çalışır.