Robots.txt Oluşturucu - Sözdizimi Tuzakları Olmadan Tarayıcı Kuralları
robots.txt içindeki tek bir yanlış satır, bütün bir siteyi Google değerinden gizleyebilir - veya hiçbir şeyi gizleyemeyebilir. Onu burada, yaygın durumlar için ön ayarlar ve çıktı üzerinde denetimlerle kurun.
Robots.txt Oluşturucu Nasıl Kullanılır
- Bir ön ayar seçin veya Her şeye izin ver değerinden başlayın ve özelleştirin.
- Belirli bir tarayıcı için (örneğin GPTBot) kendi kurallarıyla bir grup ekleyin.
- Yasak ve izin yollarını listeleyin, satır başına bir tane - yollar / ile başlar.
- Site haritası URL adresinizi ekleyin ve Oluştur düğmesine tıklayın.
- Sağlık denetimi notlarından geçin, sonra dosyayı alaniniz.com/robots.txt değerine yerleştirin.
Nasıl çalışır
Bir robots.txt dosyası bir gruplar kümesidir: her grup bir veya daha fazla kullanıcı aracısını (tarayıcıları) adlandırır, ardından onlara uygulanan Disallow ve Allow yol kuralları gelir. Boş bir Disallow her şeye izin verildiği anlamına gelir; Disallow: / o aracı için bütün siteyi engeller. Kurallar öneke göre eşleştirilir ve Google, daha geniş bir Disallow değerinden istisnalar oymak için Allow değerini de destekler. Bu oluşturucu, grupları standart biçimde yayar, Sitemap satırını ekler ve sonra kendi çıktısını sağlık denetiminden geçirir: bilinmeyen alanlar, / ile başlamayan yollar ve tam URL olmayan site haritası satırlarının tümü işaretlenir. robots.txt değerinin bir kilit değil, bir istek olduğunu unutmayın - iyi davranan tarayıcılar ona uyar, kötü amaçlı olanlar uymayabilir, yani sırları korumak için ona asla güvenmeyin.
Sık Sorulan Sorular
Bu oluşturucu ücretsiz mi?
Evet - tamamen ücretsiz, kayıt yok.
robots.txt nereye gider?
Alan adınızın kökünde: https://yourdomain.com/robots.txt - başka hiçbir yer okunmaz.
robots.txt, sayfaları arama sonuçlarından tamamen engeller mi?
Taramayı engeller, dizine eklemeyi değil: engellenmiş bir URL, diğer siteler ona bağlantı verirse sonuçlarda yine de görünebilir (bir açıklama olmadan). Bir sayfayı tamamen dışarıda tutmak için bir noindex etiketi kullanın.
Yapay zekâ tarayıcılarını engelleyebilir miyim?
AI ön ayarı, GPTBot, CCBot ve Google-Extended değerlerini yasaklayan gruplar ekler. Uyumlu tarayıcılar ona uyar; o, robots.txt değerini yoksayan kazıyıcıları durduramaz.
Bir şey yükleniyor mu?
Hayır. Üretme ve denetimler tarayıcınızda çalışır.
İlgili Geliştirici Araçları
Meta Etiketi Oluşturucu
Yapıştırmaya hazır bir HTML meta bloğu oluşturun - başlık, açıklama, robots, canonical - SERP tarzı bir önizlemeyle.
Open Graph ve Twitter Kartı Oluşturucu
Bir kart önizlemesiyle Open Graph ve Twitter Card etiketleri oluşturun, böylece paylaşılan bağlantılar her yerde doğru görünür.
Robots.txt Oluşturucu
Aracı başına izin ve yasak kuralları ve bir site haritası satırıyla geçerli bir robots.txt oluşturun.