Loona Automation logosuLoona Geliştirici Araçları
Ana Sayfa › Geliştirici Araçları › Robots.txt Oluşturucu

Robots.txt Oluşturucu - Sözdizimi Tuzakları Olmadan Tarayıcı Kuralları

Kısacası: Robots.txt Oluşturucu, ön ayarlardan ve aracı başına kurallardan geçerli bir robots.txt kurar - tarayıcı başına izin ve yasak yolları, artı site haritası satırınız - ve onu göndermeden önce sonuç üzerinde sağlık denetimleri çalıştırır.

robots.txt içindeki tek bir yanlış satır, bütün bir siteyi Google değerinden gizleyebilir - veya hiçbir şeyi gizleyemeyebilir. Onu burada, yaygın durumlar için ön ayarlar ve çıktı üzerinde denetimlerle kurun.

Tasarım gereği gizli: bu araçtaki her şey, JavaScript ile tarayıcınızda %100 gerçekleşir. Girdiniz asla bir sunucuya yüklenmez, asla saklanmaz ve bizim tarafımızdan asla görülmez - sekmeyi kapatın ve her şey gitmiştir.

Robots.txt Oluşturucu Nasıl Kullanılır

  1. Bir ön ayar seçin veya Her şeye izin ver değerinden başlayın ve özelleştirin.
  2. Belirli bir tarayıcı için (örneğin GPTBot) kendi kurallarıyla bir grup ekleyin.
  3. Yasak ve izin yollarını listeleyin, satır başına bir tane - yollar / ile başlar.
  4. Site haritası URL adresinizi ekleyin ve Oluştur düğmesine tıklayın.
  5. Sağlık denetimi notlarından geçin, sonra dosyayı alaniniz.com/robots.txt değerine yerleştirin.

Nasıl çalışır

Bir robots.txt dosyası bir gruplar kümesidir: her grup bir veya daha fazla kullanıcı aracısını (tarayıcıları) adlandırır, ardından onlara uygulanan Disallow ve Allow yol kuralları gelir. Boş bir Disallow her şeye izin verildiği anlamına gelir; Disallow: / o aracı için bütün siteyi engeller. Kurallar öneke göre eşleştirilir ve Google, daha geniş bir Disallow değerinden istisnalar oymak için Allow değerini de destekler. Bu oluşturucu, grupları standart biçimde yayar, Sitemap satırını ekler ve sonra kendi çıktısını sağlık denetiminden geçirir: bilinmeyen alanlar, / ile başlamayan yollar ve tam URL olmayan site haritası satırlarının tümü işaretlenir. robots.txt değerinin bir kilit değil, bir istek olduğunu unutmayın - iyi davranan tarayıcılar ona uyar, kötü amaçlı olanlar uymayabilir, yani sırları korumak için ona asla güvenmeyin.

Sık Sorulan Sorular

Bu oluşturucu ücretsiz mi?

Evet - tamamen ücretsiz, kayıt yok.

robots.txt nereye gider?

Alan adınızın kökünde: https://yourdomain.com/robots.txt - başka hiçbir yer okunmaz.

robots.txt, sayfaları arama sonuçlarından tamamen engeller mi?

Taramayı engeller, dizine eklemeyi değil: engellenmiş bir URL, diğer siteler ona bağlantı verirse sonuçlarda yine de görünebilir (bir açıklama olmadan). Bir sayfayı tamamen dışarıda tutmak için bir noindex etiketi kullanın.

Yapay zekâ tarayıcılarını engelleyebilir miyim?

AI ön ayarı, GPTBot, CCBot ve Google-Extended değerlerini yasaklayan gruplar ekler. Uyumlu tarayıcılar ona uyar; o, robots.txt değerini yoksayan kazıyıcıları durduramaz.

Bir şey yükleniyor mu?

Hayır. Üretme ve denetimler tarayıcınızda çalışır.

İlgili Geliştirici Araçları

Bu aracı web sitenize gömün — ücretsiz

Bu aracı kendi web sitenize veya blogunuza ekleyin — tamamen ücretsizdir, kayıt gerektirmez ve her zaman en son sürümü gösterir. Aşağıdaki kodu kopyalayın ve aracın görünmesini istediğiniz yere sayfanıza yapıştırın. Gömülü öğenin altında küçük “Powered by Loona Automation” kredi satırını tutmak, bu aracın ücretsiz kalmasına yardımcı olur — ama onu biçimlendirmekte veya kaldırmakta özgürsünüz; araç her iki durumda da çalışır.