Penguji Robots.txt - Diizinkan atau Diblokir, dan Tepat Mengapa
File robots.txt mudah ditulis dan sulit dipahami akibatnya. Penguji ini menjawab satu-satunya pertanyaan yang penting untuk crawler dan URL tertentu.
Cara menggunakan Penguji Robots.txt
- Tempel konten robots.txt Anda.
- Masukkan URL lengkap untuk diuji dan nama user-agent (Googlebot, GPTBot, *).
- Klik Uji URL ini.
- Baca putusan dan aturan pencocokan yang menghasilkannya.
Cara kerja
Pencocokan mengikuti standar (RFC 9309, sebagaimana Google mengimplementasikannya): pertama grup crawler dipilih - grup yang menyebutkan token user-agent yang paling spesifik dan cocok menang atas grup * - lalu, di dalam grup itu, aturan yang pola jalurnya cocok dengan jalur URL dan terpanjang yang menang; pada seri, Allow mengalahkan Disallow. Pola mendukung * sebagai wildcard dan $ di akhir sebagai jangkar akhir. Disallow kosong tidak cocok dengan apa pun, itulah sebabnya 'Disallow:' saja mengizinkan semuanya.
Pertanyaan yang Sering Diajukan
Apakah penguji ini gratis?
Ya - sepenuhnya gratis, tanpa pendaftaran.
Aturan pencocokan mana yang diikutinya?
RFC 9309 / implementasi Google: grup agen paling spesifik, aturan pencocokan terpanjang, Allow menang seri, dukungan pola * dan $.
URL saya diblokir di sini tetapi terindeks di Google - mengapa?
Robots memblokir crawling, bukan pengindeksan. Halaman yang diblokir masih dapat terindeks dari tautan, ditampilkan tanpa deskripsi.
Apakah ia mengambil robots.txt langsung saya?
Tidak - tempelkan kontennya. Browser tidak dapat mengambil file situs sembarang (CORS), dan menempel juga memungkinkan Anda menguji draf sebelum menerbitkannya.
Apakah ada yang diunggah?
Tidak. Pengujian berjalan di browser Anda.