Penguji Robots.txt - Diizinkan atau Diblokir, dan Tepat Mengapa
Fail robots.txt mudah ditulis dan sukar dipahami akibatnya. Penguji ini menjawab satu-satunya pertanyaan yang penting untuk crawler dan URL tertentu.
Cara menggunakan Penguji Robots.txt
- Tampal kandungan robots.txt Anda.
- Masukkan URL lengkap untuk diuji dan nama user-agent (Googlebot, GPTBot, *).
- Klik Uji URL ini.
- Baca putusan dan aturan pencocokan yang menghasilkannya.
Cara kerja
Pencocokan mengikuti standard (RFC 9309, sebagaimana Google mengimplementasikannya): pertama kumpulan crawler dipilih - kumpulan yang menyebutkan token user-agent yang paling spesifik dan cocok menang atas kumpulan * - lalu, di dalam kumpulan itu, aturan yang pola jalurnya cocok dengan jalur URL dan terpanjang yang menang; pada seri, Allow mengalahkan Disallow. Pola menyokong * sebagai wildcard dan $ di akhir sebagai jangkar akhir. Disallow kosong tidak cocok dengan apa pun, itulah sebabnya 'Disallow:' sahaja mengizinkan semuanya.
Pertanyaan yang Sering Diajukan
Apakah penguji ini percuma?
Ya - sepenuhnya percuma, tanpa pendaftaran.
Aturan pencocokan mana yang diikutinya?
RFC 9309 / implementasi Google: kumpulan agen paling spesifik, aturan pencocokan terpanjang, Allow menang seri, sokongan pola * dan $.
URL saya diblokir di sini tetapi terindeks di Google - mengapa?
Robots memblokir crawling, bukan pengindeksan. Halaman yang diblokir masih dapat terindeks dari pautan, dipaparkan tanpa deskripsi.
Apakah ia mengambil robots.txt langsung saya?
Tidak - tampalkan kandungannya. Pelayar tidak dapat mengambil fail laman web sembarang (CORS), dan menampal juga membolehkan Anda menguji draf sebelum menerbitkannya.
Apakah ada yang dimuat naik?
Tidak. Pengujian berjalan di pelayar Anda.