Logo Loona AutomationLoona Alat Pembangun
Laman Utama › Alat Pembangun › Penguji Robots.txt

Penguji Robots.txt - Diizinkan atau Diblokir, dan Tepat Mengapa

Singkatnya: Penguji Robots.txt menerapkan aturan pencocokan nyata - kumpulan user-agent paling spesifik, lalu aturan path pencocokan terpanjang, dengan Allow menang seri - dan menunjukkan putusan plus aturan tepat yang memutuskannya.

Fail robots.txt mudah ditulis dan sukar dipahami akibatnya. Penguji ini menjawab satu-satunya pertanyaan yang penting untuk crawler dan URL tertentu.

Peribadi berdasarkan desain: segala sesuatu dalam alat ini terjadi 100% di pelayar Anda dengan JavaScript. Input Anda tidak pernah dimuat naik ke pelayan, tidak pernah disimpan, dan tidak pernah dilihat oleh kami - tutup tab dan semuanya hilang.

Cara menggunakan Penguji Robots.txt

  1. Tampal kandungan robots.txt Anda.
  2. Masukkan URL lengkap untuk diuji dan nama user-agent (Googlebot, GPTBot, *).
  3. Klik Uji URL ini.
  4. Baca putusan dan aturan pencocokan yang menghasilkannya.

Cara kerja

Pencocokan mengikuti standard (RFC 9309, sebagaimana Google mengimplementasikannya): pertama kumpulan crawler dipilih - kumpulan yang menyebutkan token user-agent yang paling spesifik dan cocok menang atas kumpulan * - lalu, di dalam kumpulan itu, aturan yang pola jalurnya cocok dengan jalur URL dan terpanjang yang menang; pada seri, Allow mengalahkan Disallow. Pola menyokong * sebagai wildcard dan $ di akhir sebagai jangkar akhir. Disallow kosong tidak cocok dengan apa pun, itulah sebabnya 'Disallow:' sahaja mengizinkan semuanya.

Pertanyaan yang Sering Diajukan

Apakah penguji ini percuma?

Ya - sepenuhnya percuma, tanpa pendaftaran.

Aturan pencocokan mana yang diikutinya?

RFC 9309 / implementasi Google: kumpulan agen paling spesifik, aturan pencocokan terpanjang, Allow menang seri, sokongan pola * dan $.

URL saya diblokir di sini tetapi terindeks di Google - mengapa?

Robots memblokir crawling, bukan pengindeksan. Halaman yang diblokir masih dapat terindeks dari pautan, dipaparkan tanpa deskripsi.

Apakah ia mengambil robots.txt langsung saya?

Tidak - tampalkan kandungannya. Pelayar tidak dapat mengambil fail laman web sembarang (CORS), dan menampal juga membolehkan Anda menguji draf sebelum menerbitkannya.

Apakah ada yang dimuat naik?

Tidak. Pengujian berjalan di pelayar Anda.

Alat Developer Berkaitan

Sematkan alat ini di laman web Anda — percuma

Tambahkan alat ini ke laman web atau blog Anda sendiri — sepenuhnya percuma, tanpa pendaftaran, dan selalu memaparkan versi terbaru. Salin kode di bawah dan tampalkan ke halaman Anda di tempat Anda ingin alat ini muncul. Mempertahankan baris kredit kecil “Didukung oleh Loona Automation” di bawah embed membantu menjaga alat ini tetap percuma — tetapi Anda bebas menata atau mengpadamnya; alat ini berfungsi dengan cara apa pun.