Logo Loona AutomationLoona Alat Pengembang
Beranda › Alat Pengembang › Penguji Robots.txt

Penguji Robots.txt - Diizinkan atau Diblokir, dan Tepat Mengapa

Singkatnya: Penguji Robots.txt menerapkan aturan pencocokan nyata - grup user-agent paling spesifik, lalu aturan path pencocokan terpanjang, dengan Allow menang seri - dan menunjukkan putusan plus aturan tepat yang memutuskannya.

File robots.txt mudah ditulis dan sulit dipahami akibatnya. Penguji ini menjawab satu-satunya pertanyaan yang penting untuk crawler dan URL tertentu.

Privat berdasarkan desain: segala sesuatu dalam alat ini terjadi 100% di browser Anda dengan JavaScript. Input Anda tidak pernah diunggah ke server, tidak pernah disimpan, dan tidak pernah dilihat oleh kami - tutup tab dan semuanya hilang.

Cara menggunakan Penguji Robots.txt

  1. Tempel konten robots.txt Anda.
  2. Masukkan URL lengkap untuk diuji dan nama user-agent (Googlebot, GPTBot, *).
  3. Klik Uji URL ini.
  4. Baca putusan dan aturan pencocokan yang menghasilkannya.

Cara kerja

Pencocokan mengikuti standar (RFC 9309, sebagaimana Google mengimplementasikannya): pertama grup crawler dipilih - grup yang menyebutkan token user-agent yang paling spesifik dan cocok menang atas grup * - lalu, di dalam grup itu, aturan yang pola jalurnya cocok dengan jalur URL dan terpanjang yang menang; pada seri, Allow mengalahkan Disallow. Pola mendukung * sebagai wildcard dan $ di akhir sebagai jangkar akhir. Disallow kosong tidak cocok dengan apa pun, itulah sebabnya 'Disallow:' saja mengizinkan semuanya.

Pertanyaan yang Sering Diajukan

Apakah penguji ini gratis?

Ya - sepenuhnya gratis, tanpa pendaftaran.

Aturan pencocokan mana yang diikutinya?

RFC 9309 / implementasi Google: grup agen paling spesifik, aturan pencocokan terpanjang, Allow menang seri, dukungan pola * dan $.

URL saya diblokir di sini tetapi terindeks di Google - mengapa?

Robots memblokir crawling, bukan pengindeksan. Halaman yang diblokir masih dapat terindeks dari tautan, ditampilkan tanpa deskripsi.

Apakah ia mengambil robots.txt langsung saya?

Tidak - tempelkan kontennya. Browser tidak dapat mengambil file situs sembarang (CORS), dan menempel juga memungkinkan Anda menguji draf sebelum menerbitkannya.

Apakah ada yang diunggah?

Tidak. Pengujian berjalan di browser Anda.

Alat Developer Terkait

Sematkan alat ini di situs web Anda — gratis

Tambahkan alat ini ke situs web atau blog Anda sendiri — sepenuhnya gratis, tanpa pendaftaran, dan selalu menampilkan versi terbaru. Salin kode di bawah dan tempelkan ke halaman Anda di tempat Anda ingin alat ini muncul. Mempertahankan baris kredit kecil “Didukung oleh Loona Automation” di bawah embed membantu menjaga alat ini tetap gratis — tetapi Anda bebas menata atau menghapusnya; alat ini berfungsi dengan cara apa pun.