Logo Loona AutomationLoona Alat Pembangun
Laman Utama › Alat Pembangun › Penjana Robots.txt

Penjana Robots.txt - Aturan Crawler Tanpa Jebakan Sintaks

Singkatnya: Penjana Robots.txt membina robots.txt yang valid dari preset dan aturan per agen - izinkan dan larang path per crawler, plus baris sitemap Anda - dan menjalankan penyemakan kewarasan pada hasilnya sebelum Anda menghantarnya.

Satu baris salah dalam robots.txt dapat menyembunyikan seluruh laman web dari Google - atau gagal menyembunyikan apa pun sama sekali. Buat di sini, dengan preset untuk kasus umum dan penyemakan pada output.

Peribadi berdasarkan desain: segala sesuatu dalam alat ini terjadi 100% di pelayar Anda dengan JavaScript. Input Anda tidak pernah dimuat naik ke pelayan, tidak pernah disimpan, dan tidak pernah dilihat oleh kami - tutup tab dan semuanya hilang.

Cara menggunakan Penjana Robots.txt

  1. Pilih preset, atau mulai dari Izinkan semua dan sesuaikan.
  2. Tambahkan kumpulan untuk crawler spesifik mana pun (misalnya GPTBot) dengan aturannya sendiri.
  3. Cantumkan jalur disallow dan allow, satu per baris - jalur dimulai dengan /.
  4. Tambahkan URL sitemap Anda dan klik Buat.
  5. Jalankan nota penyemakan kewarasan, lalu tempatkan fail di yourdomain.com/robots.txt.

Cara kerja

Fail robots.txt adalah sekumpulan kumpulan: setiap kumpulan menyebutkan satu atau beberapa user-agent (crawler) diikuti aturan jalur Disallow dan Allow yang berlaku untuk mereka. Disallow kosong bererti semuanya diizinkan; Disallow: / memblokir seluruh laman web untuk agen itu. Aturan dicocokkan berdasarkan awalan, dan Google juga menyokong Allow untuk mengukir pengecualian dari Disallow yang lebih luas. Penjana ini memancarkan kumpulan dalam format standard, menambahkan baris Sitemap, lalu menyemak kewarasan outputnya sendiri: medan tidak dikenal, path yang tidak dimulai dengan /, dan baris sitemap yang bukan URL lengkap semuanya ditandai. Ingat robots.txt adalah permintaan, bukan kunci - crawler yang berperilaku baik mematuhinya, yang jahat mungkin tidak, jadi jangan pernah mengandalkannya untuk melindungi rahsia.

Pertanyaan yang Sering Diajukan

Apakah penjana ini percuma?

Ya - sepenuhnya percuma, tanpa pendaftaran.

Ke mana robots.txt pergi?

Di root domain Anda: https://yourdomain.com/robots.txt - tidak ada tempat lain yang dibaca.

Apakah robots.txt memblokir halaman dari hasil carian sepenuhnya?

Ia memblokir crawling, bukan pengindeksan: URL yang diblokir masih dapat muncul dalam hasil (tanpa deskripsi) jika laman web lain menautkannya. Gunakan tag noindex untuk menjaga halaman tetap di luar sepenuhnya.

Dapatkah saya memblokir crawler AI?

Preset AI menambahkan kumpulan yang melarang GPTBot, CCBot, dan Google-Extended. Crawler yang patuh menghormatinya; ia tidak dapat menghentikan scraper yang mengabaikan robots.txt.

Apakah ada yang dimuat naik?

Tidak. Pembinaan dan penyemakan berjalan di pelayar Anda.

Alat Developer Berkaitan

Sematkan alat ini di laman web Anda — percuma

Tambahkan alat ini ke laman web atau blog Anda sendiri — sepenuhnya percuma, tanpa pendaftaran, dan selalu memaparkan versi terbaru. Salin kode di bawah dan tampalkan ke halaman Anda di tempat Anda ingin alat ini muncul. Mempertahankan baris kredit kecil “Didukung oleh Loona Automation” di bawah embed membantu menjaga alat ini tetap percuma — tetapi Anda bebas menata atau mengpadamnya; alat ini berfungsi dengan cara apa pun.