Logo Loona AutomationLoona Alat Pengembang
Beranda › Alat Pengembang › Generator Robots.txt

Generator Robots.txt - Aturan Crawler Tanpa Jebakan Sintaks

Singkatnya: Generator Robots.txt membangun robots.txt yang valid dari preset dan aturan per agen - izinkan dan larang path per crawler, plus baris sitemap Anda - dan menjalankan pemeriksaan kewarasan pada hasilnya sebelum Anda mengirimkannya.

Satu baris salah dalam robots.txt dapat menyembunyikan seluruh situs dari Google - atau gagal menyembunyikan apa pun sama sekali. Buat di sini, dengan preset untuk kasus umum dan pemeriksaan pada output.

Privat berdasarkan desain: segala sesuatu dalam alat ini terjadi 100% di browser Anda dengan JavaScript. Input Anda tidak pernah diunggah ke server, tidak pernah disimpan, dan tidak pernah dilihat oleh kami - tutup tab dan semuanya hilang.

Cara menggunakan Generator Robots.txt

  1. Pilih preset, atau mulai dari Izinkan semua dan sesuaikan.
  2. Tambahkan grup untuk crawler spesifik mana pun (misalnya GPTBot) dengan aturannya sendiri.
  3. Cantumkan jalur disallow dan allow, satu per baris - jalur dimulai dengan /.
  4. Tambahkan URL sitemap Anda dan klik Buat.
  5. Jalankan catatan pemeriksaan kewarasan, lalu tempatkan file di yourdomain.com/robots.txt.

Cara kerja

File robots.txt adalah sekumpulan grup: setiap grup menyebutkan satu atau beberapa user-agent (crawler) diikuti aturan jalur Disallow dan Allow yang berlaku untuk mereka. Disallow kosong berarti semuanya diizinkan; Disallow: / memblokir seluruh situs untuk agen itu. Aturan dicocokkan berdasarkan awalan, dan Google juga mendukung Allow untuk mengukir pengecualian dari Disallow yang lebih luas. Generator ini memancarkan grup dalam format standar, menambahkan baris Sitemap, lalu memeriksa kewarasan outputnya sendiri: field tidak dikenal, path yang tidak dimulai dengan /, dan baris sitemap yang bukan URL lengkap semuanya ditandai. Ingat robots.txt adalah permintaan, bukan kunci - crawler yang berperilaku baik mematuhinya, yang jahat mungkin tidak, jadi jangan pernah mengandalkannya untuk melindungi rahasia.

Pertanyaan yang Sering Diajukan

Apakah generator ini gratis?

Ya - sepenuhnya gratis, tanpa pendaftaran.

Ke mana robots.txt pergi?

Di root domain Anda: https://yourdomain.com/robots.txt - tidak ada tempat lain yang dibaca.

Apakah robots.txt memblokir halaman dari hasil pencarian sepenuhnya?

Ia memblokir crawling, bukan pengindeksan: URL yang diblokir masih dapat muncul dalam hasil (tanpa deskripsi) jika situs lain menautkannya. Gunakan tag noindex untuk menjaga halaman tetap di luar sepenuhnya.

Dapatkah saya memblokir crawler AI?

Preset AI menambahkan grup yang melarang GPTBot, CCBot, dan Google-Extended. Crawler yang patuh menghormatinya; ia tidak dapat menghentikan scraper yang mengabaikan robots.txt.

Apakah ada yang diunggah?

Tidak. Pembuatan dan pemeriksaan berjalan di browser Anda.

Alat Developer Terkait

Sematkan alat ini di situs web Anda — gratis

Tambahkan alat ini ke situs web atau blog Anda sendiri — sepenuhnya gratis, tanpa pendaftaran, dan selalu menampilkan versi terbaru. Salin kode di bawah dan tempelkan ke halaman Anda di tempat Anda ingin alat ini muncul. Mempertahankan baris kredit kecil “Didukung oleh Loona Automation” di bawah embed membantu menjaga alat ini tetap gratis — tetapi Anda bebas menata atau menghapusnya; alat ini berfungsi dengan cara apa pun.