Generator Robots.txt - Aturan Crawler Tanpa Jebakan Sintaks
Satu baris salah dalam robots.txt dapat menyembunyikan seluruh situs dari Google - atau gagal menyembunyikan apa pun sama sekali. Buat di sini, dengan preset untuk kasus umum dan pemeriksaan pada output.
Cara menggunakan Generator Robots.txt
- Pilih preset, atau mulai dari Izinkan semua dan sesuaikan.
- Tambahkan grup untuk crawler spesifik mana pun (misalnya GPTBot) dengan aturannya sendiri.
- Cantumkan jalur disallow dan allow, satu per baris - jalur dimulai dengan /.
- Tambahkan URL sitemap Anda dan klik Buat.
- Jalankan catatan pemeriksaan kewarasan, lalu tempatkan file di yourdomain.com/robots.txt.
Cara kerja
File robots.txt adalah sekumpulan grup: setiap grup menyebutkan satu atau beberapa user-agent (crawler) diikuti aturan jalur Disallow dan Allow yang berlaku untuk mereka. Disallow kosong berarti semuanya diizinkan; Disallow: / memblokir seluruh situs untuk agen itu. Aturan dicocokkan berdasarkan awalan, dan Google juga mendukung Allow untuk mengukir pengecualian dari Disallow yang lebih luas. Generator ini memancarkan grup dalam format standar, menambahkan baris Sitemap, lalu memeriksa kewarasan outputnya sendiri: field tidak dikenal, path yang tidak dimulai dengan /, dan baris sitemap yang bukan URL lengkap semuanya ditandai. Ingat robots.txt adalah permintaan, bukan kunci - crawler yang berperilaku baik mematuhinya, yang jahat mungkin tidak, jadi jangan pernah mengandalkannya untuk melindungi rahasia.
Pertanyaan yang Sering Diajukan
Apakah generator ini gratis?
Ya - sepenuhnya gratis, tanpa pendaftaran.
Ke mana robots.txt pergi?
Di root domain Anda: https://yourdomain.com/robots.txt - tidak ada tempat lain yang dibaca.
Apakah robots.txt memblokir halaman dari hasil pencarian sepenuhnya?
Ia memblokir crawling, bukan pengindeksan: URL yang diblokir masih dapat muncul dalam hasil (tanpa deskripsi) jika situs lain menautkannya. Gunakan tag noindex untuk menjaga halaman tetap di luar sepenuhnya.
Dapatkah saya memblokir crawler AI?
Preset AI menambahkan grup yang melarang GPTBot, CCBot, dan Google-Extended. Crawler yang patuh menghormatinya; ia tidak dapat menghentikan scraper yang mengabaikan robots.txt.
Apakah ada yang diunggah?
Tidak. Pembuatan dan pemeriksaan berjalan di browser Anda.
Alat Developer Terkait
Generator Meta Tag
Buat blok meta HTML siap tempel - judul, deskripsi, robots, kanonis - dengan pratinjau bergaya SERP.
Generator Open Graph & Kartu Twitter
Bangun tag Open Graph dan Twitter Card dengan pratinjau kartu, agar tautan yang dibagikan terlihat benar di mana pun.
Generator Robots.txt
Bangun robots.txt yang valid dengan aturan allow dan disallow per agen dan baris sitemap.