Penjana Robots.txt - Aturan Crawler Tanpa Jebakan Sintaks
Satu baris salah dalam robots.txt dapat menyembunyikan seluruh laman web dari Google - atau gagal menyembunyikan apa pun sama sekali. Buat di sini, dengan preset untuk kasus umum dan penyemakan pada output.
Cara menggunakan Penjana Robots.txt
- Pilih preset, atau mulai dari Izinkan semua dan sesuaikan.
- Tambahkan kumpulan untuk crawler spesifik mana pun (misalnya GPTBot) dengan aturannya sendiri.
- Cantumkan jalur disallow dan allow, satu per baris - jalur dimulai dengan /.
- Tambahkan URL sitemap Anda dan klik Buat.
- Jalankan nota penyemakan kewarasan, lalu tempatkan fail di yourdomain.com/robots.txt.
Cara kerja
Fail robots.txt adalah sekumpulan kumpulan: setiap kumpulan menyebutkan satu atau beberapa user-agent (crawler) diikuti aturan jalur Disallow dan Allow yang berlaku untuk mereka. Disallow kosong bererti semuanya diizinkan; Disallow: / memblokir seluruh laman web untuk agen itu. Aturan dicocokkan berdasarkan awalan, dan Google juga menyokong Allow untuk mengukir pengecualian dari Disallow yang lebih luas. Penjana ini memancarkan kumpulan dalam format standard, menambahkan baris Sitemap, lalu menyemak kewarasan outputnya sendiri: medan tidak dikenal, path yang tidak dimulai dengan /, dan baris sitemap yang bukan URL lengkap semuanya ditandai. Ingat robots.txt adalah permintaan, bukan kunci - crawler yang berperilaku baik mematuhinya, yang jahat mungkin tidak, jadi jangan pernah mengandalkannya untuk melindungi rahsia.
Pertanyaan yang Sering Diajukan
Apakah penjana ini percuma?
Ya - sepenuhnya percuma, tanpa pendaftaran.
Ke mana robots.txt pergi?
Di root domain Anda: https://yourdomain.com/robots.txt - tidak ada tempat lain yang dibaca.
Apakah robots.txt memblokir halaman dari hasil carian sepenuhnya?
Ia memblokir crawling, bukan pengindeksan: URL yang diblokir masih dapat muncul dalam hasil (tanpa deskripsi) jika laman web lain menautkannya. Gunakan tag noindex untuk menjaga halaman tetap di luar sepenuhnya.
Dapatkah saya memblokir crawler AI?
Preset AI menambahkan kumpulan yang melarang GPTBot, CCBot, dan Google-Extended. Crawler yang patuh menghormatinya; ia tidak dapat menghentikan scraper yang mengabaikan robots.txt.
Apakah ada yang dimuat naik?
Tidak. Pembinaan dan penyemakan berjalan di pelayar Anda.
Alat Developer Berkaitan
Penjana Meta Tag
Buat blok meta HTML siap tampal - judul, deskripsi, robots, kanonis - dengan pratonton bergaya SERP.
Penjana Open Graph & Kad Twitter
Bangun tag Open Graph dan Twitter Card dengan pratonton kad, agar pautan yang dikongsi terlihat benar di mana pun.
Penjana Robots.txt
Bangun robots.txt yang valid dengan aturan allow dan disallow per agen dan baris sitemap.