ตัวสร้าง Robots.txt - กฎสำหรับโปรแกรมรวบรวมข้อมูลโดยไม่มีกับดักไวยากรณ์
บรรทัดที่ผิดเพียงบรรทัดเดียวใน robots.txt สามารถซ่อนทั้งไซต์จาก Google ได้ - หรือไม่สามารถซ่อนอะไรได้เลย สร้างมันที่นี่ พร้อมค่าที่ตั้งไว้ล่วงหน้าสำหรับกรณีทั่วไปและการตรวจสอบผลลัพธ์
วิธีใช้ ตัวสร้าง Robots.txt
- เลือกค่าที่ตั้งไว้ล่วงหน้า หรือเริ่มจาก อนุญาตทุกอย่าง แล้วปรับแต่ง
- เพิ่มกลุ่มสำหรับโปรแกรมรวบรวมข้อมูลเฉพาะเจาะจงใด ๆ (เช่น GPTBot) พร้อมกฎของมันเอง
- แสดงรายการเส้นทางที่ไม่อนุญาตและอนุญาต หนึ่งรายการต่อบรรทัด - เส้นทางขึ้นต้นด้วย /
- เพิ่ม URL แผนผังเว็บไซต์ของคุณแล้วคลิกสร้าง
- อ่านบันทึกการตรวจสอบความสมเหตุสมผล จากนั้นวางไฟล์ไว้ที่ yourdomain.com/robots.txt
วิธีการทำงาน
ไฟล์ robots.txt คือชุดของกลุ่ม: แต่ละกลุ่มระบุ user-agent (โปรแกรมรวบรวมข้อมูล) หนึ่งรายการขึ้นไป ตามด้วยกฎเส้นทาง Disallow และ Allow ที่ใช้กับพวกมัน ค่า Disallow ที่ว่างเปล่าหมายความว่าทุกอย่างได้รับอนุญาต; Disallow: / บล็อกทั้งไซต์สำหรับตัวแทนนั้น กฎถูกจับคู่ตามคำนำหน้า และ Google ยังรองรับ Allow เพื่อแกะข้อยกเว้นออกจาก Disallow ที่กว้างกว่า ตัวสร้างนี้แสดงกลุ่มในรูปแบบมาตรฐาน ต่อท้ายบรรทัด Sitemap และจากนั้นตรวจสอบความสมเหตุสมผลของผลลัพธ์ของมันเอง: ฟิลด์ที่ไม่รู้จัก เส้นทางที่ไม่เริ่มด้วย / และบรรทัดแผนผังเว็บไซต์ที่ไม่ใช่ URL แบบเต็ม ล้วนถูกตั้งค่าสถานะ จำไว้ว่า robots.txt คือคำขอ ไม่ใช่ตัวล็อก - โปรแกรมรวบรวมข้อมูลที่ประพฤติดีเชื่อฟังมัน ตัวที่ประสงค์ร้ายอาจไม่เชื่อฟัง ดังนั้นอย่าพึ่งพามันเพื่อปกป้องความลับเลย
คำถามที่พบบ่อย
ตัวสร้างนี้ฟรีหรือไม่?
ใช่ - ฟรีทั้งหมด ไม่ต้องสมัครสมาชิก
robots.txt ไปที่ไหน?
ที่รูตของโดเมนของคุณ: https://yourdomain.com/robots.txt - ไม่มีที่อื่นใดถูกอ่าน
robots.txt บล็อกหน้าออกจากผลการค้นหาโดยสมบูรณ์หรือไม่?
มันบล็อกการรวบรวมข้อมูล ไม่ใช่การทำดัชนี: URL ที่ถูกบล็อกยังสามารถปรากฏในผลลัพธ์ (โดยไม่มีคำอธิบาย) หากไซต์อื่นลิงก์ไปยังมัน ใช้แท็ก noindex เพื่อเก็บหน้าให้ออกไปทั้งหมด
ฉันบล็อกโปรแกรมรวบรวมข้อมูล AI ได้หรือไม่?
ค่าที่ตั้งไว้ล่วงหน้าสำหรับ AI เพิ่มกลุ่มที่ไม่อนุญาต GPTBot, CCBot และ Google-Extended โปรแกรมรวบรวมข้อมูลที่ปฏิบัติตามจะเคารพมัน; มันไม่สามารถหยุดโปรแกรมขูดข้อมูลที่เพิกเฉยต่อ robots.txt ได้
มีอะไรถูกอัปโหลดหรือไม่?
ไม่ การสร้างและการตรวจสอบทำงานในเบราว์เซอร์ของคุณ
เครื่องมือสำหรับนักพัฒนาที่เกี่ยวข้อง
ตัวสร้างเมตาแท็ก
สร้างบล็อกเมตา HTML ที่พร้อมวาง - ชื่อเรื่อง คำอธิบาย robots canonical - พร้อมตัวอย่างสไตล์ SERP
ตัวสร้าง Open Graph และ Twitter Card
สร้างแท็ก Open Graph และ Twitter Card พร้อมตัวอย่างการ์ด เพื่อให้ลิงก์ที่แชร์ดูถูกต้องทุกที่
ตัวสร้าง Robots.txt
สร้าง robots.txt ที่ถูกต้องพร้อมกฎอนุญาตและไม่อนุญาตรายตัวแทนและบรรทัดแผนผังเว็บไซต์