โลโก้ Loona AutomationLoona เครื่องมือสำหรับนักพัฒนา
หน้าแรก › เครื่องมือสำหรับนักพัฒนา › ตัวสร้าง Robots.txt

ตัวสร้าง Robots.txt - กฎสำหรับโปรแกรมรวบรวมข้อมูลโดยไม่มีกับดักไวยากรณ์

สรุปสั้น ๆ: ตัวสร้าง Robots.txt สร้าง robots.txt ที่ถูกต้องจากค่าที่ตั้งไว้ล่วงหน้าและกฎตามตัวแทน - เส้นทางอนุญาตและไม่อนุญาตต่อโปรแกรมรวบรวมข้อมูล บวกบรรทัดแผนผังเว็บไซต์ของคุณ - และรันการตรวจสอบความสมเหตุสมผลบนผลลัพธ์ก่อนที่คุณจะส่งมอบมัน

บรรทัดที่ผิดเพียงบรรทัดเดียวใน robots.txt สามารถซ่อนทั้งไซต์จาก Google ได้ - หรือไม่สามารถซ่อนอะไรได้เลย สร้างมันที่นี่ พร้อมค่าที่ตั้งไว้ล่วงหน้าสำหรับกรณีทั่วไปและการตรวจสอบผลลัพธ์

เป็นส่วนตัวโดยการออกแบบ: ทุกอย่างในเครื่องมือนี้เกิดขึ้น 100% ในเบราว์เซอร์ของคุณด้วย JavaScript อินพุตของคุณไม่เคยถูกอัปโหลดไปยังเซิร์ฟเวอร์ ไม่เคยถูกจัดเก็บ และไม่เคยถูกเห็นโดยเรา - ปิดแท็บแล้วทุกอย่างหายไป

วิธีใช้ ตัวสร้าง Robots.txt

  1. เลือกค่าที่ตั้งไว้ล่วงหน้า หรือเริ่มจาก อนุญาตทุกอย่าง แล้วปรับแต่ง
  2. เพิ่มกลุ่มสำหรับโปรแกรมรวบรวมข้อมูลเฉพาะเจาะจงใด ๆ (เช่น GPTBot) พร้อมกฎของมันเอง
  3. แสดงรายการเส้นทางที่ไม่อนุญาตและอนุญาต หนึ่งรายการต่อบรรทัด - เส้นทางขึ้นต้นด้วย /
  4. เพิ่ม URL แผนผังเว็บไซต์ของคุณแล้วคลิกสร้าง
  5. อ่านบันทึกการตรวจสอบความสมเหตุสมผล จากนั้นวางไฟล์ไว้ที่ yourdomain.com/robots.txt

วิธีการทำงาน

ไฟล์ robots.txt คือชุดของกลุ่ม: แต่ละกลุ่มระบุ user-agent (โปรแกรมรวบรวมข้อมูล) หนึ่งรายการขึ้นไป ตามด้วยกฎเส้นทาง Disallow และ Allow ที่ใช้กับพวกมัน ค่า Disallow ที่ว่างเปล่าหมายความว่าทุกอย่างได้รับอนุญาต; Disallow: / บล็อกทั้งไซต์สำหรับตัวแทนนั้น กฎถูกจับคู่ตามคำนำหน้า และ Google ยังรองรับ Allow เพื่อแกะข้อยกเว้นออกจาก Disallow ที่กว้างกว่า ตัวสร้างนี้แสดงกลุ่มในรูปแบบมาตรฐาน ต่อท้ายบรรทัด Sitemap และจากนั้นตรวจสอบความสมเหตุสมผลของผลลัพธ์ของมันเอง: ฟิลด์ที่ไม่รู้จัก เส้นทางที่ไม่เริ่มด้วย / และบรรทัดแผนผังเว็บไซต์ที่ไม่ใช่ URL แบบเต็ม ล้วนถูกตั้งค่าสถานะ จำไว้ว่า robots.txt คือคำขอ ไม่ใช่ตัวล็อก - โปรแกรมรวบรวมข้อมูลที่ประพฤติดีเชื่อฟังมัน ตัวที่ประสงค์ร้ายอาจไม่เชื่อฟัง ดังนั้นอย่าพึ่งพามันเพื่อปกป้องความลับเลย

คำถามที่พบบ่อย

ตัวสร้างนี้ฟรีหรือไม่?

ใช่ - ฟรีทั้งหมด ไม่ต้องสมัครสมาชิก

robots.txt ไปที่ไหน?

ที่รูตของโดเมนของคุณ: https://yourdomain.com/robots.txt - ไม่มีที่อื่นใดถูกอ่าน

robots.txt บล็อกหน้าออกจากผลการค้นหาโดยสมบูรณ์หรือไม่?

มันบล็อกการรวบรวมข้อมูล ไม่ใช่การทำดัชนี: URL ที่ถูกบล็อกยังสามารถปรากฏในผลลัพธ์ (โดยไม่มีคำอธิบาย) หากไซต์อื่นลิงก์ไปยังมัน ใช้แท็ก noindex เพื่อเก็บหน้าให้ออกไปทั้งหมด

ฉันบล็อกโปรแกรมรวบรวมข้อมูล AI ได้หรือไม่?

ค่าที่ตั้งไว้ล่วงหน้าสำหรับ AI เพิ่มกลุ่มที่ไม่อนุญาต GPTBot, CCBot และ Google-Extended โปรแกรมรวบรวมข้อมูลที่ปฏิบัติตามจะเคารพมัน; มันไม่สามารถหยุดโปรแกรมขูดข้อมูลที่เพิกเฉยต่อ robots.txt ได้

มีอะไรถูกอัปโหลดหรือไม่?

ไม่ การสร้างและการตรวจสอบทำงานในเบราว์เซอร์ของคุณ

เครื่องมือสำหรับนักพัฒนาที่เกี่ยวข้อง

ฝังเครื่องมือนี้บนเว็บไซต์ของคุณ — ฟรี

เพิ่มเครื่องมือนี้ลงในเว็บไซต์หรือบล็อกของคุณเอง — มันฟรีทั้งหมด ไม่ต้องสมัครสมาชิก และแสดงเวอร์ชันล่าสุดเสมอ คัดลอกโค้ดด้านล่างแล้ววางลงในหน้าของคุณตรงตำแหน่งที่คุณต้องการให้เครื่องมือปรากฏ การเก็บบรรทัดเครดิตเล็ก ๆ “Powered by Loona Automation” ไว้ใต้ตัวฝังจะช่วยให้เครื่องมือนี้ยังคงฟรีต่อไป — แต่คุณมีอิสระที่จะจัดสไตล์หรือลบมันออกก็ได้; เครื่องมือทำงานได้ทั้งสองแบบ