โลโก้ Loona AutomationLoona เครื่องมือสำหรับนักพัฒนา
หน้าแรก › เครื่องมือสำหรับนักพัฒนา › ตัวทดสอบ Robots.txt

ตัวทดสอบ Robots.txt - อนุญาตหรือบล็อก และเหตุผลที่แท้จริง

สรุปสั้น ๆ: ตัวทดสอบ Robots.txt ใช้กฎการจับคู่จริง - กลุ่ม user-agent ที่เฉพาะเจาะจงที่สุด จากนั้นกฎเส้นทางที่ตรงกันยาวที่สุด โดย Allow ชนะเมื่อเสมอกัน - และแสดงคำตัดสินบวกกฎที่แม่นยำที่ตัดสินมัน

ไฟล์ robots.txt เขียนง่ายแต่ให้เหตุผลได้ยาก ตัวทดสอบนี้ตอบคำถามเดียวที่สำคัญสำหรับโปรแกรมรวบรวมข้อมูลและ URL ที่กำหนด

เป็นส่วนตัวโดยการออกแบบ: ทุกอย่างในเครื่องมือนี้เกิดขึ้น 100% ในเบราว์เซอร์ของคุณด้วย JavaScript อินพุตของคุณไม่เคยถูกอัปโหลดไปยังเซิร์ฟเวอร์ ไม่เคยถูกจัดเก็บ และไม่เคยถูกเห็นโดยเรา - ปิดแท็บแล้วทุกอย่างหายไป

วิธีใช้ ตัวทดสอบ Robots.txt

  1. วางเนื้อหา robots.txt ของคุณ
  2. ป้อน URL เต็มที่จะทดสอบและชื่อ user-agent (Googlebot, GPTBot, *)
  3. คลิกทดสอบ URL นี้
  4. อ่านคำตัดสินและกฎที่ตรงกันซึ่งสร้างมันขึ้นมา

วิธีการทำงาน

การจับคู่ทำตามมาตรฐาน (RFC 9309 ตามที่ Google ใช้งาน): ก่อนอื่นกลุ่มของโปรแกรมรวบรวมข้อมูลจะถูกเลือก - กลุ่มที่ระบุโทเค็น user-agent ที่ตรงกันเฉพาะเจาะจงที่สุดชนะกลุ่ม * - จากนั้นภายในกลุ่มนั้น กฎที่แพทเทิร์นเส้นทางตรงกับเส้นทางของ URL และยาวที่สุดจะชนะ; หากเสมอกัน Allow ชนะ Disallow แพทเทิร์นรองรับ * เป็นไวลด์การ์ด และ $ ต่อท้ายเป็นจุดยึดท้าย การ Disallow ที่ว่างเปล่าไม่ตรงกับอะไรเลย ซึ่งเป็นเหตุผลว่าทำไม 'Disallow:' เพียงอย่างเดียวจึงอนุญาตทุกอย่าง

คำถามที่พบบ่อย

ตัวทดสอบนี้ฟรีหรือไม่?

ใช่ - ฟรีทั้งหมด ไม่ต้องสมัครสมาชิก

มันทำตามกฎการจับคู่ใด?

RFC 9309 / การใช้งานของ Google: กลุ่มตัวแทนที่เฉพาะเจาะจงที่สุด กฎที่ตรงกันยาวที่สุด Allow ชนะเมื่อเสมอกัน รองรับแพทเทิร์น * และ $

URL ของฉันถูกบล็อกที่นี่แต่ถูกทำดัชนีใน Google - ทำไม?

Robots บล็อกการรวบรวมข้อมูล ไม่ใช่การจัดทำดัชนี หน้าที่ถูกบล็อกยังสามารถถูกจัดทำดัชนีจากลิงก์ได้ โดยแสดงโดยไม่มีคำอธิบาย

มันดึง robots.txt ที่ใช้งานจริงของฉันหรือไม่?

ไม่ - วางเนื้อหาลงไป เบราว์เซอร์ไม่สามารถดึงไฟล์ของไซต์ใดก็ได้ (CORS) และการวางยังให้คุณทดสอบฉบับร่างก่อนเผยแพร่ได้ด้วย

มีอะไรถูกอัปโหลดหรือไม่?

ไม่ การทดสอบทำงานในเบราว์เซอร์ของคุณ

เครื่องมือสำหรับนักพัฒนาที่เกี่ยวข้อง

ฝังเครื่องมือนี้บนเว็บไซต์ของคุณ — ฟรี

เพิ่มเครื่องมือนี้ลงในเว็บไซต์หรือบล็อกของคุณเอง — มันฟรีทั้งหมด ไม่ต้องสมัครสมาชิก และแสดงเวอร์ชันล่าสุดเสมอ คัดลอกโค้ดด้านล่างแล้ววางลงในหน้าของคุณตรงตำแหน่งที่คุณต้องการให้เครื่องมือปรากฏ การเก็บบรรทัดเครดิตเล็ก ๆ “Powered by Loona Automation” ไว้ใต้ตัวฝังจะช่วยให้เครื่องมือนี้ยังคงฟรีต่อไป — แต่คุณมีอิสระที่จะจัดสไตล์หรือลบมันออกก็ได้; เครื่องมือทำงานได้ทั้งสองแบบ