ตัวทดสอบ Robots.txt - อนุญาตหรือบล็อก และเหตุผลที่แท้จริง
ไฟล์ robots.txt เขียนง่ายแต่ให้เหตุผลได้ยาก ตัวทดสอบนี้ตอบคำถามเดียวที่สำคัญสำหรับโปรแกรมรวบรวมข้อมูลและ URL ที่กำหนด
วิธีใช้ ตัวทดสอบ Robots.txt
- วางเนื้อหา robots.txt ของคุณ
- ป้อน URL เต็มที่จะทดสอบและชื่อ user-agent (Googlebot, GPTBot, *)
- คลิกทดสอบ URL นี้
- อ่านคำตัดสินและกฎที่ตรงกันซึ่งสร้างมันขึ้นมา
วิธีการทำงาน
การจับคู่ทำตามมาตรฐาน (RFC 9309 ตามที่ Google ใช้งาน): ก่อนอื่นกลุ่มของโปรแกรมรวบรวมข้อมูลจะถูกเลือก - กลุ่มที่ระบุโทเค็น user-agent ที่ตรงกันเฉพาะเจาะจงที่สุดชนะกลุ่ม * - จากนั้นภายในกลุ่มนั้น กฎที่แพทเทิร์นเส้นทางตรงกับเส้นทางของ URL และยาวที่สุดจะชนะ; หากเสมอกัน Allow ชนะ Disallow แพทเทิร์นรองรับ * เป็นไวลด์การ์ด และ $ ต่อท้ายเป็นจุดยึดท้าย การ Disallow ที่ว่างเปล่าไม่ตรงกับอะไรเลย ซึ่งเป็นเหตุผลว่าทำไม 'Disallow:' เพียงอย่างเดียวจึงอนุญาตทุกอย่าง
คำถามที่พบบ่อย
ตัวทดสอบนี้ฟรีหรือไม่?
ใช่ - ฟรีทั้งหมด ไม่ต้องสมัครสมาชิก
มันทำตามกฎการจับคู่ใด?
RFC 9309 / การใช้งานของ Google: กลุ่มตัวแทนที่เฉพาะเจาะจงที่สุด กฎที่ตรงกันยาวที่สุด Allow ชนะเมื่อเสมอกัน รองรับแพทเทิร์น * และ $
URL ของฉันถูกบล็อกที่นี่แต่ถูกทำดัชนีใน Google - ทำไม?
Robots บล็อกการรวบรวมข้อมูล ไม่ใช่การจัดทำดัชนี หน้าที่ถูกบล็อกยังสามารถถูกจัดทำดัชนีจากลิงก์ได้ โดยแสดงโดยไม่มีคำอธิบาย
มันดึง robots.txt ที่ใช้งานจริงของฉันหรือไม่?
ไม่ - วางเนื้อหาลงไป เบราว์เซอร์ไม่สามารถดึงไฟล์ของไซต์ใดก็ได้ (CORS) และการวางยังให้คุณทดสอบฉบับร่างก่อนเผยแพร่ได้ด้วย
มีอะไรถูกอัปโหลดหรือไม่?
ไม่ การทดสอบทำงานในเบราว์เซอร์ของคุณ