Công cụ kiểm tra Robots.txt - Được phép hay bị chặn, và chính xác tại sao
Một tệp robots.txt dễ viết và khó suy luận về nó. Trình kiểm tra này trả lời câu hỏi duy nhất quan trọng đối với một trình thu thập và URL cho trước.
Cách sử dụng công cụ kiểm tra Robots.txt
- Dán nội dung robots.txt của bạn.
- Nhập URL đầy đủ cần kiểm tra và tên user-agent (Googlebot, GPTBot, *).
- Nhấp vào Kiểm tra URL này.
- Đọc kết luận và quy tắc khớp đã tạo ra nó.
Cách hoạt động
Việc khớp tuân theo tiêu chuẩn (RFC 9309, như Google triển khai nó): trước tiên nhóm của trình thu thập được chọn - nhóm đặt tên token user-agent khớp cụ thể nhất thắng nhóm * - sau đó, bên trong nhóm đó, quy tắc có mẫu đường dẫn khớp với đường dẫn của URL và dài nhất thắng; khi hòa, Allow đánh bại Disallow. Các mẫu hỗ trợ * làm ký tự đại diện và một $ ở cuối làm neo kết thúc. Một Disallow trống không khớp gì cả, đó là lý do 'Disallow:' đơn thuần cho phép mọi thứ.
Câu hỏi thường gặp
Công cụ kiểm tra này có miễn phí không?
Có - hoàn toàn miễn phí, không cần đăng ký.
Nó đi theo những quy tắc khớp nào?
RFC 9309 / cách triển khai của Google: nhóm agent cụ thể nhất, quy tắc khớp dài nhất, Allow thắng khi hòa, hỗ trợ mẫu * và $.
URL của tôi bị chặn ở đây nhưng được lập chỉ mục trong Google - tại sao?
Robots chặn thu thập, không chặn lập chỉ mục. Một trang bị chặn vẫn có thể được lập chỉ mục từ các liên kết, hiển thị mà không có mô tả.
Nó có lấy robots.txt trực tiếp của tôi không?
Không - hãy dán nội dung. Các trình duyệt không thể lấy tệp của các trang tùy ý (CORS), và việc dán cũng cho phép bạn kiểm thử một bản nháp trước khi xuất bản nó.
Có dữ liệu nào được tải lên không?
Không. Việc kiểm tra chạy trong trình duyệt của bạn.