Logo Loona AutomationLoona Công cụ cho nhà phát triển
Trang chủ › Công cụ cho nhà phát triển › Công cụ kiểm tra Robots.txt

Công cụ kiểm tra Robots.txt - Được phép hay bị chặn, và chính xác tại sao

Tóm lại: trình kiểm tra Robots.txt áp dụng các quy tắc khớp thật - nhóm user-agent cụ thể nhất, rồi quy tắc đường dẫn khớp dài nhất, với Allow thắng khi hòa - và hiển thị phán quyết cộng quy tắc chính xác đã quyết định nó.

Một tệp robots.txt dễ viết và khó suy luận về nó. Trình kiểm tra này trả lời câu hỏi duy nhất quan trọng đối với một trình thu thập và URL cho trước.

Riêng tư theo thiết kế: mọi thứ trong công cụ này diễn ra 100% trong trình duyệt của bạn bằng JavaScript. Đầu vào của bạn không bao giờ được tải lên một máy chủ, không bao giờ được lưu trữ và không bao giờ được chúng tôi nhìn thấy - đóng tab và mọi thứ biến mất.

Cách sử dụng công cụ kiểm tra Robots.txt

  1. Dán nội dung robots.txt của bạn.
  2. Nhập URL đầy đủ cần kiểm tra và tên user-agent (Googlebot, GPTBot, *).
  3. Nhấp vào Kiểm tra URL này.
  4. Đọc kết luận và quy tắc khớp đã tạo ra nó.

Cách hoạt động

Việc khớp tuân theo tiêu chuẩn (RFC 9309, như Google triển khai nó): trước tiên nhóm của trình thu thập được chọn - nhóm đặt tên token user-agent khớp cụ thể nhất thắng nhóm * - sau đó, bên trong nhóm đó, quy tắc có mẫu đường dẫn khớp với đường dẫn của URL và dài nhất thắng; khi hòa, Allow đánh bại Disallow. Các mẫu hỗ trợ * làm ký tự đại diện và một $ ở cuối làm neo kết thúc. Một Disallow trống không khớp gì cả, đó là lý do 'Disallow:' đơn thuần cho phép mọi thứ.

Câu hỏi thường gặp

Công cụ kiểm tra này có miễn phí không?

Có - hoàn toàn miễn phí, không cần đăng ký.

Nó đi theo những quy tắc khớp nào?

RFC 9309 / cách triển khai của Google: nhóm agent cụ thể nhất, quy tắc khớp dài nhất, Allow thắng khi hòa, hỗ trợ mẫu * và $.

URL của tôi bị chặn ở đây nhưng được lập chỉ mục trong Google - tại sao?

Robots chặn thu thập, không chặn lập chỉ mục. Một trang bị chặn vẫn có thể được lập chỉ mục từ các liên kết, hiển thị mà không có mô tả.

Nó có lấy robots.txt trực tiếp của tôi không?

Không - hãy dán nội dung. Các trình duyệt không thể lấy tệp của các trang tùy ý (CORS), và việc dán cũng cho phép bạn kiểm thử một bản nháp trước khi xuất bản nó.

Có dữ liệu nào được tải lên không?

Không. Việc kiểm tra chạy trong trình duyệt của bạn.

Công cụ cho nhà phát triển liên quan

Nhúng công cụ này vào trang web của bạn — miễn phí

Thêm công cụ này vào trang web hoặc blog của bạn — hoàn toàn miễn phí, không cần đăng ký và luôn hiển thị phiên bản mới nhất. Sao chép đoạn mã bên dưới và dán vào trang của bạn tại vị trí bạn muốn công cụ xuất hiện. Việc giữ lại dòng ghi công nhỏ “Powered by Loona Automation” dưới phần nhúng sẽ giúp công cụ này tiếp tục miễn phí — nhưng bạn có thể tùy ý chỉnh kiểu hoặc xóa nó; công cụ vẫn hoạt động bình thường.