Logo Loona AutomationLoona Công cụ cho nhà phát triển
Trang chủ › Công cụ cho nhà phát triển › Trình tạo Robots.txt

Trình tạo Robots.txt - Quy tắc cho trình thu thập không bẫy cú pháp

Tóm lại: trình tạo Robots.txt xây dựng một robots.txt hợp lệ từ các mẫu sẵn và quy tắc theo agent - các đường dẫn allow và disallow theo trình thu thập, cộng dòng sitemap của bạn - và chạy các bài kiểm tra tính hợp lý trên kết quả trước khi bạn phát hành nó.

Một dòng sai trong robots.txt có thể giấu toàn bộ một trang khỏi Google - hoặc không giấu được bất cứ thứ gì. Tạo nó ở đây, với các mẫu sẵn cho các trường hợp phổ biến và các bài kiểm tra trên đầu ra.

Riêng tư theo thiết kế: mọi thứ trong công cụ này diễn ra 100% trong trình duyệt của bạn bằng JavaScript. Đầu vào của bạn không bao giờ được tải lên một máy chủ, không bao giờ được lưu trữ và không bao giờ được chúng tôi nhìn thấy - đóng tab và mọi thứ biến mất.

Cách sử dụng trình tạo Robots.txt

  1. Chọn một cài sẵn, hoặc bắt đầu từ Cho phép mọi thứ và tùy chỉnh.
  2. Thêm một nhóm cho bất kỳ trình thu thập cụ thể nào (ví dụ GPTBot) với quy tắc riêng của nó.
  3. Liệt kê các đường dẫn disallow và allow, mỗi dòng một đường - đường dẫn bắt đầu bằng /.
  4. Thêm URL sitemap của bạn và nhấp vào Tạo.
  5. Đi qua các ghi chú kiểm tra tính hợp lý, rồi đặt tệp tại yourdomain.com/robots.txt.

Cách hoạt động

Một tệp robots.txt là một tập hợp các nhóm: mỗi nhóm đặt tên một hoặc nhiều user-agent (trình thu thập) theo sau là các quy tắc đường dẫn Disallow và Allow áp dụng cho chúng. Một Disallow trống có nghĩa là mọi thứ được cho phép; Disallow: / chặn toàn bộ trang cho agent đó. Các quy tắc được khớp theo tiền tố, và Google cũng hỗ trợ Allow để khắc các ngoại lệ ra khỏi một Disallow rộng hơn. Trình tạo này phát ra các nhóm theo định dạng chuẩn, thêm dòng Sitemap, và sau đó tự kiểm tra tỉnh táo đầu ra của chính nó: các trường không được biết, các đường dẫn không bắt đầu bằng /, và các dòng sitemap không phải là URL đầy đủ đều bị gắn cờ. Hãy nhớ robots.txt là một yêu cầu, không phải một ổ khóa - các trình thu thập cư xử tốt tuân theo nó, các trình độc hại có thể không, vì vậy đừng bao giờ dựa vào nó để bảo vệ các bí mật.

Câu hỏi thường gặp

Trình tạo này có miễn phí không?

Có - hoàn toàn miễn phí, không cần đăng ký.

robots.txt đi đâu?

Tại gốc tên miền của bạn: https://yourdomain.com/robots.txt - không nơi nào khác được đọc.

robots.txt có chặn các trang khỏi kết quả tìm kiếm hoàn toàn không?

Nó chặn thu thập, không chặn lập chỉ mục: một URL bị chặn vẫn có thể xuất hiện trong kết quả (không có mô tả) nếu các trang khác liên kết đến nó. Dùng một thẻ noindex để giữ một trang hoàn toàn ở ngoài.

Tôi có thể chặn trình thu thập AI không?

Mẫu AI thêm các nhóm cấm GPTBot, CCBot và Google-Extended. Các trình thu thập tuân thủ tôn trọng nó; nó không thể ngăn các trình quét phớt lờ robots.txt.

Có dữ liệu nào được tải lên không?

Không. Việc tạo và kiểm tra chạy trong trình duyệt của bạn.

Công cụ cho nhà phát triển liên quan

Nhúng công cụ này vào trang web của bạn — miễn phí

Thêm công cụ này vào trang web hoặc blog của bạn — hoàn toàn miễn phí, không cần đăng ký và luôn hiển thị phiên bản mới nhất. Sao chép đoạn mã bên dưới và dán vào trang của bạn tại vị trí bạn muốn công cụ xuất hiện. Việc giữ lại dòng ghi công nhỏ “Powered by Loona Automation” dưới phần nhúng sẽ giúp công cụ này tiếp tục miễn phí — nhưng bạn có thể tùy ý chỉnh kiểu hoặc xóa nó; công cụ vẫn hoạt động bình thường.