Trình tạo Robots.txt - Quy tắc cho trình thu thập không bẫy cú pháp
Một dòng sai trong robots.txt có thể giấu toàn bộ một trang khỏi Google - hoặc không giấu được bất cứ thứ gì. Tạo nó ở đây, với các mẫu sẵn cho các trường hợp phổ biến và các bài kiểm tra trên đầu ra.
Cách sử dụng trình tạo Robots.txt
- Chọn một cài sẵn, hoặc bắt đầu từ Cho phép mọi thứ và tùy chỉnh.
- Thêm một nhóm cho bất kỳ trình thu thập cụ thể nào (ví dụ GPTBot) với quy tắc riêng của nó.
- Liệt kê các đường dẫn disallow và allow, mỗi dòng một đường - đường dẫn bắt đầu bằng /.
- Thêm URL sitemap của bạn và nhấp vào Tạo.
- Đi qua các ghi chú kiểm tra tính hợp lý, rồi đặt tệp tại yourdomain.com/robots.txt.
Cách hoạt động
Một tệp robots.txt là một tập hợp các nhóm: mỗi nhóm đặt tên một hoặc nhiều user-agent (trình thu thập) theo sau là các quy tắc đường dẫn Disallow và Allow áp dụng cho chúng. Một Disallow trống có nghĩa là mọi thứ được cho phép; Disallow: / chặn toàn bộ trang cho agent đó. Các quy tắc được khớp theo tiền tố, và Google cũng hỗ trợ Allow để khắc các ngoại lệ ra khỏi một Disallow rộng hơn. Trình tạo này phát ra các nhóm theo định dạng chuẩn, thêm dòng Sitemap, và sau đó tự kiểm tra tỉnh táo đầu ra của chính nó: các trường không được biết, các đường dẫn không bắt đầu bằng /, và các dòng sitemap không phải là URL đầy đủ đều bị gắn cờ. Hãy nhớ robots.txt là một yêu cầu, không phải một ổ khóa - các trình thu thập cư xử tốt tuân theo nó, các trình độc hại có thể không, vì vậy đừng bao giờ dựa vào nó để bảo vệ các bí mật.
Câu hỏi thường gặp
Trình tạo này có miễn phí không?
Có - hoàn toàn miễn phí, không cần đăng ký.
robots.txt đi đâu?
Tại gốc tên miền của bạn: https://yourdomain.com/robots.txt - không nơi nào khác được đọc.
robots.txt có chặn các trang khỏi kết quả tìm kiếm hoàn toàn không?
Nó chặn thu thập, không chặn lập chỉ mục: một URL bị chặn vẫn có thể xuất hiện trong kết quả (không có mô tả) nếu các trang khác liên kết đến nó. Dùng một thẻ noindex để giữ một trang hoàn toàn ở ngoài.
Tôi có thể chặn trình thu thập AI không?
Mẫu AI thêm các nhóm cấm GPTBot, CCBot và Google-Extended. Các trình thu thập tuân thủ tôn trọng nó; nó không thể ngăn các trình quét phớt lờ robots.txt.
Có dữ liệu nào được tải lên không?
Không. Việc tạo và kiểm tra chạy trong trình duyệt của bạn.
Công cụ cho nhà phát triển liên quan
Trình tạo thẻ meta
Tạo một khối meta HTML sẵn sàng dán - tiêu đề, mô tả, robots, canonical - kèm bản xem trước kiểu SERP.
Trình tạo Open Graph & thẻ Twitter
Tạo thẻ Open Graph và thẻ Twitter kèm xem trước thẻ, để liên kết chia sẻ trông đúng ý ở mọi nơi.
Trình tạo Robots.txt
Xây dựng một robots.txt hợp lệ với các quy tắc allow và disallow cho từng agent và một dòng sitemap.