Γεννήτρια Robots.txt - Κανόνες Ανιχνευτών Χωρίς τις Παγίδες Σύνταξης
Μια λάθος γραμμή στο robots.txt μπορεί να κρύψει έναν ολόκληρο ιστότοπο από την Google - ή να μην κρύψει τίποτα απολύτως. Χτίστε το εδώ, με προεπιλογές για τις κοινές περιπτώσεις και ελέγχους στην έξοδο.
Πώς να χρησιμοποιήσετε τη Γεννήτρια Robots.txt
- Επιλέξτε μια προεπιλογή, ή ξεκινήστε από το Να επιτρέπονται όλα και προσαρμόστε.
- Προσθέστε μια ομάδα για οποιονδήποτε συγκεκριμένο ανιχνευτή (για παράδειγμα τον GPTBot) με τους δικούς της κανόνες.
- Παραθέστε διαδρομές απαγόρευσης και επιτρεπόμενων, μία ανά γραμμή - οι διαδρομές ξεκινούν με /.
- Προσθέστε το URL του sitemap σας και κάντε κλικ στο Δημιουργία.
- Περάστε από τις σημειώσεις λογικού ελέγχου, και μετά τοποθετήστε το αρχείο στο yourdomain.com/robots.txt.
Πώς λειτουργεί
Ένα αρχείο robots.txt είναι ένα σύνολο ομάδων: κάθε ομάδα ονομάζει έναν ή περισσότερους user-agents (ανιχνευτές) ακολουθούμενους από κανόνες διαδρομών Disallow και Allow που ισχύουν για αυτούς. Ένα κενό Disallow σημαίνει ότι όλα επιτρέπονται; Disallow: / μπλοκάρει ολόκληρο τον ιστότοπο για αυτόν τον παράγοντα. Οι κανόνες αντιστοιχίζονται με πρόθεμα, και η Google υποστηρίζει επίσης Allow για να χαράξει εξαιρέσεις από ένα ευρύτερο Disallow. Αυτή η γεννήτρια εκπέμπει ομάδες στην τυπική μορφή, προσθέτει τη γραμμή Sitemap, και μετά ελέγχει την ίδια της την έξοδο: άγνωστα πεδία, διαδρομές που δεν ξεκινούν με /, και γραμμές χάρτη ιστότοπου που δεν είναι πλήρη URL επισημαίνονται όλα. Θυμηθείτε ότι το robots.txt είναι αίτημα, όχι κλειδαριά - οι καλοπροαίρετοι ανιχνευτές το υπακούν, οι κακόβουλοι μπορεί όχι, οπότε μην βασίζεστε ποτέ σε αυτό για να προστατέψετε μυστικά.
Συχνές Ερωτήσεις
Είναι αυτή η γεννήτρια δωρεάν;
Ναι - εντελώς δωρεάν, χωρίς εγγραφή.
Πού πηγαίνει το robots.txt;
Στη ρίζα του τομέα σας: https://yourdomain.com/robots.txt - πουθενά αλλού δεν διαβάζεται.
Αποκλείει το robots.txt εντελώς τις σελίδες από τα αποτελέσματα αναζήτησης;
Αποκλείει την ανίχνευση, όχι την ευρετηρίαση: ένα αποκλεισμένο URL μπορεί ακόμη να εμφανιστεί στα αποτελέσματα (χωρίς περιγραφή) αν άλλοι ιστότοποι συνδέονται σε αυτό. Χρησιμοποιήστε μια ετικέτα noindex για να κρατήσετε μια σελίδα εντελώς έξω.
Μπορώ να αποκλείσω ανιχνευτές AI;
Η προεπιλογή AI προσθέτει ομάδες που απαγορεύουν τα GPTBot, CCBot και Google-Extended. Οι συμμορφούμενοι ανιχνευτές την τηρούν· δεν μπορεί να σταματήσει scrapers που αγνοούν το robots.txt.
Μεταφορτώνεται οτιδήποτε;
Όχι. Η δημιουργία και οι έλεγχοι τρέχουν στο πρόγραμμα περιήγησής σας.
Σχετικά Εργαλεία Προγραμματιστή
Γεννήτρια Ετικετών Meta
Δημιουργήστε ένα έτοιμο-για-επικόλληση μπλοκ meta HTML - τίτλος, περιγραφή, robots, κανονικό - με προεπισκόπηση σε στυλ SERP.
Γεννήτρια Open Graph & Καρτών Twitter
Δημιουργήστε ετικέτες Open Graph και Καρτών Twitter με προεπισκόπηση κάρτας, ώστε οι κοινόχρηστοι σύνδεσμοι να φαίνονται σωστοί παντού.
Γεννήτρια Robots.txt
Δημιουργήστε ένα έγκυρο robots.txt με κανόνες επιτρεπόμενων και απαγορευμένων ανά πράκτορα και μια γραμμή χάρτη ιστότοπου.