Ελεγκτής Robots.txt - Επιτρέπεται ή Αποκλείεται, και Ακριβώς Γιατί
Ένα αρχείο robots.txt γράφεται εύκολα αλλά είναι δύσκολο να συλλογιστεί κανείς τη συμπεριφορά του. Αυτό το εργαλείο δοκιμής απαντά στο μοναδικό ερώτημα που έχει σημασία για έναν δεδομένο ανιχνευτή και URL.
Πώς να χρησιμοποιήσετε τον Ελεγκτή Robots.txt
- Επικολλήστε τα περιεχόμενα του robots.txt σας.
- Εισαγάγετε το πλήρες URL προς έλεγχο και το όνομα του user-agent (Googlebot, GPTBot, *).
- Κάντε κλικ στο Έλεγχος αυτού του URL.
- Διαβάστε την ετυμηγορία και τον κανόνα αντιστοίχισης που την παρήγαγε.
Πώς λειτουργεί
Η αντιστοίχιση ακολουθεί το πρότυπο (RFC 9309, όπως το υλοποιεί η Google): πρώτα επιλέγεται η ομάδα του ανιχνευτή - η ομάδα που ονομάζει το πιο συγκεκριμένο ταιριαστό token user-agent κερδίζει έναντι της ομάδας * - έπειτα, μέσα σε αυτή την ομάδα, κερδίζει ο κανόνας του οποίου το μοτίβο διαδρομής ταιριάζει με τη διαδρομή του URL και είναι το μακρύτερο· σε ισοπαλία, το Allow κερδίζει το Disallow. Τα μοτίβα υποστηρίζουν το * ως μπαλαντέρ και ένα τελικό $ ως άγκυρα τέλους. Ένα κενό Disallow δεν ταιριάζει με τίποτα, γι' αυτό το 'Disallow:' μόνο του επιτρέπει τα πάντα.
Συχνές Ερωτήσεις
Είναι αυτός ο ελεγκτής δωρεάν;
Ναι - εντελώς δωρεάν, χωρίς εγγραφή.
Ποιους κανόνες αντιστοίχισης ακολουθεί;
RFC 9309 / υλοποίηση της Google: πιο συγκεκριμένη ομάδα πράκτορα, μακρύτερος κανόνας που ταιριάζει, το Allow κερδίζει τις ισοπαλίες, υποστήριξη μοτίβων * και $.
Το URL μου είναι αποκλεισμένο εδώ αλλά ευρετηριασμένο στην Google - γιατί;
Το Robots αποκλείει την ανίχνευση, όχι την ευρετηρίαση. Μια αποκλεισμένη σελίδα μπορεί ακόμη να ευρετηριαστεί από συνδέσμους, εμφανιζόμενη χωρίς περιγραφή.
Φέρνει το ζωντανό robots.txt μου;
Όχι - επικολλήστε το περιεχόμενο. Τα προγράμματα περιήγησης δεν μπορούν να φέρουν αρχεία τυχαίων ιστότοπων (CORS), και η επικόλληση σάς επιτρέπει επίσης να δοκιμάσετε ένα προσχέδιο πριν το δημοσιεύσετε.
Μεταφορτώνεται οτιδήποτε;
Όχι. Η δοκιμή τρέχει στο πρόγραμμα περιήγησής σας.