Λογότυπο Loona AutomationLoona Εργαλεία Προγραμματιστή
Αρχική › Εργαλεία Προγραμματιστή › Ελεγκτής Robots.txt

Ελεγκτής Robots.txt - Επιτρέπεται ή Αποκλείεται, και Ακριβώς Γιατί

Εν συντομία: ο Ελεγκτής Robots.txt εφαρμόζει τους πραγματικούς κανόνες αντιστοίχισης - την πιο συγκεκριμένη ομάδα user-agent, μετά τον κανόνα διαδρομής με τη μεγαλύτερη αντιστοίχιση, με το Allow να κερδίζει τις ισοπαλίες - και δείχνει την ετυμηγορία συν τον ακριβή κανόνα που την αποφάσισε.

Ένα αρχείο robots.txt γράφεται εύκολα αλλά είναι δύσκολο να συλλογιστεί κανείς τη συμπεριφορά του. Αυτό το εργαλείο δοκιμής απαντά στο μοναδικό ερώτημα που έχει σημασία για έναν δεδομένο ανιχνευτή και URL.

Ιδιωτικό εκ σχεδιασμού: τα πάντα σε αυτό το εργαλείο συμβαίνουν 100% στο πρόγραμμα περιήγησής σας με JavaScript. Η είσοδός σας δεν ανεβαίνει ποτέ σε διακομιστή, δεν αποθηκεύεται ποτέ και δεν φαίνεται ποτέ από εμάς - κλείστε την καρτέλα και τα πάντα χάνονται.

Πώς να χρησιμοποιήσετε τον Ελεγκτή Robots.txt

  1. Επικολλήστε τα περιεχόμενα του robots.txt σας.
  2. Εισαγάγετε το πλήρες URL προς έλεγχο και το όνομα του user-agent (Googlebot, GPTBot, *).
  3. Κάντε κλικ στο Έλεγχος αυτού του URL.
  4. Διαβάστε την ετυμηγορία και τον κανόνα αντιστοίχισης που την παρήγαγε.

Πώς λειτουργεί

Η αντιστοίχιση ακολουθεί το πρότυπο (RFC 9309, όπως το υλοποιεί η Google): πρώτα επιλέγεται η ομάδα του ανιχνευτή - η ομάδα που ονομάζει το πιο συγκεκριμένο ταιριαστό token user-agent κερδίζει έναντι της ομάδας * - έπειτα, μέσα σε αυτή την ομάδα, κερδίζει ο κανόνας του οποίου το μοτίβο διαδρομής ταιριάζει με τη διαδρομή του URL και είναι το μακρύτερο· σε ισοπαλία, το Allow κερδίζει το Disallow. Τα μοτίβα υποστηρίζουν το * ως μπαλαντέρ και ένα τελικό $ ως άγκυρα τέλους. Ένα κενό Disallow δεν ταιριάζει με τίποτα, γι' αυτό το 'Disallow:' μόνο του επιτρέπει τα πάντα.

Συχνές Ερωτήσεις

Είναι αυτός ο ελεγκτής δωρεάν;

Ναι - εντελώς δωρεάν, χωρίς εγγραφή.

Ποιους κανόνες αντιστοίχισης ακολουθεί;

RFC 9309 / υλοποίηση της Google: πιο συγκεκριμένη ομάδα πράκτορα, μακρύτερος κανόνας που ταιριάζει, το Allow κερδίζει τις ισοπαλίες, υποστήριξη μοτίβων * και $.

Το URL μου είναι αποκλεισμένο εδώ αλλά ευρετηριασμένο στην Google - γιατί;

Το Robots αποκλείει την ανίχνευση, όχι την ευρετηρίαση. Μια αποκλεισμένη σελίδα μπορεί ακόμη να ευρετηριαστεί από συνδέσμους, εμφανιζόμενη χωρίς περιγραφή.

Φέρνει το ζωντανό robots.txt μου;

Όχι - επικολλήστε το περιεχόμενο. Τα προγράμματα περιήγησης δεν μπορούν να φέρουν αρχεία τυχαίων ιστότοπων (CORS), και η επικόλληση σάς επιτρέπει επίσης να δοκιμάσετε ένα προσχέδιο πριν το δημοσιεύσετε.

Μεταφορτώνεται οτιδήποτε;

Όχι. Η δοκιμή τρέχει στο πρόγραμμα περιήγησής σας.

Σχετικά Εργαλεία Προγραμματιστή

Ενσωματώστε αυτό το εργαλείο στον ιστότοπό σας — δωρεάν

Προσθέστε αυτό το εργαλείο στον δικό σας ιστότοπο ή ιστολόγιο — είναι εντελώς δωρεάν, δεν χρειάζεται εγγραφή και εμφανίζει πάντα την πιο πρόσφατη έκδοση. Αντιγράψτε τον παρακάτω κώδικα και επικολλήστε τον στη σελίδα σας όπου θέλετε να εμφανίζεται το εργαλείο. Η διατήρηση της μικρής γραμμής πίστωσης “Powered by Loona Automation” κάτω από την ενσωμάτωση βοηθά να παραμείνει αυτό το εργαλείο δωρεάν — αλλά μπορείτε ελεύθερα να τη μορφοποιήσετε ή να την αφαιρέσετε· το εργαλείο λειτουργεί είτε έτσι είτε αλλιώς.