Λογότυπο Loona AutomationLoona Εργαλεία Προγραμματιστή
Αρχική › Εργαλεία Προγραμματιστή › Γεννήτρια Robots.txt

Γεννήτρια Robots.txt - Κανόνες Ανιχνευτών Χωρίς τις Παγίδες Σύνταξης

Εν συντομία: η Γεννήτρια Robots.txt χτίζει ένα έγκυρο robots.txt από προεπιλογές και κανόνες ανά παράγοντα - διαδρομές επιτρεπόμενες και μη επιτρεπόμενες ανά ανιχνευτή, συν τη γραμμή χάρτη ιστότοπού σας - και τρέχει ελέγχους λογικής στο αποτέλεσμα πριν το στείλετε.

Μια λάθος γραμμή στο robots.txt μπορεί να κρύψει έναν ολόκληρο ιστότοπο από την Google - ή να μην κρύψει τίποτα απολύτως. Χτίστε το εδώ, με προεπιλογές για τις κοινές περιπτώσεις και ελέγχους στην έξοδο.

Ιδιωτικό εκ σχεδιασμού: τα πάντα σε αυτό το εργαλείο συμβαίνουν 100% στο πρόγραμμα περιήγησής σας με JavaScript. Η είσοδός σας δεν ανεβαίνει ποτέ σε διακομιστή, δεν αποθηκεύεται ποτέ και δεν φαίνεται ποτέ από εμάς - κλείστε την καρτέλα και τα πάντα χάνονται.

Πώς να χρησιμοποιήσετε τη Γεννήτρια Robots.txt

  1. Επιλέξτε μια προεπιλογή, ή ξεκινήστε από το Να επιτρέπονται όλα και προσαρμόστε.
  2. Προσθέστε μια ομάδα για οποιονδήποτε συγκεκριμένο ανιχνευτή (για παράδειγμα τον GPTBot) με τους δικούς της κανόνες.
  3. Παραθέστε διαδρομές απαγόρευσης και επιτρεπόμενων, μία ανά γραμμή - οι διαδρομές ξεκινούν με /.
  4. Προσθέστε το URL του sitemap σας και κάντε κλικ στο Δημιουργία.
  5. Περάστε από τις σημειώσεις λογικού ελέγχου, και μετά τοποθετήστε το αρχείο στο yourdomain.com/robots.txt.

Πώς λειτουργεί

Ένα αρχείο robots.txt είναι ένα σύνολο ομάδων: κάθε ομάδα ονομάζει έναν ή περισσότερους user-agents (ανιχνευτές) ακολουθούμενους από κανόνες διαδρομών Disallow και Allow που ισχύουν για αυτούς. Ένα κενό Disallow σημαίνει ότι όλα επιτρέπονται; Disallow: / μπλοκάρει ολόκληρο τον ιστότοπο για αυτόν τον παράγοντα. Οι κανόνες αντιστοιχίζονται με πρόθεμα, και η Google υποστηρίζει επίσης Allow για να χαράξει εξαιρέσεις από ένα ευρύτερο Disallow. Αυτή η γεννήτρια εκπέμπει ομάδες στην τυπική μορφή, προσθέτει τη γραμμή Sitemap, και μετά ελέγχει την ίδια της την έξοδο: άγνωστα πεδία, διαδρομές που δεν ξεκινούν με /, και γραμμές χάρτη ιστότοπου που δεν είναι πλήρη URL επισημαίνονται όλα. Θυμηθείτε ότι το robots.txt είναι αίτημα, όχι κλειδαριά - οι καλοπροαίρετοι ανιχνευτές το υπακούν, οι κακόβουλοι μπορεί όχι, οπότε μην βασίζεστε ποτέ σε αυτό για να προστατέψετε μυστικά.

Συχνές Ερωτήσεις

Είναι αυτή η γεννήτρια δωρεάν;

Ναι - εντελώς δωρεάν, χωρίς εγγραφή.

Πού πηγαίνει το robots.txt;

Στη ρίζα του τομέα σας: https://yourdomain.com/robots.txt - πουθενά αλλού δεν διαβάζεται.

Αποκλείει το robots.txt εντελώς τις σελίδες από τα αποτελέσματα αναζήτησης;

Αποκλείει την ανίχνευση, όχι την ευρετηρίαση: ένα αποκλεισμένο URL μπορεί ακόμη να εμφανιστεί στα αποτελέσματα (χωρίς περιγραφή) αν άλλοι ιστότοποι συνδέονται σε αυτό. Χρησιμοποιήστε μια ετικέτα noindex για να κρατήσετε μια σελίδα εντελώς έξω.

Μπορώ να αποκλείσω ανιχνευτές AI;

Η προεπιλογή AI προσθέτει ομάδες που απαγορεύουν τα GPTBot, CCBot και Google-Extended. Οι συμμορφούμενοι ανιχνευτές την τηρούν· δεν μπορεί να σταματήσει scrapers που αγνοούν το robots.txt.

Μεταφορτώνεται οτιδήποτε;

Όχι. Η δημιουργία και οι έλεγχοι τρέχουν στο πρόγραμμα περιήγησής σας.

Σχετικά Εργαλεία Προγραμματιστή

Ενσωματώστε αυτό το εργαλείο στον ιστότοπό σας — δωρεάν

Προσθέστε αυτό το εργαλείο στον δικό σας ιστότοπο ή ιστολόγιο — είναι εντελώς δωρεάν, δεν χρειάζεται εγγραφή και εμφανίζει πάντα την πιο πρόσφατη έκδοση. Αντιγράψτε τον παρακάτω κώδικα και επικολλήστε τον στη σελίδα σας όπου θέλετε να εμφανίζεται το εργαλείο. Η διατήρηση της μικρής γραμμής πίστωσης “Powered by Loona Automation” κάτω από την ενσωμάτωση βοηθά να παραμείνει αυτό το εργαλείο δωρεάν — αλλά μπορείτε ελεύθερα να τη μορφοποιήσετε ή να την αφαιρέσετε· το εργαλείο λειτουργεί είτε έτσι είτε αλλιώς.