Logo-ul Loona AutomationLoona Instrumente pentru dezvoltatori
Acasă › Instrumente pentru dezvoltatori › Generator Robots.txt

Generator Robots.txt - Reguli pentru crawlere fără capcanele de sintaxă

Pe scurt: Generatorul Robots.txt construiește un robots.txt valid din presetări și reguli per agent - căi permise și interzise per crawler, plus rândul tău de sitemap - și rulează verificări de sănătate asupra rezultatului înainte să îl livrezi.

O linie greșită în robots.txt poate ascunde un întreg site de Google - sau poate să nu ascundă nimic. Construiește-l aici, cu presetări pentru cazurile comune și verificări asupra rezultatului.

Privat prin concepție: totul în acest instrument se întâmplă 100% în browserul tău cu JavaScript. Datele tale introduse nu sunt încărcate niciodată pe un server, nu sunt stocate și nu sunt văzute de noi - închide fila și totul a dispărut.

Cum se folosește Generatorul Robots.txt

  1. Alege o presetare sau pornește de la Permite totul și personalizează.
  2. Adaugă un grup pentru orice crawler specific (de exemplu GPTBot) cu regulile sale proprii.
  3. Listează căile disallow și allow, câte una pe linie - căile încep cu /.
  4. Adaugă URL-ul sitemap-ului tău și dă clic pe Generează.
  5. Parcurge notele de verificare, apoi pune fișierul la yourdomain.com/robots.txt.

Cum funcționează

Un fișier robots.txt este un set de grupuri: fiecare grup numește unul sau mai mulți agenți utilizator (crawlere) urmat de reguli de cale Disallow și Allow care li se aplică. Un Disallow gol înseamnă că totul este permis; Disallow: / blochează întregul site pentru acel agent. Regulile sunt potrivite după prefix, iar Google acceptă și Allow pentru a crea excepții dintr-un Disallow mai larg. Acest generator emite grupuri în formatul standard, adaugă rândul Sitemap și apoi își verifică singur rezultatul: câmpurile necunoscute, căile care nu încep cu / și rândurile de sitemap care nu sunt URL-uri complete sunt toate semnalate. Ține minte că robots.txt este o cerere, nu o încuietoare - crawlerele bine crescute o respectă, cele rău intenționate s-ar putea să nu, așa că nu te baza niciodată pe el pentru a proteja secrete.

Întrebări frecvente

Acest generator este gratuit?

Da - complet gratuit, fără înregistrare.

Unde se pune robots.txt?

La rădăcina domeniului tău: https://yourdomain.com/robots.txt - nicăieri altundeva nu este citit.

robots.txt blochează complet paginile din rezultatele căutării?

Blochează crawling-ul, nu indexarea: un URL blocat poate apărea totuși în rezultate (fără descriere) dacă alte site-uri fac link la el. Folosește o etichetă noindex pentru a ține o pagină complet afară.

Pot bloca crawlerii AI?

Presetarea AI adaugă grupuri care interzic GPTBot, CCBot și Google-Extended. Crawlerii conformi o respectă; nu poate opri scraperii care ignoră robots.txt.

Se încarcă ceva?

Nu. Generarea și verificările rulează în browserul tău.

Instrumente conexe pentru dezvoltatori

Încorporează acest instrument pe site-ul tău — gratuit

Adaugă acest instrument pe propriul tău site sau blog — este complet gratuit, nu necesită înregistrare și arată întotdeauna cea mai recentă versiune. Copiază codul de mai jos și lipește-l în pagina ta unde vrei să apară instrumentul. Păstrarea micului rând de credit “Oferit de Loona Automation” sub încorporare ajută la menținerea acestui instrument gratuit — dar ești liber să îl stilizezi sau să îl elimini; instrumentul funcționează oricum.