Generator Robots.txt - Reguli pentru crawlere fără capcanele de sintaxă
O linie greșită în robots.txt poate ascunde un întreg site de Google - sau poate să nu ascundă nimic. Construiește-l aici, cu presetări pentru cazurile comune și verificări asupra rezultatului.
Cum se folosește Generatorul Robots.txt
- Alege o presetare sau pornește de la Permite totul și personalizează.
- Adaugă un grup pentru orice crawler specific (de exemplu GPTBot) cu regulile sale proprii.
- Listează căile disallow și allow, câte una pe linie - căile încep cu /.
- Adaugă URL-ul sitemap-ului tău și dă clic pe Generează.
- Parcurge notele de verificare, apoi pune fișierul la yourdomain.com/robots.txt.
Cum funcționează
Un fișier robots.txt este un set de grupuri: fiecare grup numește unul sau mai mulți agenți utilizator (crawlere) urmat de reguli de cale Disallow și Allow care li se aplică. Un Disallow gol înseamnă că totul este permis; Disallow: / blochează întregul site pentru acel agent. Regulile sunt potrivite după prefix, iar Google acceptă și Allow pentru a crea excepții dintr-un Disallow mai larg. Acest generator emite grupuri în formatul standard, adaugă rândul Sitemap și apoi își verifică singur rezultatul: câmpurile necunoscute, căile care nu încep cu / și rândurile de sitemap care nu sunt URL-uri complete sunt toate semnalate. Ține minte că robots.txt este o cerere, nu o încuietoare - crawlerele bine crescute o respectă, cele rău intenționate s-ar putea să nu, așa că nu te baza niciodată pe el pentru a proteja secrete.
Întrebări frecvente
Acest generator este gratuit?
Da - complet gratuit, fără înregistrare.
Unde se pune robots.txt?
La rădăcina domeniului tău: https://yourdomain.com/robots.txt - nicăieri altundeva nu este citit.
robots.txt blochează complet paginile din rezultatele căutării?
Blochează crawling-ul, nu indexarea: un URL blocat poate apărea totuși în rezultate (fără descriere) dacă alte site-uri fac link la el. Folosește o etichetă noindex pentru a ține o pagină complet afară.
Pot bloca crawlerii AI?
Presetarea AI adaugă grupuri care interzic GPTBot, CCBot și Google-Extended. Crawlerii conformi o respectă; nu poate opri scraperii care ignoră robots.txt.
Se încarcă ceva?
Nu. Generarea și verificările rulează în browserul tău.
Instrumente conexe pentru dezvoltatori
Generator de meta etichete
Generează un bloc meta HTML gata de lipit - titlu, descriere, robots, canonic - cu o previzualizare în stil SERP.
Generator Open Graph și card Twitter
Construiește etichete Open Graph și card Twitter cu previzualizarea cardului, ca linkurile partajate să arate corect peste tot.
Generator Robots.txt
Construiește un robots.txt valid cu reguli de permitere și interzicere per agent și o linie sitemap.