Generator robots.txt datoteke - Pravila za robote bez zamki sintakse
Jedan pogrešan redak u robots.txt može cijelu stranicu sakriti od Googlea - ili uopće ništa ne sakriti. Izgradite ga ovdje, s unaprijed postavljenim postavkama za uobičajene slučajeve i provjerama izlaza.
Kako koristiti generator robots.txt datoteke
- Odaberite unaprijed postavljenu postavku, ili krenite od Dopusti sve i prilagodite.
- Dodajte skupinu za bilo kojeg određenog robota (na primjer GPTBot) s njegovim vlastitim pravilima.
- Navedite putanje za zabranu i dopuštanje, jednu po retku - putanje počinju s /.
- Dodajte URL svog sitemapa i kliknite Generiraj.
- Prođite kroz bilješke zdravorazumske provjere, zatim datoteku postavite na vasadomena.com/robots.txt.
Kako radi
Datoteka robots.txt skup je skupina: svaka skupina imenuje jedan ili više user-agenata (robota za indeksiranje) nakon kojih slijede pravila putanja Disallow i Allow koja se na njih primjenjuju. Prazan Disallow znači da je sve dopušteno; Disallow: / blokira cijelu stranicu za tog agenta. Pravila se podudaraju po prefiksu, a Google podržava i Allow za izrezivanje iznimki iz šireg Disallow. Ovaj generator grupe emitira u standardnom formatu, dodaje redak Sitemap i zatim zdravorazumski provjerava vlastiti izlaz: nepoznata polja, putanje koje ne počinju s /, i retci sitemapa koji nisu puni URL-ovi svi se označavaju. Zapamtite da je robots.txt zahtjev, ne brava - dobro vladani roboti pokoravaju mu se, zlonamjerni možda ne, pa se nikada ne oslanjajte na njega za zaštitu tajni.
Često postavljana pitanja
Je li ovaj generator besplatan?
Da - potpuno besplatno, bez registracije.
Gdje ide robots.txt?
U korijenu vaše domene: https://yourdomain.com/robots.txt - nigdje drugdje se ne čita.
Blokira li robots.txt stranice iz rezultata pretrage u potpunosti?
Blokira indeksiranje robota, a ne indeksiranje u rezultatima: blokirani URL i dalje se može pojaviti u rezultatima (bez opisa) ako druge stranice povezuju na njega. Koristite oznaku noindex da stranicu u potpunosti držite van.
Mogu li blokirati robote umjetne inteligencije?
Unaprijed postavljena postavka za AI dodaje skupine koje zabranjuju GPTBot, CCBot i Google-Extended. Sukladni roboti to poštuju; ne može zaustaviti strugače koji zanemaruju robots.txt.
Prenosi li se išta?
Ne. Generiranje i provjere rade u vašem pregledniku.
Povezani razvojni alati
Generator meta oznaka
Generirajte gotov HTML meta blok za lijepljenje - naslov, opis, roboti, kanonski URL - uz pregled u stilu SERP-a.
Generator Open Graph i Twitter Card oznaka
Izradite Open Graph i Twitter Card oznake uz pregled kartice, pa dijeljene poveznice izgledaju ispravno posvuda.
Generator robots.txt datoteke
Izradite valjanu datoteku robots.txt s pravilima dopuštanja i zabrane po agentu i retkom sitemapa.