Logotip Loona AutomationLoona Alati za razvojne programere
Početna stranica › Alati za razvojne programere › Generator robots.txt datoteke

Generator robots.txt datoteke - Pravila za robote bez zamki sintakse

Ukratko: generator robots.txt datoteke gradi valjani robots.txt iz unaprijed postavljenih postavki i pravila po agentu - dopuštene i zabranjene putanje po robotu, plus vaš redak sitemapa - i na rezultatu pokreće zdravorazumske provjere prije nego što ga isporučite.

Jedan pogrešan redak u robots.txt može cijelu stranicu sakriti od Googlea - ili uopće ništa ne sakriti. Izgradite ga ovdje, s unaprijed postavljenim postavkama za uobičajene slučajeve i provjerama izlaza.

Privatno po dizajnu: sve u ovom alatu događa se 100% u vašem pregledniku JavaScriptom. Vaš ulaz nikada se ne prenosi na poslužitelj, nikada se ne pohranjuje i nikada ga mi ne vidimo - zatvorite karticu i sve je nestalo.

Kako koristiti generator robots.txt datoteke

  1. Odaberite unaprijed postavljenu postavku, ili krenite od Dopusti sve i prilagodite.
  2. Dodajte skupinu za bilo kojeg određenog robota (na primjer GPTBot) s njegovim vlastitim pravilima.
  3. Navedite putanje za zabranu i dopuštanje, jednu po retku - putanje počinju s /.
  4. Dodajte URL svog sitemapa i kliknite Generiraj.
  5. Prođite kroz bilješke zdravorazumske provjere, zatim datoteku postavite na vasadomena.com/robots.txt.

Kako radi

Datoteka robots.txt skup je skupina: svaka skupina imenuje jedan ili više user-agenata (robota za indeksiranje) nakon kojih slijede pravila putanja Disallow i Allow koja se na njih primjenjuju. Prazan Disallow znači da je sve dopušteno; Disallow: / blokira cijelu stranicu za tog agenta. Pravila se podudaraju po prefiksu, a Google podržava i Allow za izrezivanje iznimki iz šireg Disallow. Ovaj generator grupe emitira u standardnom formatu, dodaje redak Sitemap i zatim zdravorazumski provjerava vlastiti izlaz: nepoznata polja, putanje koje ne počinju s /, i retci sitemapa koji nisu puni URL-ovi svi se označavaju. Zapamtite da je robots.txt zahtjev, ne brava - dobro vladani roboti pokoravaju mu se, zlonamjerni možda ne, pa se nikada ne oslanjajte na njega za zaštitu tajni.

Često postavljana pitanja

Je li ovaj generator besplatan?

Da - potpuno besplatno, bez registracije.

Gdje ide robots.txt?

U korijenu vaše domene: https://yourdomain.com/robots.txt - nigdje drugdje se ne čita.

Blokira li robots.txt stranice iz rezultata pretrage u potpunosti?

Blokira indeksiranje robota, a ne indeksiranje u rezultatima: blokirani URL i dalje se može pojaviti u rezultatima (bez opisa) ako druge stranice povezuju na njega. Koristite oznaku noindex da stranicu u potpunosti držite van.

Mogu li blokirati robote umjetne inteligencije?

Unaprijed postavljena postavka za AI dodaje skupine koje zabranjuju GPTBot, CCBot i Google-Extended. Sukladni roboti to poštuju; ne može zaustaviti strugače koji zanemaruju robots.txt.

Prenosi li se išta?

Ne. Generiranje i provjere rade u vašem pregledniku.

Povezani razvojni alati

Ugradite ovaj alat na svoju web stranicu — besplatno

Dodajte ovaj alat na vlastitu web-stranicu ili blog — potpuno je besplatan, ne treba registraciju i uvijek prikazuje najnoviju verziju. Kopirajte kod u nastavku i zalijepite ga na svoju stranicu gdje želite da se alat pojavi. Zadržavanje male zaslužne crte “Omogućuje Loona Automation” ispod ugradnje pomaže da ovaj alat ostane besplatan — ali slobodno je oblikujte ili uklonite; alat radi u svakom slučaju.