Generator robots.txt - Reguły dla robotów bez pułapek składni
Jedna zła linia w robots.txt może ukryć całą witrynę przed Google - lub w ogóle niczego nie ukryć. Zbuduj go tutaj, z presetami dla popularnych przypadków i kontrolami wyników.
Jak korzystać z Generatora robots.txt
- Wybierz preset lub zacznij od Zezwól na wszystko i dostosuj.
- Dodaj grupę dla każdego określonego robota (na przykład GPTBot) z jego własnymi regułami.
- Wypisz ścieżki disallow i allow, jedną w wierszu - ścieżki zaczynają się od /.
- Dodaj adres URL swojej mapy witryny i kliknij Generuj.
- Przejdź przez uwagi kontroli poprawności, a potem umieść plik pod twojadomena.com/robots.txt.
Jak to działa
Plik robots.txt to zestaw grup: każda grupa nazywa jednego lub więcej user-agentów (roboty) wraz z regułami ścieżek Disallow i Allow, które ich dotyczą. Puste Disallow oznacza, że wszystko jest dozwolone; Disallow: / blokuje całą witrynę dla tego agenta. Reguły są dopasowywane prefiksem, a Google obsługuje też Allow, aby wycinać wyjątki z szerszego Disallow. Ten generator wypisuje grupy w standardowym formacie, dodaje linię Sitemap, a potem sprawdza poprawność własnego wyjścia: nieznane pola, ścieżki, które nie zaczynają się od /, oraz linie map witryn, które nie są pełnymi adresami URL, są wszystkie oznaczane. Pamiętaj, że robots.txt to prośba, nie zamek - dobrze zachowujące się roboty jej przestrzegają, złośliwe mogą nie, więc nigdy nie polegaj na niej przy ochronie sekretów.
Często zadawane pytania
Czy ten generator jest bezpłatny?
Tak - całkowicie za darmo, bez rejestracji.
Gdzie trafia robots.txt?
W katalogu głównym domeny: https://yourdomain.com/robots.txt - nigdzie indziej nie jest odczytywany.
Czy robots.txt blokuje strony przed wynikami wyszukiwania całkowicie?
Blokuje przeglądanie (crawling), a nie indeksowanie: zablokowany URL może nadal pojawiać się w wynikach (bez opisu), jeśli inne witryny do niego linkują. Użyj tagu noindex, aby całkowicie wyłączyć stronę.
Czy mogę blokować roboty AI?
Preset AI dodaje grupy zabraniające GPTBot, CCBot oraz Google-Extended. Zgodne roboty to szanują; nie może powstrzymać scraperów, które ignorują robots.txt.
Czy cokolwiek jest przesyłane?
Nie. Generowanie i kontrole działają w przeglądarce.
Powiązane narzędzia deweloperskie
Generator metatagów
Generuj gotowy do wklejenia blok meta HTML - tytuł, opis, robots, canonical - z podglądem w stylu SERP.
Generator Open Graph i Twitter Card
Buduj tagi Open Graph i Twitter Card z podglądem karty, aby udostępniane linki wyglądały dobrze wszędzie.
Generator robots.txt
Zbuduj poprawny robots.txt z regułami allow i disallow dla poszczególnych agentów oraz linią mapy witryny.