Logo Loona AutomationLoona Narzędzia deweloperskie
Strona główna › Narzędzia deweloperskie › Generator robots.txt

Generator robots.txt - Reguły dla robotów bez pułapek składni

W skrócie: Generator robots.txt buduje poprawny robots.txt z presetów oraz reguł dla każdego agenta - ścieżki dozwolone oraz zabronione dla każdego robota, plus linię mapy witryny - i przeprowadza kontrole poprawności wyniku, zanim go wyślesz.

Jedna zła linia w robots.txt może ukryć całą witrynę przed Google - lub w ogóle niczego nie ukryć. Zbuduj go tutaj, z presetami dla popularnych przypadków i kontrolami wyników.

Prywatne z założenia: wszystko w tym narzędziu dzieje się w 100% w przeglądarce przy użyciu JavaScript. Dane wejściowe nigdy nie są przesyłane na serwer, nigdy nie są przechowywane i nigdy nie są przez nas widziane - zamknij kartę, a wszystko znika.

Jak korzystać z Generatora robots.txt

  1. Wybierz preset lub zacznij od Zezwól na wszystko i dostosuj.
  2. Dodaj grupę dla każdego określonego robota (na przykład GPTBot) z jego własnymi regułami.
  3. Wypisz ścieżki disallow i allow, jedną w wierszu - ścieżki zaczynają się od /.
  4. Dodaj adres URL swojej mapy witryny i kliknij Generuj.
  5. Przejdź przez uwagi kontroli poprawności, a potem umieść plik pod twojadomena.com/robots.txt.

Jak to działa

Plik robots.txt to zestaw grup: każda grupa nazywa jednego lub więcej user-agentów (roboty) wraz z regułami ścieżek Disallow i Allow, które ich dotyczą. Puste Disallow oznacza, że wszystko jest dozwolone; Disallow: / blokuje całą witrynę dla tego agenta. Reguły są dopasowywane prefiksem, a Google obsługuje też Allow, aby wycinać wyjątki z szerszego Disallow. Ten generator wypisuje grupy w standardowym formacie, dodaje linię Sitemap, a potem sprawdza poprawność własnego wyjścia: nieznane pola, ścieżki, które nie zaczynają się od /, oraz linie map witryn, które nie są pełnymi adresami URL, są wszystkie oznaczane. Pamiętaj, że robots.txt to prośba, nie zamek - dobrze zachowujące się roboty jej przestrzegają, złośliwe mogą nie, więc nigdy nie polegaj na niej przy ochronie sekretów.

Często zadawane pytania

Czy ten generator jest bezpłatny?

Tak - całkowicie za darmo, bez rejestracji.

Gdzie trafia robots.txt?

W katalogu głównym domeny: https://yourdomain.com/robots.txt - nigdzie indziej nie jest odczytywany.

Czy robots.txt blokuje strony przed wynikami wyszukiwania całkowicie?

Blokuje przeglądanie (crawling), a nie indeksowanie: zablokowany URL może nadal pojawiać się w wynikach (bez opisu), jeśli inne witryny do niego linkują. Użyj tagu noindex, aby całkowicie wyłączyć stronę.

Czy mogę blokować roboty AI?

Preset AI dodaje grupy zabraniające GPTBot, CCBot oraz Google-Extended. Zgodne roboty to szanują; nie może powstrzymać scraperów, które ignorują robots.txt.

Czy cokolwiek jest przesyłane?

Nie. Generowanie i kontrole działają w przeglądarce.

Powiązane narzędzia deweloperskie

Osadź to narzędzie na swojej stronie — za darmo

Dodaj to narzędzie do własnej strony internetowej lub bloga — jest całkowicie bezpłatne, nie wymaga rejestracji i zawsze pokazuje najnowszą wersję. Skopiuj poniższy kod i wklej go na swoją stronę tam, gdzie narzędzie ma się pojawić. Zachowanie małej linii kredytowej “Powered by Loona Automation” pod osadzeniem pomaga utrzymać to narzędzie bezpłatnym — ale możesz ją dowolnie stylować lub usunąć; narzędzie działa tak czy inaczej.