Robots.txt generátor - Robot szabályok a szintaxiscsapdák nélkül
Egyetlen rossz sor a robots.txt-ben elrejthet egy egész oldalt a Google elől - vagy egyáltalán nem rejt el semmit. Építse fel itt, az általános esetekre vonatkozó előbeállításokkal és a kimenet ellenőrzéseivel.
A Robots.txt generátor használata
- Válasszon egy előbeállítást, vagy induljon a Minden engedélyezése lehetőségtől, és szabja testre.
- Adjon hozzá egy csoportot bármely konkrét feltérképezőhöz (például GPTBot) a saját szabályaival.
- Sorolja fel a letiltó és engedélyező elérési utakat, soronként egyet - az elérési utak / jellel kezdődnek.
- Adja hozzá a webhelytérkép URL-jét, és kattintson a Generálás gombra.
- Futtassa végig az épelméjűségi ellenőrzési megjegyzéseket, majd helyezze a fájlt a sajatdomain.com/robots.txt helyre.
Hogyan működik
Egy robots.txt fájl csoportok halmaza: minden csoport megnevez egy vagy több user-agentet (feltérképezőt), amelyet Disallow és Allow elérési szabályok követnek, amelyek rájuk vonatkoznak. Egy üres Disallow azt jelenti, hogy minden engedélyezett; Disallow: / az egész oldalt blokkolja az adott ügynök számára. A szabályok előtag alapján illeszkednek, és a Google az Allow-t is támogatja, hogy kivételeket faragjon ki egy szélesebb Disallow-ból. Ez a generátor szabványos formátumban bocsátja ki a csoportokat, hozzáfűzi a Sitemap sort, majd épelméjűségi ellenőrzést végez a saját kimenetén: az ismeretlen mezők, a / jellel nem kezdődő útvonalak és a nem teljes URL-ekként szereplő webhelytérkép sorok mind jelzésre kerülnek. Ne feledje, a robots.txt kérés, nem zár - a jól viselkedő robotok engedelmeskednek neki, a rosszindulatúak talán nem, így soha ne hagyatkozzon rá a titkok védelmében.
Gyakran ismételt kérdések
Ingyenes ez a generátor?
Igen - teljesen ingyenes, nincs regisztráció.
Hová kerül a robots.txt?
A domainje gyökerében: https://yourdomain.com/robots.txt - sehol máshol nem olvassák.
Teljesen blokkolja a robots.txt az oldalakat a keresési eredményekből?
Ez a feltérképezést blokkolja, nem az indexelést: egy letiltott URL továbbra is megjelenhet az eredmények között (leírás nélkül), ha más oldalak hivatkoznak rá. Használjon noindex címkét, hogy egy oldalt teljesen kizárjon.
Blokkolhatom a MI feltérképezőket?
Az AI előbeállítás olyan csoportokat ad hozzá, amelyek tiltják a GPTBotot, a CCBotot és a Google-Extendedet. A szabálykövető robotok tiszteletben tartják; nem állíthatja meg azokat a kaparókat, amelyek figyelmen kívül hagyják a robots.txt-t.
Feltöltődik bármi?
Nem. A generálás és az ellenőrzések a böngészőjében futnak.
Kapcsolódó fejlesztői eszközök
Metacímke-generátor
Generáljon beillesztésre kész HTML meta blokkot - cím, leírás, robots, kanonikus - SERP-stílusú előnézettel.
Open Graph és Twitter Card generátor
Építsen Open Graph és Twitter Card címkéket kártya előnézettel, hogy a megosztott linkek mindenhol jól nézzenek ki.
Robots.txt generátor
Építsen érvényes robots.txt fájlt agentenkénti engedélyezési és tiltási szabályokkal és egy webhelytérkép sorral.