Loona Automation logóLoona Fejlesztői eszközök
Kezdőlap › Fejlesztői eszközök › Robots.txt generátor

Robots.txt generátor - Robot szabályok a szintaxiscsapdák nélkül

Röviden: a Robots.txt generátor érvényes robots.txt-t épít előbeállításokból és ügynökönkénti szabályokból - engedélyezési és tiltási útvonalak robotonként, plusz az Ön webhelytérkép sora -, és épelméjűségi ellenőrzéseket futtat az eredményen, mielőtt kiszállítaná.

Egyetlen rossz sor a robots.txt-ben elrejthet egy egész oldalt a Google elől - vagy egyáltalán nem rejt el semmit. Építse fel itt, az általános esetekre vonatkozó előbeállításokkal és a kimenet ellenőrzéseivel.

Tervezésénél fogva privát: minden ebben az eszközben 100%-ban a böngészőjében történik JavaScripttel. A bemenete soha nem töltődik fel egy szerverre, soha nem tárolódik, és soha nem látjuk - zárja be a fület, és minden eltűnik.

A Robots.txt generátor használata

  1. Válasszon egy előbeállítást, vagy induljon a Minden engedélyezése lehetőségtől, és szabja testre.
  2. Adjon hozzá egy csoportot bármely konkrét feltérképezőhöz (például GPTBot) a saját szabályaival.
  3. Sorolja fel a letiltó és engedélyező elérési utakat, soronként egyet - az elérési utak / jellel kezdődnek.
  4. Adja hozzá a webhelytérkép URL-jét, és kattintson a Generálás gombra.
  5. Futtassa végig az épelméjűségi ellenőrzési megjegyzéseket, majd helyezze a fájlt a sajatdomain.com/robots.txt helyre.

Hogyan működik

Egy robots.txt fájl csoportok halmaza: minden csoport megnevez egy vagy több user-agentet (feltérképezőt), amelyet Disallow és Allow elérési szabályok követnek, amelyek rájuk vonatkoznak. Egy üres Disallow azt jelenti, hogy minden engedélyezett; Disallow: / az egész oldalt blokkolja az adott ügynök számára. A szabályok előtag alapján illeszkednek, és a Google az Allow-t is támogatja, hogy kivételeket faragjon ki egy szélesebb Disallow-ból. Ez a generátor szabványos formátumban bocsátja ki a csoportokat, hozzáfűzi a Sitemap sort, majd épelméjűségi ellenőrzést végez a saját kimenetén: az ismeretlen mezők, a / jellel nem kezdődő útvonalak és a nem teljes URL-ekként szereplő webhelytérkép sorok mind jelzésre kerülnek. Ne feledje, a robots.txt kérés, nem zár - a jól viselkedő robotok engedelmeskednek neki, a rosszindulatúak talán nem, így soha ne hagyatkozzon rá a titkok védelmében.

Gyakran ismételt kérdések

Ingyenes ez a generátor?

Igen - teljesen ingyenes, nincs regisztráció.

Hová kerül a robots.txt?

A domainje gyökerében: https://yourdomain.com/robots.txt - sehol máshol nem olvassák.

Teljesen blokkolja a robots.txt az oldalakat a keresési eredményekből?

Ez a feltérképezést blokkolja, nem az indexelést: egy letiltott URL továbbra is megjelenhet az eredmények között (leírás nélkül), ha más oldalak hivatkoznak rá. Használjon noindex címkét, hogy egy oldalt teljesen kizárjon.

Blokkolhatom a MI feltérképezőket?

Az AI előbeállítás olyan csoportokat ad hozzá, amelyek tiltják a GPTBotot, a CCBotot és a Google-Extendedet. A szabálykövető robotok tiszteletben tartják; nem állíthatja meg azokat a kaparókat, amelyek figyelmen kívül hagyják a robots.txt-t.

Feltöltődik bármi?

Nem. A generálás és az ellenőrzések a böngészőjében futnak.

Kapcsolódó fejlesztői eszközök

Ágyazza be ezt az eszközt a webhelyére — ingyen

Adja hozzá ezt az eszközt a saját webhelyéhez vagy blogjához — teljesen ingyenes, nem kell hozzá regisztráció, és mindig a legfrissebb verziót mutatja. Másolja ki az alábbi kódot, és illessze be az oldalába oda, ahová az eszközt szeretné. Ha megtartja az apró “Powered by Loona Automation” köszönetsort a beágyazás alatt, azzal segít ingyenesen tartani ezt az eszközt — de szabadon formázhatja vagy eltávolíthatja; az eszköz így is, úgy is működik.