Loona Automationin logoLoona Kehittäjätyökalut
Etusivu › Kehittäjätyökalut › Robots.txt-generaattori

Robots.txt-generaattori - Indeksoijasäännöt ilman syntaksiansoja

Lyhyesti: Robots.txt-generaattori rakentaa kelvollisen robots.txt-tiedoston esiasetuksista ja agenttikohtaisista säännöistä – salli- ja estäpolut indeksoijaa kohden sekä sivustokarttarivisi – ja ajaa tulokselle järkevyytarkistukset ennen kuin julkaiset sen.

Yksi väärä rivi robots.txt:ssä voi piilottaa koko sivuston Googlelta - tai olla piilottamatta yhtään mitään. Rakenna se täällä, esiasetuksilla yleisiin tapauksiin ja tulosteen tarkistuksilla.

Yksityinen jo suunnittelultaan: kaikki tässä työkalussa tapahtuu 100 % selaimessasi JavaScriptillä. Syötettäsi ei koskaan lähetetä palvelimelle, sitä ei koskaan tallenneta emmekä me koskaan näe sitä – sulje välilehti, ja kaikki on poissa.

Robots.txt-generaattorin käyttö

  1. Valitse esiasetus, tai aloita kohdasta Salli kaikki ja mukauta.
  2. Lisää ryhmä mille tahansa tietylle indeksoijalle (esimerkiksi GPTBot) sen omilla säännöillä.
  3. Luettele disallow- ja allow-polut, yksi riviä kohden - polut alkavat merkillä /.
  4. Lisää sivustokarttasi URL ja napsauta Luo.
  5. Käy läpi järkevyystarkistushuomautukset ja aseta tiedosto sitten osoitteeseen yourdomain.com/robots.txt.

Miten se toimii

robots.txt-tiedosto on joukko ryhmiä: jokainen ryhmä nimeää yhden tai useamman user-agentin (indeksoijan) ja sen jälkeen Disallow- ja Allow-polkusäännöt, jotka koskevat niitä. Tyhjä Disallow tarkoittaa, että kaikki on sallittua; Disallow: / estää koko sivuston kyseiseltä agentilta. Säännöt täsmäävät etuliitteen perusteella, ja Google tukee myös Allow-sääntöjä, joilla laajemmasta Disallow-säännöstä voi rajata poikkeuksia. Tämä generaattori tuottaa ryhmät vakiomuodossa, lisää loppuun Sitemap-rivin ja tarkistaa sitten oman tulosteensa järkevyyden: tuntemattomat kentät, polut, jotka eivät ala merkillä /, sekä sivustokarttarivit, jotka eivät ole täysiä URL-osoitteita, merkitään kaikki. Muista, että robots.txt on pyyntö, ei lukko – hyväkäytöksiset indeksoijat noudattavat sitä, pahantahtoiset eivät välttämättä, joten älä koskaan luota siihen salaisuuksien suojaamisessa.

Usein kysytyt kysymykset

Onko tämä generaattori ilmainen?

Kyllä - täysin ilmainen, ei rekisteröitymistä.

Minne robots.txt menee?

Verkkotunnuksesi juuressa: https://yourdomain.com/robots.txt - muualta sitä ei lueta.

Estääkö robots.txt sivut hakutuloksista kokonaan?

Se estää indeksoinnin ryömimisen, ei indeksointia: estetty URL voi silti näkyä tuloksissa (ilman kuvausta), jos muut sivustot linkittävät siihen. Käytä noindex-tunnistetta pitääksesi sivun kokonaan poissa.

Voinko estää AI-robotit?

Tekoälyesiasetus lisää ryhmät, jotka estävät GPTBotin, CCBotin ja Google-Extendedin. Sääntöjä noudattavat indeksoijat kunnioittavat sitä; se ei voi pysäyttää kaapijoita, jotka sivuuttavat robots.txt:n.

Lähetetäänkö mitään?

Ei. Luominen ja tarkistukset toimivat selaimessasi.

Aiheeseen liittyvät kehittäjätyökalut

Upota tämä työkalu verkkosivustollesi — ilmainen

Lisää tämä työkalu omalle verkkosivustollesi tai blogiisi — se on täysin ilmainen, ei vaadi rekisteröitymistä ja näyttää aina uusimman version. Kopioi alla oleva koodi ja liitä se sivullesi kohtaan, jossa haluat työkalun näkyvän. Pienen “Powered by Loona Automation” -maininnan säilyttäminen upotuksen alla auttaa pitämään tämän työkalun ilmaisena — mutta voit vapaasti muotoilla tai poistaa sen; työkalu toimii joka tapauksessa.