Robots.txt-generaattori - Indeksoijasäännöt ilman syntaksiansoja
Yksi väärä rivi robots.txt:ssä voi piilottaa koko sivuston Googlelta - tai olla piilottamatta yhtään mitään. Rakenna se täällä, esiasetuksilla yleisiin tapauksiin ja tulosteen tarkistuksilla.
Robots.txt-generaattorin käyttö
- Valitse esiasetus, tai aloita kohdasta Salli kaikki ja mukauta.
- Lisää ryhmä mille tahansa tietylle indeksoijalle (esimerkiksi GPTBot) sen omilla säännöillä.
- Luettele disallow- ja allow-polut, yksi riviä kohden - polut alkavat merkillä /.
- Lisää sivustokarttasi URL ja napsauta Luo.
- Käy läpi järkevyystarkistushuomautukset ja aseta tiedosto sitten osoitteeseen yourdomain.com/robots.txt.
Miten se toimii
robots.txt-tiedosto on joukko ryhmiä: jokainen ryhmä nimeää yhden tai useamman user-agentin (indeksoijan) ja sen jälkeen Disallow- ja Allow-polkusäännöt, jotka koskevat niitä. Tyhjä Disallow tarkoittaa, että kaikki on sallittua; Disallow: / estää koko sivuston kyseiseltä agentilta. Säännöt täsmäävät etuliitteen perusteella, ja Google tukee myös Allow-sääntöjä, joilla laajemmasta Disallow-säännöstä voi rajata poikkeuksia. Tämä generaattori tuottaa ryhmät vakiomuodossa, lisää loppuun Sitemap-rivin ja tarkistaa sitten oman tulosteensa järkevyyden: tuntemattomat kentät, polut, jotka eivät ala merkillä /, sekä sivustokarttarivit, jotka eivät ole täysiä URL-osoitteita, merkitään kaikki. Muista, että robots.txt on pyyntö, ei lukko – hyväkäytöksiset indeksoijat noudattavat sitä, pahantahtoiset eivät välttämättä, joten älä koskaan luota siihen salaisuuksien suojaamisessa.
Usein kysytyt kysymykset
Onko tämä generaattori ilmainen?
Kyllä - täysin ilmainen, ei rekisteröitymistä.
Minne robots.txt menee?
Verkkotunnuksesi juuressa: https://yourdomain.com/robots.txt - muualta sitä ei lueta.
Estääkö robots.txt sivut hakutuloksista kokonaan?
Se estää indeksoinnin ryömimisen, ei indeksointia: estetty URL voi silti näkyä tuloksissa (ilman kuvausta), jos muut sivustot linkittävät siihen. Käytä noindex-tunnistetta pitääksesi sivun kokonaan poissa.
Voinko estää AI-robotit?
Tekoälyesiasetus lisää ryhmät, jotka estävät GPTBotin, CCBotin ja Google-Extendedin. Sääntöjä noudattavat indeksoijat kunnioittavat sitä; se ei voi pysäyttää kaapijoita, jotka sivuuttavat robots.txt:n.
Lähetetäänkö mitään?
Ei. Luominen ja tarkistukset toimivat selaimessasi.
Aiheeseen liittyvät kehittäjätyökalut
Meta-tunnistegeneraattori
Luo valmis liitettävä HTML-meta-lohko - otsikko, kuvaus, robots, canonical - SERP-tyylisellä esikatselulla.
Open Graph- ja Twitter Card -generaattori
Rakenna Open Graph- ja Twitter Card -tagit korttiesikatselulla, jotta jaetut linkit näyttävät oikeilta kaikkialla.
Robots.txt-generaattori
Rakenna kelvollinen robots.txt agenttikohtaisilla salli- ja estä-säännöillä ja sivukarttarivillä.