Kijaribu cha Robots.txt - Imeruhusiwa au Imezuiwa, na Kwa Nini Hasa
Faili ya robots.txt ni rahisi kuandika na ngumu kufikiria. Kijaribu hiki hujibu swali pekee muhimu kwa kitambazi na URL iliyopewa.
Jinsi ya kutumia Kijaribu cha Robots.txt
- Bandika yaliyomo ya robots.txt yako.
- Weka URL kamili ya kujaribu na jina la user-agent (Googlebot, GPTBot, *).
- Bofya Jaribu URL hii.
- Soma uamuzi na kanuni inayolingana iliyouzalisha.
Jinsi inavyofanya kazi
Ulinganishaji hufuata kiwango (RFC 9309, kama Google inavyokitekeleza): kwanza kundi la kitambaji huchaguliwa - kundi linalotaja tokeni ya user-agent inayolingana mahususi zaidi hushinda kundi la * - kisha, ndani ya kundi hilo, kanuni ambayo ruwaza yake ya njia hulingana na njia ya URL na ni ndefu zaidi hushinda; kwa sare, Allow hushinda Disallow. Ruwaza huunga mkono * kama wildcard na $ ya mwisho kama nanga ya mwisho. Disallow tupu hailingani na chochote, ndiyo maana 'Disallow:' peke yake huruhusu kila kitu.
Maswali Yanayoulizwa Mara kwa Mara
Je, kijaribu hiki ni bure?
Ndiyo - bure kabisa, bila kujisajili.
Hufuata kanuni zipi za ulinganishaji?
Utekelezaji wa RFC 9309 / Google: kundi la wakala mahususi zaidi, kanuni ndefu zaidi inayolingana, Allow hushinda sare, usaidizi wa ruwaza za * na $.
URL yangu imezuiwa hapa lakini imeorodheshwa katika Google - kwa nini?
Robots huzuia kutambaa, si kuorodhesha. Ukurasa uliozuiwa bado unaweza kuorodheshwa kutoka viungo, ukaonyeshwa bila maelezo.
Je, huchota robots.txt yangu ya moja kwa moja?
Hapana - bandika maudhui. Vivinjari haviwezi kuchota faili za tovuti holela (CORS), na kubandika pia hukuruhusu kujaribu rasimu kabla ya kuichapisha.
Je, chochote hupakiwa?
Hapana. Ujaribuji huendeshwa kwenye kivinjari chako.