Kizalishaji cha Robots.txt - Kanuni za Vitambaji Bila Mitego ya Sintaksia
Mstari mmoja mbaya katika robots.txt unaweza kuficha tovuti nzima kutoka Google - au kushindwa kuficha chochote kabisa. Ijenga hapa, kwa mipangilio tayari ya kesi za kawaida na ukaguzi wa tokeo.
Jinsi ya kutumia Kizalishaji cha Robots.txt
- Chagua mpangilio tayari, au anza kutoka Ruhusu kila kitu na ubinafsishe.
- Ongeza kundi kwa kitambazi chochote maalum (kwa mfano GPTBot) lenye kanuni zake.
- Orodhesha njia za katazo na ruhusa, moja kwa kila mstari - njia huanza na /.
- Ongeza URL ya ramani ya tovuti yako na ubofye Zalisha.
- Pitia dokezo za ukaguzi wa akili, kisha uweke faili kwenye yourdomain.com/robots.txt.
Jinsi inavyofanya kazi
Faili ya robots.txt ni seti ya vikundi: kila kundi hutaja user-agent mmoja au zaidi (vitambazi) ikifuatiwa na kanuni za njia za Disallow na Allow zinazowahusu. Disallow tupu ina maana kila kitu kinaruhusiwa; Disallow: / huzuia tovuti nzima kwa wakala huyo. Kanuni hulinganishwa kwa kiambishi awali, na Google pia huunga mkono Allow kuchonga ubaguzi kutoka Disallow pana zaidi. Kizalishaji hiki hutoa vikundi kwa muundo wa kawaida, huongeza mstari wa Sitemap, na kisha hukagua tokeo lake lenyewe: sehemu zisizojulikana, njia zisizoanza na /, na mistari ya ramani ya tovuti ambayo si URL kamili vyote huwekwa alama. Kumbuka robots.txt ni ombi, si kufuli - vitambaji vinavyofanya vyema huiheshimu, hatari vinaweza visiiheshimu, kwa hivyo kamwe usiitegemee kulinda siri.
Maswali Yanayoulizwa Mara kwa Mara
Je, kizalishaji hiki ni bure?
Ndiyo - bure kabisa, bila kujisajili.
robots.txt huenda wapi?
Kwenye mzizi wa kikoa chako: https://yourdomain.com/robots.txt - hakuna mahali pengine panaposomwa.
Je, robots.txt huzuia kurasa kutoka matokeo ya utafutaji kabisa?
Huzuia kutambaa, si kuorodhesha: URL iliyozuiwa bado inaweza kutokea katika matokeo (bila maelezo) ikiwa tovuti nyingine huunganisha nayo. Tumia tegi ya noindex kuweka ukurasa nje kabisa.
Je, ninaweza kuzuia vitambazi vya AI?
Mpangilio tayari wa AI huongeza vikundi vinavyokataza GPTBot, CCBot na Google-Extended. Vitambaji vinavyotii huiheshimu; haiwezi kuzuia wachotaji wanaopuuza robots.txt.
Je, chochote hupakiwa?
Hapana. Uzalishaji na ukaguzi huendeshwa kwenye kivinjari chako.
Zana Husika za Wasanidi Programu
Kizalishaji cha Tegi za Meta
Zalisha kizuizi cha meta cha HTML tayari kubandikwa - kichwa, maelezo, robots, canonical - kwa onyesho la awali la mtindo wa SERP.
Kizalishaji cha Open Graph na Twitter Card
Jenga tegi za Open Graph na Kadi za Twitter na onyesho la awali la kadi, ili viungo vilivyoshirikiwa vionekane vizuri kila mahali.
Kizalishaji cha Robots.txt
Jenga robots.txt sahihi yenye kanuni za kuruhusu na kuzuia za kila wakala na mstari wa ramani ya tovuti.