Nembo ya Loona AutomationLoona Zana za Wasanidi Programu
Nyumbani › Zana za Wasanidi Programu › Kizalishaji cha Robots.txt

Kizalishaji cha Robots.txt - Kanuni za Vitambaji Bila Mitego ya Sintaksia

Kwa ufupi: Kizalishaji cha Robots.txt hujenga robots.txt halali kutoka mipangilio tayari na kanuni za kila wakala - ruhusu na kataza njia kwa kila kitambaji, pamoja na mstari wako wa ramani ya tovuti - na huendesha ukaguzi wa afya kwenye tokeo kabla ya kuisafirisha.

Mstari mmoja mbaya katika robots.txt unaweza kuficha tovuti nzima kutoka Google - au kushindwa kuficha chochote kabisa. Ijenga hapa, kwa mipangilio tayari ya kesi za kawaida na ukaguzi wa tokeo.

Faragha kwa muundo: kila kitu katika zana hii hutokea 100% kwenye kivinjari chako kwa JavaScript. Ingizo lako kamwe halipakiwi kwenye seva, kamwe halihifadhiwi na kamwe hatulioni - funga kichupo na kila kitu kimeondoka.

Jinsi ya kutumia Kizalishaji cha Robots.txt

  1. Chagua mpangilio tayari, au anza kutoka Ruhusu kila kitu na ubinafsishe.
  2. Ongeza kundi kwa kitambazi chochote maalum (kwa mfano GPTBot) lenye kanuni zake.
  3. Orodhesha njia za katazo na ruhusa, moja kwa kila mstari - njia huanza na /.
  4. Ongeza URL ya ramani ya tovuti yako na ubofye Zalisha.
  5. Pitia dokezo za ukaguzi wa akili, kisha uweke faili kwenye yourdomain.com/robots.txt.

Jinsi inavyofanya kazi

Faili ya robots.txt ni seti ya vikundi: kila kundi hutaja user-agent mmoja au zaidi (vitambazi) ikifuatiwa na kanuni za njia za Disallow na Allow zinazowahusu. Disallow tupu ina maana kila kitu kinaruhusiwa; Disallow: / huzuia tovuti nzima kwa wakala huyo. Kanuni hulinganishwa kwa kiambishi awali, na Google pia huunga mkono Allow kuchonga ubaguzi kutoka Disallow pana zaidi. Kizalishaji hiki hutoa vikundi kwa muundo wa kawaida, huongeza mstari wa Sitemap, na kisha hukagua tokeo lake lenyewe: sehemu zisizojulikana, njia zisizoanza na /, na mistari ya ramani ya tovuti ambayo si URL kamili vyote huwekwa alama. Kumbuka robots.txt ni ombi, si kufuli - vitambaji vinavyofanya vyema huiheshimu, hatari vinaweza visiiheshimu, kwa hivyo kamwe usiitegemee kulinda siri.

Maswali Yanayoulizwa Mara kwa Mara

Je, kizalishaji hiki ni bure?

Ndiyo - bure kabisa, bila kujisajili.

robots.txt huenda wapi?

Kwenye mzizi wa kikoa chako: https://yourdomain.com/robots.txt - hakuna mahali pengine panaposomwa.

Je, robots.txt huzuia kurasa kutoka matokeo ya utafutaji kabisa?

Huzuia kutambaa, si kuorodhesha: URL iliyozuiwa bado inaweza kutokea katika matokeo (bila maelezo) ikiwa tovuti nyingine huunganisha nayo. Tumia tegi ya noindex kuweka ukurasa nje kabisa.

Je, ninaweza kuzuia vitambazi vya AI?

Mpangilio tayari wa AI huongeza vikundi vinavyokataza GPTBot, CCBot na Google-Extended. Vitambaji vinavyotii huiheshimu; haiwezi kuzuia wachotaji wanaopuuza robots.txt.

Je, chochote hupakiwa?

Hapana. Uzalishaji na ukaguzi huendeshwa kwenye kivinjari chako.

Zana Husika za Wasanidi Programu

Pachika zana hii kwenye tovuti yako — bure

Ongeza zana hii kwenye tovuti au blogu yako mwenyewe — ni bure kabisa, haihitaji kujisajili, na huonyesha toleo jipya zaidi kila wakati. Nakili msimbo ulio hapa chini na ubandike kwenye ukurasa wako mahali unapotaka zana ionekane. Kuweka mstari mdogo wa sifa “Powered by Loona Automation” chini ya kipachiko husaidia kuweka zana hii bure — lakini uko huru kuupamba au kuuondoa; zana hufanya kazi kwa vyovyote vile.