לוגו Loona AutomationLoona כלי פיתוח
בית › כלי פיתוח › בודק Robots.txt

בודק Robots.txt - מותר או חסום, ובדיוק למה

בקצרה: בודק ה-Robots.txt מחיל את כללי ההתאמה האמיתיים - קבוצת ה-user-agent הספציפית ביותר, אז כלל נתיב ההתאמה הארוך ביותר, עם Allow מנצח שוויונות - ומציג את פסק הדין ובנוסף את הכלל המדויק שהחליט אותו.

קובץ robots.txt קל לכתיבה וקשה להיגיון. הבודק הזה עונה על השאלה היחידה שחשובה עבור סורק וכתובת URL נתונים.

פרטי לפי עיצוב: כל דבר בכלי הזה קורה 100% בדפדפן שלכם עם JavaScript. הקלט שלכם לעולם לא מועלה לשרת, לעולם לא מאוחסן ולעולם לא נראה על ידינו - סגרו את הלשונית והכול נעלם.

איך להשתמש בבודק Robots.txt

  1. הדביקו את תוכן ה-robots.txt שלכם.
  2. הזינו את הכתובת המלאה לבדיקה ואת שם ה-user-agent ‏(Googlebot, GPTBot, *).
  3. לחצו על בדוק את הכתובת הזו.
  4. קראו את פסק הדין ואת הכלל המתאים שייצר אותו.

איך זה עובד

ההתאמה עוקבת אחר התקן (RFC 9309, כפי ש-Google מממש אותו): קודם נבחרת קבוצת הסורק - הקבוצה המציינת את אסימון ה-user-agent המתאים הספציפי ביותר מנצחת את קבוצת ה-* - ואז, בתוך אותה קבוצה, הכלל שדפוס הנתיב שלו מתאים לנתיב הכתובת והוא הארוך ביותר מנצח; בשוויון, Allow מנצח את Disallow. דפוסים תומכים ב-* ככללי וב-$ נגרר כעוגן סוף. Disallow ריק לא מתאים לכלום, ולכן 'Disallow:' לבדו מתיר הכול.

שאלות נפוצות

האם הבודק הזה בחינם?

כן - לגמרי בחינם, בלי הרשמה.

אחר אילו כללי התאמה הוא עוקב?

‏RFC 9309 / מימוש Google: קבוצת הסוכן הספציפית ביותר, הכלל המתאים הארוך ביותר, Allow מנצח שוויונות, תמיכת תבנית * ו-$.

הכתובת שלי חסומה כאן אבל מאונדקסת ב-Google - למה?

‏Robots חוסם סריקה, לא אינדוקס. דף חסום עדיין יכול להיות מאונדקס מקישורים, מוצג בלי תיאור.

האם הוא מביא את ה-robots.txt החי שלי?

לא - הדביקו את התוכן. דפדפנים אינם יכולים להביא קבצים של אתרים שרירותיים (CORS), והדבקה גם מאפשרת לכם לבדוק טיוטה לפני פרסום.

האם משהו מועלה?

לא. הבדיקה רצה בדפדפן שלכם.

כלי מפתחים קשורים

הטמיעו את הכלי הזה באתר שלכם — בחינם

הוסיפו את הכלי הזה לאתר או לבלוג שלכם — זה לגמרי בחינם, לא צריך הרשמה, ותמיד מציג את הגרסה העדכנית ביותר. העתיקו את הקוד למטה והדביקו אותו בדף שלכם במקום שבו תרצו שהכלי יופיע. שמירת שורת הקרדיט הקטנה “Powered by Loona Automation” מתחת להטמעה עוזרת לשמור על הכלי הזה בחינם — אבל אתם חופשיים לעצב אותה או להסיר אותה; הכלי עובד בכל מקרה.