בודק Robots.txt - מותר או חסום, ובדיוק למה
קובץ robots.txt קל לכתיבה וקשה להיגיון. הבודק הזה עונה על השאלה היחידה שחשובה עבור סורק וכתובת URL נתונים.
איך להשתמש בבודק Robots.txt
- הדביקו את תוכן ה-robots.txt שלכם.
- הזינו את הכתובת המלאה לבדיקה ואת שם ה-user-agent (Googlebot, GPTBot, *).
- לחצו על בדוק את הכתובת הזו.
- קראו את פסק הדין ואת הכלל המתאים שייצר אותו.
איך זה עובד
ההתאמה עוקבת אחר התקן (RFC 9309, כפי ש-Google מממש אותו): קודם נבחרת קבוצת הסורק - הקבוצה המציינת את אסימון ה-user-agent המתאים הספציפי ביותר מנצחת את קבוצת ה-* - ואז, בתוך אותה קבוצה, הכלל שדפוס הנתיב שלו מתאים לנתיב הכתובת והוא הארוך ביותר מנצח; בשוויון, Allow מנצח את Disallow. דפוסים תומכים ב-* ככללי וב-$ נגרר כעוגן סוף. Disallow ריק לא מתאים לכלום, ולכן 'Disallow:' לבדו מתיר הכול.
שאלות נפוצות
האם הבודק הזה בחינם?
כן - לגמרי בחינם, בלי הרשמה.
אחר אילו כללי התאמה הוא עוקב?
RFC 9309 / מימוש Google: קבוצת הסוכן הספציפית ביותר, הכלל המתאים הארוך ביותר, Allow מנצח שוויונות, תמיכת תבנית * ו-$.
הכתובת שלי חסומה כאן אבל מאונדקסת ב-Google - למה?
Robots חוסם סריקה, לא אינדוקס. דף חסום עדיין יכול להיות מאונדקס מקישורים, מוצג בלי תיאור.
האם הוא מביא את ה-robots.txt החי שלי?
לא - הדביקו את התוכן. דפדפנים אינם יכולים להביא קבצים של אתרים שרירותיים (CORS), והדבקה גם מאפשרת לכם לבדוק טיוטה לפני פרסום.
האם משהו מועלה?
לא. הבדיקה רצה בדפדפן שלכם.