מחולל Robots.txt - כללי סורק בלי מלכודות התחביר
שורה אחת לא נכונה ב-robots.txt יכולה להסתיר אתר שלם מ-Google - או להיכשל בהסתרת שום דבר בכלל. בנו אותו כאן, עם קביעות מראש למקרים הנפוצים ובדיקות על הפלט.
איך להשתמש במחולל Robots.txt
- בחרו קביעה מראש, או התחילו מאפשר הכול והתאימו.
- הוסיפו קבוצה לסורק ספציפי כלשהו (למשל GPTBot) עם כללים משלו.
- רשמו נתיבי disallow ו-allow, אחד לשורה - נתיבים מתחילים ב-/.
- הוסיפו את כתובת מפת האתר שלכם ולחצו על צור.
- עברו על הערות בדיקת השפיות, ואז שימו את הקובץ ב-yourdomain.com/robots.txt.
איך זה עובד
קובץ robots.txt הוא קבוצה של קבוצות: כל קבוצה מציינת user-agent אחד או יותר (סורקים) ואחריהם כללי נתיבים של Disallow ו-Allow החלים עליהם. Disallow ריק פירושו שהכול מותר; Disallow: / חוסם את כל האתר לסוכן ההוא. כללים מותאמים לפי קידומת, ו-Google גם תומך ב-Allow לחציבת חריגים מתוך Disallow רחב יותר. המחולל הזה פולט קבוצות בפורמט הסטנדרטי, מוסיף את שורת מפת האתר, ואז בודק שפיות את הפלט שלו עצמו: שדות לא ידועים, נתיבים שאינם מתחילים ב-/, ושורות מפת אתר שאינן כתובות מלאות כולם מסומנים. זכרו ש-robots.txt הוא בקשה, לא מנעול - סורקים מתנהגים היטב מצייתים לו, זדוניים עשויים שלא, כך שלעולם אל תסמכו עליו להגן על סודות.
שאלות נפוצות
האם המחולל הזה בחינם?
כן - לגמרי בחינם, בלי הרשמה.
לאן robots.txt הולך?
בשורש הדומיין שלכם: https://yourdomain.com/robots.txt - בשום מקום אחר לא קוראים אותו.
האם robots.txt חוסם דפים מתוצאות חיפוש לחלוטין?
הוא חוסם סריקה, לא אינדוקס: כתובת URL חסומה עדיין יכולה להופיע בתוצאות (בלי תיאור) אם אתרים אחרים מקשרים אליה. השתמשו בתגית noindex כדי לשמור דף בחוץ לגמרי.
האם אני יכול לחסום סורקי AI?
קביעת ה-AI מראש מוסיפה קבוצות האוסרות על GPTBot, CCBot ו-Google-Extended. סורקים צייתנים מכבדים אותה; היא אינה יכולה לעצור מגרדים המתעלמים מ-robots.txt.
האם משהו מועלה?
לא. היצירה והבדיקות רצות בדפדפן שלכם.
כלי מפתחים קשורים
מחולל תגיות Meta
צרו בלוק מטא של HTML מוכן להדבקה - כותרת, תיאור, robots, קנוני - עם תצוגה מקדימה בסגנון SERP.
מחולל Open Graph וכרטיס טוויטר
בנו תגיות Open Graph ו-Twitter Card עם תצוגה מקדימה של כרטיס, כך שקישורים משותפים ייראו נכון בכל מקום.
מחולל Robots.txt
בנו robots.txt תקף עם כללי allow ו-disallow לפי סוכן ושורת מפת אתר.