לוגו Loona AutomationLoona כלי פיתוח
בית › כלי פיתוח › מחולל Robots.txt

מחולל Robots.txt - כללי סורק בלי מלכודות התחביר

בקצרה: מחולל ה-Robots.txt בונה robots.txt תקף מקביעות מראש וכללים לפי סוכן - נתיבי allow ו-disallow לכל סורק, ובנוסף שורת מפת האתר שלכם - ומריץ בדיקות שפיות על התוצאה לפני שאתם שולחים אותה.

שורה אחת לא נכונה ב-robots.txt יכולה להסתיר אתר שלם מ-Google - או להיכשל בהסתרת שום דבר בכלל. בנו אותו כאן, עם קביעות מראש למקרים הנפוצים ובדיקות על הפלט.

פרטי לפי עיצוב: כל דבר בכלי הזה קורה 100% בדפדפן שלכם עם JavaScript. הקלט שלכם לעולם לא מועלה לשרת, לעולם לא מאוחסן ולעולם לא נראה על ידינו - סגרו את הלשונית והכול נעלם.

איך להשתמש במחולל Robots.txt

  1. בחרו קביעה מראש, או התחילו מאפשר הכול והתאימו.
  2. הוסיפו קבוצה לסורק ספציפי כלשהו (למשל GPTBot) עם כללים משלו.
  3. רשמו נתיבי disallow ו-allow, אחד לשורה - נתיבים מתחילים ב-/.
  4. הוסיפו את כתובת מפת האתר שלכם ולחצו על צור.
  5. עברו על הערות בדיקת השפיות, ואז שימו את הקובץ ב-yourdomain.com/robots.txt.

איך זה עובד

קובץ robots.txt הוא קבוצה של קבוצות: כל קבוצה מציינת user-agent אחד או יותר (סורקים) ואחריהם כללי נתיבים של Disallow ו-Allow החלים עליהם. Disallow ריק פירושו שהכול מותר; Disallow: / חוסם את כל האתר לסוכן ההוא. כללים מותאמים לפי קידומת, ו-Google גם תומך ב-Allow לחציבת חריגים מתוך Disallow רחב יותר. המחולל הזה פולט קבוצות בפורמט הסטנדרטי, מוסיף את שורת מפת האתר, ואז בודק שפיות את הפלט שלו עצמו: שדות לא ידועים, נתיבים שאינם מתחילים ב-/, ושורות מפת אתר שאינן כתובות מלאות כולם מסומנים. זכרו ש-robots.txt הוא בקשה, לא מנעול - סורקים מתנהגים היטב מצייתים לו, זדוניים עשויים שלא, כך שלעולם אל תסמכו עליו להגן על סודות.

שאלות נפוצות

האם המחולל הזה בחינם?

כן - לגמרי בחינם, בלי הרשמה.

לאן robots.txt הולך?

בשורש הדומיין שלכם: https://yourdomain.com/robots.txt - בשום מקום אחר לא קוראים אותו.

האם robots.txt חוסם דפים מתוצאות חיפוש לחלוטין?

הוא חוסם סריקה, לא אינדוקס: כתובת URL חסומה עדיין יכולה להופיע בתוצאות (בלי תיאור) אם אתרים אחרים מקשרים אליה. השתמשו בתגית noindex כדי לשמור דף בחוץ לגמרי.

האם אני יכול לחסום סורקי AI?

קביעת ה-AI מראש מוסיפה קבוצות האוסרות על GPTBot, ‏CCBot ו-Google-Extended. סורקים צייתנים מכבדים אותה; היא אינה יכולה לעצור מגרדים המתעלמים מ-robots.txt.

האם משהו מועלה?

לא. היצירה והבדיקות רצות בדפדפן שלכם.

כלי מפתחים קשורים

הטמיעו את הכלי הזה באתר שלכם — בחינם

הוסיפו את הכלי הזה לאתר או לבלוג שלכם — זה לגמרי בחינם, לא צריך הרשמה, ותמיד מציג את הגרסה העדכנית ביותר. העתיקו את הקוד למטה והדביקו אותו בדף שלכם במקום שבו תרצו שהכלי יופיע. שמירת שורת הקרדיט הקטנה “Powered by Loona Automation” מתחת להטמעה עוזרת לשמור על הכלי הזה בחינם — אבל אתם חופשיים לעצב אותה או להסיר אותה; הכלי עובד בכל מקרה.