מזהה סורק
המחרוזת שהסורק מציג בכל בקשה, וגם השם שכותבים מולו ב-robots.txt.
קובץ robots.txt
robots.txt
קובץ טקסט בשורש הדומיין שמצהיר לאילו סורקים מותר למשוך אילו נתיבים. הוא הצהרה מרצון ולא מנגנון אכיפה, והוא לא מסתיר תוכן ולא מוחק אותו ממי שכבר שמר. ראו הצד הטכני של הנראות.
עודכן:
קובץ טקסט אחד, בשורש, וזהו
robots.txt הוא קובץ טקסט פשוט שיושב בשורש הדומיין ומצהיר לאילו סורקים מותר למשוך אילו נתיבים. אין בו קסם. הוא נכתב בשורות, כל שורה היא מילת מפתח ואחריה נקודתיים וערך, והוא נקרא מלמעלה למטה בקבוצות.
הקובץ נקרא רק מהשורש המדויק של המארח. קובץ בתיקייה פנימית לא קיים מבחינת הסורק, וקובץ של הדומיין הראשי לא חל על תת-דומיין. אתר שהעביר את הבלוג לתת-דומיין ושכח להעתיק לשם קובץ הוא מקרה שחוזר על עצמו, ולרוב הוא מתגלה רק כשמשהו מפסיק להופיע.
חשוב להבחין בין מה שהקובץ עושה למה שמייחסים לו: הוא מנהל גישה, לא הצגה. הוא לא מוחק עמוד מהאינדקס, לא מסתיר מידע מבני אדם, ולא מבטל מה שכבר נאסף בעבר.
כלל אחד שמונע את רוב התקלות
סורק קורא בקובץ הזה בלוק אחד, לא את כולו. הוא מחפש את הבלוק שנושא את שמו, ואם מצא אותו הוא מתעלם מכל השאר, כולל מהבלוק הכללי של הכוכבית. אין ירושה ואין הצטברות.
המסקנה המעשית חדה: אם כתבתם ל-Googlebot בלוק שאוסר תיקייה אחת, ותחת הכוכבית חסמתם עשר תיקיות, גוגלבוט יסרוק את כל התשע הנותרות. מי שרוצה שכלל יחול גם על סורק ששמו מופיע בקובץ, חייב לחזור עליו בתוך הבלוק שלו.
בתוך בלוק בודד, סדר השורות לא קובע. מה שקובע הוא אורך הנתיב: הכלל הספציפי יותר מנצח. לכן אפשר לחסום תיקייה שלמה ולפתוח בתוכה תת-תיקייה אחת, ואם שני נתיבים שווים באורכם ההכרעה נוטה למתירני.
הצהרה מרצון, לא מנעול
הקובץ הזה נשען על הסכמה. סורק מכובד קורא אותו ומציית, וסורק שלא רוצה פשוט מתעלם. אין מנגנון אכיפה ואין קנס, ולכן מי שרוצה למנוע גישה באמת צריך סיסמה, חוק בשכבת ההגנה, או תוכן שלא מוגש בכלל.
לפי התיעוד של OpenAI, סורק שמופעל בבקשה מפורשת של משתמש עשוי שלא לכבד את הקובץ, בדיוק כי הוא לא סריקה אוטומטית אלא שליחות של אדם. זו הבחנה שהרבה אנשים מופתעים ממנה.
מה קורה כשהקובץ עצמו נשבר
זה החלק שכמעט אף אחד לא בודק, והוא משנה התנהגות לגמרי. קובץ שמחזיר 404 נחשב כאילו אין חסימות בכלל, וזה מצב תקין. קובץ שמחזיר שגיאת שרת הוא הסיפור המסוכן: גוגל מתעדת שהיא מתייחסת ל-5xx כאילו האתר כולו חסום, ורק אם התקלה נמשכת היא נופלת חזרה לעותק שמור. התנהגות סורקי ה-AI במצב הזה אינה מתועדת, ולכן אי אפשר להניח שהיא זהה.
הגרוע מכולם הוא קובץ שמחזיר 200 עם עמוד HTML מעוצב, מה שקורה במערכות שמגישות עמוד שגיאה יפה לכל כתובת שלא נמצאה. זו אחת השורות בבדיקות הפתיחה שאנחנו מריצים על אתר. הסורק מקבל תגיות במקום הוראות, לא מוצא שורות חוקיות, ומתנהג לפי מה שהצליח לפרש. הקובץ נראה קיים, ובפועל הוא ריק.
יש גם גבול גודל. גוגל קוראת עד חצי מגה-בייט ומתעלמת ממה שמעבר, וקובץ שנבנה אוטומטית ומייצר שורה לכל כתובת מגיע לשם בקלות. החלק החשוב, אם הוא בסוף, נחתך בשקט.
הסתירה שהכי כדאי להכיר
עמוד שחסום בקובץ הזה לא נקרא, ולכן תגית noindex שיושבת בתוכו לא נראית לעולם. מי שרוצה להוציא עמוד מהאינדקס באמת צריך לעשות את ההפך ממה שנדמה לו: להשאיר אותו פתוח לסריקה, עם noindex בפנים.
ההפך גם הוא נכון: עמוד חסום שיש אליו קישורים מבחוץ יכול להופיע בכל זאת בתוצאות, בלי תיאור, כי המנוע יודע שהוא קיים ולא יודע מה יש בו.
איך זה נראה בפועל
תרחיש מומצא: מרפאת שיניים בתל אביב עם אתר על וורדפרס. לפני שנתיים מפתח שכבר לא עובד איתם הוסיף שורה שחוסמת נתיב אחד שהתחיל בלוכסן והמילה blog, בלי לוכסן בסוף, כי רצה להחביא ארכיון ישן שישב שם.
מה שקרה בפועל: בלי לוכסן סוגר, השורה היא התאמת תחילית ולא תיקייה. כשהמרפאה בנתה אחר כך מדור חדש בכתובת שמתחילה באותן אותיות, כל עמודי המדור נחסמו יחד עם הארכיון. שם יושבים היום עמודי ההסבר על הטיפולים, בדיוק התוכן שעונה על שאלות כמו "האם כתר זירקוניה מתאים לשן קדמית".
התסמין בצד של המרפאה: העמודים האלה לא מקבלים תנועה, לא מופיעים כמקור בתשובות של מנועי AI, ובסרץ' קונסול מסומנים כחסומים. אף אחד לא הסתכל שם, כי בעמוד הבית הכול נראה תקין. התיקון היה מחיקת שורה אחת והוספת אחרת מדויקת, עם הערה שמסבירה מה נחסם ולמה, ועם התאריך.
זוויות שונות
לחנות מקוונת
כאן הפיתוי הוא לחסום גורף כל כתובת עם סימן שאלה, כדי לנקות פרמטרים של סינון. זו פעולה מסוכנת: אם חלק מהתוכן שלכם מוגש דרך פרמטרים, סינון קטגוריה או עמודי המשך, חסמתם אותו כולו. בנוסף, כלל כזה יכול לגעת גם בפרמטר המקור שמנועים מוסיפים לקישור שהם מציגים, וזה בדיוק מה שאתם מנסים למדוד.
לעסק שירותים קטן
רוב האתרים האלה לא צריכים בקובץ הזה כלום מלבד ברירת המחדל וקישור למפת האתר. אם התוכן שלכם כולו נועד להימצא, הקובץ הנכון הוא קובץ כמעט ריק, וכל שורה שנוספה בו בעבר ראויה להסבר.
לאתר דו-לשוני
כשגרסה אחת יושבת על תת-דומיין נפרד, היא צריכה קובץ משלה. הקובץ של הדומיין הראשי לא חל עליה, ולכן מצב שבו הגרסה העברית פתוחה והאנגלית חסומה, או ההפך, הוא לא נדיר. שווה לבדוק את שני הקבצים בנפרד.
מה זה אומר בפועל
קראו את הקובץ מהדפדפן ולא מהעורך שבמערכת, כי לפעמים מוגש משהו אחר ממה שכתבתם. עברו על כל שורה ושאלו מי כתב אותה ולמה, ואת מה שאין לו תשובה סמנו לבדיקה. ודאו שסורקי החיפוש לא נגררו לחסימה גורפת, ושמפת האתר מוצהרת בקובץ. ליד כל חסימה שהיא החלטה ולא ברירת מחדל, כתבו הערה עם סולמית, תאריך וסיבה בשתי מילים. זו העבודה הכי משעממת בעמוד הזה והיא זו שחוסכת חצי יום בעוד שנה.
איך בודקים את זה לבד
- פתחו בדפדפן את כתובת האתר עם התוספת robots.txt וקראו את כל הקובץ, לא רק את ההתחלה.
- ודאו שהתשובה היא באמת טקסט ולא עמוד HTML מעוצב: אם אתם רואים עיצוב, תפריט או לוגו, הקובץ שבור ומה שכתוב בו לא נקרא.
- חפשו שורות Disallow עם לוכסן בודד, ובדקו תחת איזה User-agent הן יושבות.
- בדקו כתובת אמיתית מכל סוג תוכן שחשוב לכם, לא רק את עמוד הבית: עמוד שירות, עמוד מאמר, עמוד קטגוריה עם פרמטרים.
- בסרץ' קונסול יש בדיקה של הקובץ שמראה איך גוגל קוראת אותו בפועל. לסורקי AI אין כלי מקביל, ולכן האימות היחיד הוא חיפוש בלוגים כמה ימים אחרי השינוי.
- אם יש לכם תת-דומיין, חזרו על כל הבדיקה עליו בנפרד.
המלכודת
המלכודת המרכזית היא לחשוב שהקובץ הזה מסתיר דברים. הוא ציבורי לגמרי, כל אחד יכול לקרוא אותו, ורשימת תיקיות רגישות שנחסמו בו היא בעצם מפה למי שמחפש אותן. מלכודת שנייה, שקטה יותר: שורת Disallow בלי ערך פירושה "אל תחסום כלום", ואילו אותה שורה עם לוכסן בודד חוסמת את כל האתר. תו אחד מפריד בין השניים. שלישית, שורה ריקה היא סימן פיסוק: היא מסיימת בלוק, ומי שהוסיף רווח "כדי שיהיה מסודר" בין שורת השם לשורות ההרשאה יצר ראש בלי גוף.
מתי זה לא רלוונטי לכם
אם אתם על מערכת סגורה שלא נותנת לגעת בקובץ, ואין לכם שום תוכן שאתם רוצים להסתיר, אין כאן עבודה. הבדיקה עדיין שווה חמש דקות, כי מערכות מוסיפות לפעמים חסימות ברירת מחדל של תיקיות שלמות בלי לשאול. מה שכן מיותר הוא לשכתב את הקובץ כדי "לשפר ביצועים": אין בו שום מנגנון שמשפיע על דירוג או על בחירה בתשובה.
שאלות נפוצות
חסמתי סורק ועדיין רואים אותי בתשובות. למה?
כמה אפשרויות, וכולן סבירות: התוכן נאסף לפני החסימה, המידע עליכם מגיע ממקור אחר שמצטט אתכם, או שהסורק הספציפי לא כיבד את הקובץ. חסימה מונעת קריאה חדשה, לא מוחקת מה שכבר ידוע.
אפשר להוציא עמוד מגוגל דרך הקובץ?
לא. להפך: עמוד חסום שיש אליו קישורים עלול להופיע בלי תיאור. ההוצאה מהאינדקס נעשית בתגית noindex בעמוד עצמו, והעמוד חייב להישאר פתוח לסריקה כדי שהתגית תיקרא.
יש בקובץ שלי שורת Noindex. היא עובדת?
לא. ההוראה הזו נתמכה בעבר על ידי גוגל באופן לא רשמי ובוטלה. היום זו שורה חסרת משמעות שיושבת שם ומבלבלת את מי שקורא.
Crawl-delay מאט סורקי AI?
היא אינה חלק מהתקן. גוגל מתעלמת ממנה, חלק מהסורקים האחרים מכבדים אותה, ואין דרך לדעת מבחוץ מי עושה מה. אם התקנתם אותה בתקווה להאט עומס, אל תניחו שהיא פועלת.
llms.txt מחליף אותו?
לא, אלה שני דברים שונים. robots.txt מנהל הרשאות גישה ונקרא על ידי כולם. llms.txt הוא תקן מוצע שמסכם למודלים מה יש באתר, ואף מנוע לא התחייב לקרוא אותו.
מונחים קשורים
סורק
תוכנה שמושכת עמודים מהאתר בשביל מנוע חיפוש או מנוע AI.
תגית noindex
הוראה ברמת העמוד שאומרת למנוע לא לשמור אותו באינדקס.
מפת אתר
קובץ XML שמפרט את הכתובות שאתם רוצים שייסרקו ואת מועד העדכון האחרון של כל אחת.
קובץ llms.txt
קובץ טקסט בשורש האתר שמסכם למודלים מה יש באתר ואיפה.
להרחבה
הערך נבדק מול המקורות הרשמיים של הפלטפורמות. כשמשהו אינו ידוע, כתוב כאן שהוא אינו ידוע. שינויים מתועדים בארכיון העדכונים.
בואו נדבר.
בלי מצגת, בלי התחייבות ובלי שיחת מכירה. עשרים דקות שבסופן תדעו אם יש כאן משהו בשבילכם.
- מה המוצר ומי הלקוח שלכם
- איך נמדדת אצלכם המרה היום
- מאיזה תקציב זה מתחיל להיות הגיוני
לא בקטע של טפסים? [email protected]