קובץ robots.txt
קובץ טקסט בשורש הדומיין שמצהיר לאילו סורקים מותר למשוך אילו נתיבים.
תגית noindex
noindex
הוראה ברמת העמוד שאומרת למנוע לא לשמור אותו באינדקס. בניגוד ל-robots.txt היא נאכפת בפועל אצל המנועים הגדולים, אבל רק אם הסורק הורשה לגשת לעמוד ולראות אותה.
עודכן:
הוראה ברמת העמוד, ואיפה כותבים אותה
noindex היא הוראה שאומרת למנוע: סרוק אותי אם תרצה, רק אל תשמור אותי במאגר. היא נכתבת באחד משני מקומות. הראשון הוא תגית מטא בראש קוד ה-HTML של העמוד, והשני הוא כותרת HTTP שנקראת X-Robots-Tag, שמתאימה גם לקבצים שאין בהם HTML, למשל PDF או תמונה.
בניגוד ל-robots.txt, שהוא בקשה ברמת הנתיב, זו הוראה ברמת המסמך היחיד. המנועים הגדולים אוכפים אותה בפועל, וזה ההבדל המעשי המרכזי בין שני הכלים.
מה שלא ידוע, ואין טעם להעמיד פנים שכן: אם ובאיזו מידה סורקי החיפוש של מנועי ה-AI מכבדים את ההוראה הזו לצרכים שלהם. התיעוד שלהם מדבר בעיקר על robots.txt. ההנחה הסבירה היא שעמוד שאינו נשמר במאגר חיפוש גם לא יישלף לתשובה, אבל זו מסקנה ולא הצהרה מאומתת.
הסתירה שהופכת את ההוראה לחסרת תועלת
כדי שההוראה תיקרא, צריך שהעמוד ייקרא. עמוד שחסום ב-robots.txt לא נמשך בכלל, ולכן התגית שבתוכו לא נראית לעולם. מי שרוצה באמת להוציא עמוד מהמאגר חייב לעשות את ההפך ממה שנדמה לו: להשאיר את הנתיב פתוח לסריקה, ולשים את ההוראה בפנים.
הנקודה הזו היא אולי הבלבול הנפוץ ביותר בכל הפרק הטכני, והיא עולה כסף בשני הכיוונים. מצד אחד יש אתרים שמנסים להסתיר עמודים ולא מצליחים. מצד שני יש אתרים שחסמו נתיב שלם, נזכרו להוסיף גם תגית, ואז הופתעו לגלות שהעמודים עדיין מופיעים בתוצאות בלי תיאור.
אחרי שהעמוד יצא מהמאגר, אפשר לחסום את הנתיב אם רוצים. לפני, אסור.
מתי זה הכלי הנכון, ומתי לא
המקרים הקלאסיים: תוצאות חיפוש פנימיות באתר, עמודי תודה אחרי טופס, עמודי תגית שנוצרו אוטומטית בלי תוכן, סביבות בדיקה, גרסאות הדפסה, ועמודי סינון אינסופיים בחנות. כל אלה עמודים שקיומם מוצדק למשתמש ולא מוסיף כלום למאגר.
מתי זה לא הכלי: כשהעמוד פשוט כפול. שם עדיף להצהיר על כתובת מועדפת, כי ההצהרה מאחדת את הסיגנלים לעמוד אחד, ואילו noindex פשוט מוחק אותם. וכשהעמוד מיותר לגמרי, הפניה או מחיקה נקייה עדיפות על השארה שקטה. ההכרעה בין שלוש האפשרויות האלה נופלת בדרך כלל במיפוי העמודים שאנחנו עושים.
יש גם וריאציה: אפשר לשלב בהוראה אחת גם noindex וגם follow, כלומר לא לשמור את העמוד אבל כן לעקוב אחרי הקישורים שבו. גוגל מתעדת שבטווח הארוך היא מתייחסת לעמוד שאינו נשמר כאילו אין בו קישורים לעקוב אחריהם, ולכן אין להסתמך על הצירוף הזה כאסטרטגיה.
איך זה נראה בפועל
תרחיש מומצא: חנות מקוונת לריהוט משרדי שהעלתה אתר חדש. בזמן הפיתוח, כמו שנהוג, כל האתר סומן שאסור לשמור אותו, כדי שגרסת הבדיקה לא תיכנס לחיפוש.
ביום העלייה מישהו הוריד את הסימון מהעמודים הראשיים ושכח את תבנית עמוד המוצר. התוצאה: עמוד הבית וחמישה עמודי קטגוריה נכנסו למאגר, ואלף וארבע מאות עמודי המוצר נסרקו ולא נשמרו. אף אחד לא קיבל שגיאה.
התסמין נראה כמו בעיית תוכן: תנועה לעמודי מוצר קרובה לאפס, ובשאלות של השוואת דגמים ב-AI החנות אף פעם לא מקור. מה שמפצח את זה הוא בדיקה של עמוד מוצר אחד, קריאה של קוד המקור, ומציאת המילה noindex בשורה שהייתה שם מהיום הראשון.
אחרי הסרת התגית, העמודים חוזרים למאגר בהדרגה ולא בבת אחת, לפי קצב הסריקה של האתר. בחנות בסדר גודל כזה זה שבועות, וזו בדיוק הסיבה שהבדיקה הזו שייכת ליום העלייה ולא לרבעון שאחריו.
זוויות שונות
לחנות מקוונת
כאן זה כלי ניקיון יומיומי. עמודי סינון, מיון ותוצאות חיפוש פנימי מייצרים אינספור כתובות שאין להן שום ערך במאגר. מה שדורש זהירות הוא הגבול: סינון שיש לו ביקוש אמיתי, למשל קטגוריה משנית שאנשים מחפשים בשמה, ראוי דווקא לעמוד אמיתי ולא לסימון.
לעסק שירותים
השימוש כמעט מסתכם בעמוד התודה אחרי טופס ובעמודים פנימיים ללקוחות. מעבר לזה, אתר בגודל כזה כמעט ואין לו עמודים שלא ראוי לשמור, וכל סימון גורף מסוכן.
לאתר שמחזיק סביבת בדיקה
זה המקום שבו התקלות נולדות. סביבה שמסומנת בתגית ולא מוגנת בסיסמה היא סיכון כפול: אם מישהו מעתיק ממנה קוד לאתר החי, הסימון נוסע איתו. ההגנה הנכונה לסביבת בדיקה היא סיסמה, לא תגית.
מה זה אומר בפועל
אחרי כל עלייה לאוויר, בדקו ידנית עמוד אחד מכל סוג תוכן וחפשו בקוד את המילה. זו בדיקה של חמש דקות שמונעת את אחד הכשלים היקרים ביותר. כשאתם כן משתמשים בהוראה, ודאו שהנתיב שאתם מסמנים אינו חסום גם בקובץ, אחרת ההוראה לא תיקרא. ואחרי שעמוד נשר מהמאגר, אם אתם רוצים גם לחסוך סריקות, אפשר להוסיף חסימה בקובץ, בסדר הזה בלבד.
איך בודקים את זה לבד
- פתחו את מקור העמוד בדפדפן, לא את כלי המפתחים, וחפשו את המילה noindex.
- בדקו גם את כותרות ה-HTTP, כי שם ההוראה אינה נראית במקור: curl -I https://www.example.co.il/page/ וחפשו שורת X-Robots-Tag.
- בסרץ' קונסול, הריצו את הכתובת בכלי בדיקת הכתובת. הוא אומר במפורש אם ההכללה חסומה ומאיזו סיבה.
- בדקו במקביל את robots.txt: אם הנתיב חסום שם, התגית לא נקראת בכלל ואתם במצב הגרוע משניהם.
- אחרי עלייה לאוויר, חזרו על הבדיקה על עמוד אחד מכל תבנית: בית, קטגוריה, מוצר, מאמר, עמוד שירות.
המלכודת
המלכודת הראשונה היא סימון ששרד מסביבת הפיתוח. היא שקטה לגמרי, היא לא מייצרת שגיאה בשום דוח שמסתכלים עליו ביום העלייה, והיא יכולה למחוק אתר שלם מהמאגר. השנייה היא הצירוף עם חסימה בקובץ, שמייצר עמוד שלא נקרא ולכן גם לא מוסר, ולפעמים ממשיך להופיע בתוצאות בלי תיאור. השלישית עדינה יותר: להשתמש בהוראה כדי לטפל בכפילות. עמוד שמסומן כך פשוט נעלם, יחד עם כל הקישורים שהצביעו עליו, במקום שהערך שלו יתווסף לעמוד שכן נשאר.
מתי זה לא רלוונטי לכם
אם כל התוכן שלכם נועד להימצא, אין לכם מה לעשות עם ההוראה הזו מלבד לוודא שהיא לא נמצאת איפה שהיא לא צריכה. מי שרוצה להגן על מידע פרטי צריך סיסמה ולא הוראה למנועים, כי היא מבקשת ולא מונעת גישה. וכשהמטרה היא לאחד עמודים דומים, הכלי הנכון הוא הצהרה על כתובת מועדפת, שמרכזת במקום למחוק.
שאלות נפוצות
כמה זמן לוקח עד שעמוד נעלם?
עד שהסורק יחזור לעמוד ויראה את ההוראה, וזה יכול להיות ימים או שבועות. אם צריך מהר, בסרץ' קונסול יש בקשת הסרה זמנית, והיא מחזיקה זמן מוגבל ואינה תחליף לתיקון.
זה מסתיר את העמוד מגולשים?
לא בכלל. העמוד נגיש לכל מי שיש לו את הכתובת, וגם לכל מי שמגיע אליו מקישור. זו הוראה למנועים בלבד.
מנועי AI מכבדים את זה?
לא מאומת. התיעוד שלהם מתמקד ב-robots.txt. מה שסביר להניח הוא שעמוד שאינו במאגר החיפוש גם לא נשלף לתשובה, וזו מסקנה ולא הבטחה.
מה ההבדל בינו לבין חסימה בקובץ?
חסימה מונעת קריאה של העמוד, וההוראה מונעת שמירה שלו. חסימה לא מוציאה מהמאגר, וההוראה כן. השילוב ביניהם מבטל את ההוראה.
מונחים קשורים
אינדקס
המאגר שבו מנוע החיפוש שומר עמודים אחרי שסרק אותם, וממנו הוא שולף מועמדים לתשובה.
כתובת מועדפת
תגית שמצהירה איזו כתובת היא הגרסה הרשמית של עמוד שקיים בכמה כתובות.
סורק
תוכנה שמושכת עמודים מהאתר בשביל מנוע חיפוש או מנוע AI.
להרחבה
הערך נבדק מול המקורות הרשמיים של הפלטפורמות. כשמשהו אינו ידוע, כתוב כאן שהוא אינו ידוע. שינויים מתועדים בארכיון העדכונים.
בואו נדבר.
בלי מצגת, בלי התחייבות ובלי שיחת מכירה. עשרים דקות שבסופן תדעו אם יש כאן משהו בשבילכם.
- מה המוצר ומי הלקוח שלכם
- איך נמדדת אצלכם המרה היום
- מאיזה תקציב זה מתחיל להיות הגיוני
לא בקטע של טפסים? [email protected]