סורק
תוכנה שמושכת עמודים מהאתר בשביל מנוע חיפוש או מנוע AI.
מפת אתר
Sitemap, XML sitemap
קובץ XML שמפרט את הכתובות שאתם רוצים שייסרקו ואת מועד העדכון האחרון של כל אחת. הוא מזרז גילוי של עמודים חדשים, ואינו מבטיח אינדוקס ואינו משפיע על דירוג.
עודכן:
רשימת כתובות, ולא יותר מזה
מפת אתר היא קובץ XML שמפרט את הכתובות שאתם רוצים שייסרקו, ולכל אחת אפשר לצרף את מועד העדכון האחרון שלה. זה כל התוכן שלו. אין בו הסבר על העמוד, אין בו דירוג, ואין בו שום דבר שמשפיע על איך הוא ייראה בתשובה.
התקן מגדיר גם גבולות: עד חמישים אלף כתובות בקובץ אחד, ועד חמישים מגה-בייט לפני דחיסה. אתר גדול מפצל לכמה קבצים ומאגד אותם בקובץ אינדקס שמפנה אליהם. אפשר גם לדחוס, וכל הסורקים הגדולים קוראים את הגרסה הדחוסה.
מה שהמפה כן עושה: מזרזת גילוי. עמוד חדש שאין אליו עדיין קישורים פנימיים נמצא מהר יותר כשהוא מוצהר. מה שהיא לא עושה: מבטיחה שמירה במאגר, משפיעה על דירוג, או מכניסה אתכם לתשובה. הזירוז הזה הוא פרט קטן בגילוי המהיר של עמודים חדשים, ולא יותר מזה.
שדה התאריך, והמלכודת שבו
השדה lastmod הוא החלק היחיד במפה שיש בו אינפורמציה מעבר לכתובת עצמה. הוא אמור לסמן מתי התוכן של אותו עמוד השתנה באמת. גוגל מתעדת שהיא משתמשת בו רק כשהוא מדויק בעקביות, ומתעלמת ממנו באתרים שבהם הוא לא אמין.
כאן נופלות מערכות רבות. חלק מבוני האתרים מעדכנים את התאריך בכל שמירה טכנית, בכל עדכון תוסף ולפעמים בכל הרצה של תהליך תחזוקה. התוצאה היא מפה שבה כל חמש מאות העמודים עודכנו אתמול, וזה בדיוק המצב שגורם להתעלמות מהשדה כולו.
אם המערכת שלכם עושה את זה ואי אפשר לכבות, עדיף להשמיט את השדה לגמרי מאשר לשדר בו שקר יומי.
מה כן נכנס, ומה בכלל לא
לתוך המפה נכנסות רק כתובות שאתם רוצים במאגר, שמחזירות 200, ושהן הגרסה המועדפת של עצמן. מה שלא אמור להיות שם: כתובות שמפנות הלאה, כתובות שמחזירות שגיאה, עמודים שמצהירים על עצמם שאסור לשמור אותם, ועמודים שמצהירים שכתובת אחרת היא הרשמית.
אפשר להוסיף מפות נפרדות לתמונות, לסרטונים ולחדשות, ולאתרים דו-לשוניים יש גם דרך להצהיר במפה על היחס בין הגרסאות. לרוב העסקים זה מעבר למה שנחוץ.
מפה עמוסה בזבל אינה ניטרלית. היא אומרת למנוע שהאתר מטופל ברשלנות, ומקטינה את המשקל שהוא נותן לה. מפה נקייה של שלושים כתובות אמיתיות עדיפה על מפה של אלף שחציין שבורות.
מה זה נותן מול מנועי AI
לא הרבה ישירות, וזו התשובה הכנה. אין ממשק הגשה לסורקי AI ואין תור. מה שכן קורה הוא עקיף: סורקי החיפוש מגלים דרכה עמודים חדשים מהר יותר, ועמוד שנמצא במאגר הוא עמוד שיכול להישלף לתשובה.
יש לזה ערך מצטבר במקרה אחד ברור, והוא אתר שמעדכן תוכן תכופות. עמוד שהשתנה השבוע, עם תאריך מדויק במפה, יש לו סיכוי טוב יותר להיסרק מחדש בקרוב מאשר לעמוד שאיש לא הצהיר עליו כלום.
איך זה נראה בפועל
תרחיש מומצא: אתר של מכון לימודי המשך שמעלה מדריך חדש כל שבוע. המפה נבנית אוטומטית על ידי תוסף, ולא נגעו בה שנים.
מה שמתגלה בבדיקה: מתוך אלף ומאתיים כתובות במפה, כארבע מאות הן עמודי תגית ריקים שנוצרו לבד, כמאה מפנות לכתובות ישנות אחרי שינוי מבנה, ושתים עשרה מחזירות שגיאה. בנוסף, תאריך העדכון של כל הכתובות זהה ומתעדכן בכל לילה, כי תהליך גיבוי נוגע בקבצים.
מה שקורה בפועל: הסורק מקבל רשימה שרובה לא שווה סריקה, ואין לו שום דרך לדעת מה מתוכה באמת חדש. המדריך שעלה ביום ראשון יושב בין ארבע מאות עמודי תגית, ואין לו שום סימן שמייחד אותו.
מה שתוקן: המפה סוננה לעמודי תוכן בלבד, עמודי התגית הוצאו ממנה וגם סומנו שאין לשמור אותם, שדה התאריך הוגדר מחדש כך שהוא נוגע רק בשינוי תוכן, והתוצאה ירדה למאה ושבעים כתובות אמיתיות. זו פעולת ניקיון, ואין בה שום הבטחה: היא רק מפסיקה לשלוח סיגנל שגוי.
זוויות שונות
לחנות מקוונת
כאן המפה היא כלי תפעולי של ממש, כי המלאי משתנה כל יום. הפיצול המקובל הוא מפה לעמודי מוצר, מפה לקטגוריות ומפה לתוכן. הערך הגדול הוא שאפשר לראות בדוחות איזו קבוצה נשמרת ואיזו לא, במקום להסתכל על מספר אחד לכל האתר.
לעסק שירותים עם אתר קטן
שלושים עמודים שכולם מקושרים מהתפריט יימצאו ממילא. המפה כאן היא נוחות ולא צורך, והיא בעיקר שימושית ככלי בקרה: אם מספר העמודים שנשמרו שונה מהמספר שבמפה, יש לכם נקודת התחלה לבדיקה.
לאתר תוכן שמעדכן הרבה
זה המקרה שבו שדה התאריך מחזיר את ההשקעה. עמוד שעודכן באמת, עם תאריך שמשקף את זה נאמנה לאורך חודשים, בונה אמון בשדה הזה. אתר שמשקר בו פעם אחת מפסיד את ההטבה לכל העמודים.
מה זה אומר בפועל
פתחו את המפה שלכם וקראו אותה. זה נשמע טריוויאלי, ורוב בעלי האתרים מעולם לא עשו את זה. אם יש בה כתובות שאתם לא מזהים, או פי כמה כתובות ממה שיש לכם עמודים, יש לכם עבודת ניקיון. הצהירו עליה בקובץ robots.txt ובסרץ' קונסול, וודאו שהתאריכים משקפים שינוי תוכן ולא תחזוקה. אל תצפו ממנה ליותר מזה: היא מקצרת את הדרך לגילוי, ולא משפיעה על מה שקורה אחריו.
איך בודקים את זה לבד
- פתחו בדפדפן את כתובת האתר עם התוספת sitemap.xml. אם אין שם כלום, חפשו את השורה שמתחילה במילה Sitemap בתוך robots.txt.
- ספרו כמה כתובות יש, והשוו למספר העמודים שאתם יודעים שיש לכם. פער גדול הוא ממצא.
- בחרו עשר כתובות באקראי מתוך המפה ופתחו אותן. כל אחת שמפנה הלאה או מחזירה שגיאה היא עמוד שלא היה צריך להיות ברשימה.
- בדקו את שדה התאריך בכמה שורות. אם כולן נושאות אותו תאריך, או תאריך של אתמול בכל האתר, השדה לא אמין ולא נקרא.
- בסרץ' קונסול, הגישו את המפה והסתכלו בדוח: כמה כתובות התגלו, כמה נשמרו, ומה הסיבות לשאר.
- אחרי כל שינוי מבנה באתר, חזרו על הבדיקה. מפה ישנה שמצביעה על כתובות שמתו היא אחד הסימנים הנפוצים לאתר שעבר שינוי בלי טיפול בהפניות.
המלכודת
המלכודת הרווחת היא לראות במפה מנגנון קידום. היא לא: היא רשימה, ולא טיעון. המלכודת השנייה מזיקה יותר. מפה שמלאה כתובות שבורות, מפנות, או עמודים שמצהירים בעצמם שאסור לשמור אותם, סותרת את עצמה מול המנוע, ואז גם הכתובות התקינות שבה נבדקות בחשדנות. השלישית היא שדה התאריך: מערכת שמעדכנת אותו בכל מגע טכני הופכת אותו מסיגנל לרעש, והנזק לא מוגבל לעמוד אחד אלא חל על הקובץ כולו.
מתי זה לא רלוונטי לכם
אתר של עמוד אחד, או אתר שכל עמודיו מקושרים מהתפריט הראשי, לא ירוויח מזה כמעט כלום. גם מי שמצפה שהמפה תשפר דירוג או תכניס אותו לתשובות מחפש במקום הלא נכון, וכדאי שיפנה את הזמן לתוכן. ומי שהמערכת שלו מייצרת מפה אוטומטית תקינה לא צריך לגעת בה שוב אלא אחרי שינוי מבנה.
שאלות נפוצות
המפה מבטיחה שהעמודים שלי ייכנסו למאגר?
לא. היא מזרזת גילוי בלבד. ההחלטה אם לשמור עמוד נעשית אחר כך, לפי התוכן שלו ולפי אם יש כבר עמוד דומה.
צריך להגיש אותה למנועי AI?
אין לאן. אין ממשק הגשה לסורקי AI. מה שיש הוא הצהרה בקובץ robots.txt, שנקראת על ידי כולם, וזה כל מה שאפשר לעשות.
כמה תכופות לעדכן?
אוטומטית, בכל פעם שנוסף או משתנה עמוד. מפה שנבנית ביד ומתעדכנת פעם ברבעון מזיקה יותר משהיא מועילה, כי היא מתארת אתר שכבר לא קיים.
אפשר לשים בה עמודים שחסומים ב-robots.txt?
אפשר, וזו סתירה גלויה: אתם מצהירים שרוצים שייסרקו ובמקביל אוסרים לסרוק. בחרו אחד מהשניים.
מונחים קשורים
אינדקס
המאגר שבו מנוע החיפוש שומר עמודים אחרי שסרק אותם, וממנו הוא שולף מועמדים לתשובה.
תדירות סריקה
כל כמה זמן סורק חוזר לעמוד מסוים.
קובץ robots.txt
קובץ טקסט בשורש הדומיין שמצהיר לאילו סורקים מותר למשוך אילו נתיבים.
סימן טריות
האותות שמהם המנוע מסיק כמה העמוד עדכני: תאריך מוצהר, שינוי אמיתי בגוף הטקסט, מפת אתר ותדירות עדכון.
להרחבה
הערך נבדק מול המקורות הרשמיים של הפלטפורמות. כשמשהו אינו ידוע, כתוב כאן שהוא אינו ידוע. שינויים מתועדים בארכיון העדכונים.
בואו נדבר.
בלי מצגת, בלי התחייבות ובלי שיחת מכירה. עשרים דקות שבסופן תדעו אם יש כאן משהו בשבילכם.
- מה המוצר ומי הלקוח שלכם
- איך נמדדת אצלכם המרה היום
- מאיזה תקציב זה מתחיל להיות הגיוני
לא בקטע של טפסים? [email protected]