תדירות סריקה

מי מחליט כל כמה זמן חוזרים אליכם

תדירות סריקה היא כל כמה זמן סורק חוזר לעמוד מסוים אצלכם. לא לאתר, לעמוד. עמוד הבית נסרק בדרך כלל הרבה יותר מעמוד שיושב שלושה קליקים פנימה, וזה נכון גם באתר קטן.

ההחלטה אינה שלכם. אין הגדרה, אין כפתור, ואין ממשק שבו מבקשים סריקה יומית. מה שכן קיים הוא אוסף של קלטים שמהם המערכת גוזרת קצב: כמה עמודים יש לכם, כמה מהר השרת עונה, כמה באמת השתנה מאז הביקור הקודם, וכמה ביקוש יש לתוכן הזה.

הנקודה שמפתיעה את רוב האנשים היא השלישית. סורק שחוזר שלוש פעמים ומוצא את אותו עמוד בדיוק לומד לחזור פחות. זה לא עונש. זו הקצאה הגיונית של משאב, וכל מי שהפעיל פעם תוכנה שמושכת נתונים מאתרים אחרים היה מגיע לאותה החלטה.

תקציב סריקה ותדירות אינם אותו דבר

תקציב סריקה הוא כמה בקשות בסך הכול הסורק מוכן להשקיע באתר שלכם בפרק זמן. תדירות היא איך הוא מחלק את התקציב הזה בין העמודים. אתר עם מאה עמודים כמעט אף פעם לא נתקל במגבלת תקציב, ולכן כל הדיון על תקציב סריקה אינו רלוונטי לו.

לאתר עם עשרות אלפי כתובות הדיון הזה הוא הדיון. חנות שמייצרת כתובת נפרדת לכל צירוף של סינון, מיון ועמוד ברשימה, יכולה להגיע למצב שבו רוב הבקשות שהיא מקבלת הולכות לעמודים שאין להם שום ערך, ועמודי המוצר האמיתיים נסרקים אחת לשבועות.

התיקון כאן אינו לבקש יותר. הוא לתת פחות: לצמצם את מספר הכתובות, לסמן את הגרסה המועדפת של כל עמוד, ולחסום בקובץ ההנחיות את הפרמטרים שאין בהם צורך. מה שהתפנה עובר למקום אחר בלי שביקשתם.

מה שמותר להגיד על סורקי AI, ומה לא

אצל גוגל יש קצת שקיפות: דוח סטטיסטיקות הסריקה בסרץ' קונסול מראה כמה בקשות התקבלו, כמה מהן החזירו שגיאה, ומה היה זמן התגובה הממוצע. זה מספיק כדי לזהות מגמה ולזהות יום שבו משהו נשבר.

אצל סורקי ה-AI אין שום דבר מקביל. אף חברה לא מפרסמת את הכלל שלפיו היא מחליטה מתי לחזור, אין דוח, ואין ממשק להגשת כתובת. מי שמוכר לכם אינדוקס מהיר לסורקי AI מוכר מוצר שאינו קיים.

לכן העדות היחידה על התדירות בפועל היא היומנים של השרת שלכם, ושם רואים בדיוק מתי כל סורק נכנס ולאיזה עמוד. איך עושים את זה מפורק בניתוח לוגים, וזו הדרך היחידה להחליף השערה במספר.

מה באמת מזיז את הקצב

שינוי אמיתי בתוכן. לא הזזת תאריך ולא החלפת מילה, אלא שינוי שסורק שמשווה בין שתי גרסאות היה מזהה כשינוי. אתר שמתעדכן באמת נסרק יותר, בלי שאף אחד הבטיח את זה במפורש.

מהירות התגובה של השרת. סורק שמקבל תשובות איטיות מאט את עצמו, כי הוא לא רוצה להפיל לכם את האתר. שרת שמחזיר תקלות זמניות מאט הרבה יותר, ולפעמים עוצר. זה אחד המקומות הבודדים שבהם עבודה על תשתית משפיעה ישירות על נראות. הפירוט בעבודה על התשתית שמזינה את התשובות.

קישורים פנימיים. עמוד שאין אליו קישור משום מקום מתגלה דרך מפת האתר בלבד, ונסרק בהתאם. עמוד שמקושר מעמוד הבית ומעוד שלושה עמודים חיים נכנס לתמונה אחרת לגמרי.

וכתובות מיותרות. כל כתובת כפולה גונבת בקשה מכתובת אמיתית. זה נשמע זניח עד שסופרים, ואז מגלים שחצי מהבקשות באתר הולכות לגרסאות של אותו עמוד.

זוויות שונות

שאלות נפוצות

מונחים קשורים

להרחבה

• הצד הטכני של נראות ב-AI
• תאריכים ורעננות תוכן
• מהירות אתר ומה היא משנה