עיבוד בצד השרת
בניית ה-HTML המלא בשרת לפני שהוא נשלח, כך שהתוכן קיים בתגובה הראשונה ואינו תלוי בהרצת JavaScript.
עיבוד עמוד
Rendering
השלב שבו הסורק הופך קוד לעמוד עם תוכן. גוגל מריצה JavaScript בשלב נפרד ומאוחר, וסורקי ה-AI ברובם קוראים את ה-HTML כפי שהגיע. תוכן שנטען רק בדפדפן עלול פשוט לא להיות שם עבורם. ראו הצד הטכני של הנראות.
עודכן:
מקוד לתוכן
עיבוד עמוד הוא השלב שבו מה שהשרת שלח הופך לעמוד עם טקסט. באתר קלאסי אין כאן שום עבודה: ה-HTML שהגיע כבר מכיל את הכותרת, את הפסקאות ואת הקישורים. באתר מודרני רבים מהעמודים מגיעים כשלד כמעט ריק, והתוכן נוצר אחרי הטעינה, על ידי קוד שרץ בדפדפן ומושך נתונים משירות נפרד.
לאדם ההבדל הזה בלתי נראה. הוא פותח את העמוד ורואה טקסט. למכונה ההבדל הוא בין מסמך מלא למסמך ריק, והכול תלוי בשאלה אם היא הריצה את הקוד או לא.
גוגל מריצה קוד, אבל לא בהכרח באותו רגע: התהליך שלה כולל שלב עיבוד נפרד, שיכול לקרות מאוחר יותר. סורקי ה-AI ברובם קוראים את ה-HTML כפי שהגיע ולא מריצים קוד, ואף חברה לא מפרסמת מפה מלאה של מה כל סורק שלה עושה. ההנחה הבטוחה היא שהם לא מריצים.
מה בדיוק נעלם
הדפוסים שחוזרים באתרים ישראליים: מפרט מוצר שנטען בלחיצה על לשונית, שאלות ותשובות שנפתחות באקורדיון שנבנה בקוד, ביקורות שמגיעות משירות חיצוני, מחיר וזמינות שמתעדכנים בזמן אמת, ותפריט ניווט שכולו נבנה בדפדפן ולכן גם הקישורים שבו לא קיימים.
האחרון חמור במיוחד, כי הוא לא מוחק עמוד אחד אלא מנתק את הדרך לעמודים אחרים. סורק שלא רואה קישורים לא מגלה את מה שמעבר להם.
יש גם מקרה ביניים מטעה: תוכן שקיים במקור העמוד אבל מוסתר בעיצוב עד שלוחצים. זה בסדר גמור. מה שנספר הוא מה שהגיע בקוד, ולא מה שנראה על המסך.
למה לא מספיק לבדוק בכלי המפתחים
הלשונית שמציגה את מבנה העמוד בכלי המפתחים מראה את המצב אחרי הרצת הקוד. היא תמיד תראה לכם את הטקסט, גם כשהוא לא היה שם כשהסורק הגיע. זו הסיבה שאנשים בודקים ומשוכנעים שהכול תקין.
הבדיקה הנכונה היא לפתוח את מקור העמוד עצמו, כפי שהוא הגיע מהשרת, ולחפש בו משפט מהתוכן. אם הוא לא שם, הוא לא שם.
מה עושים כשהתשובה שלילית
האפשרות הטובה ביותר היא לבנות את ה-HTML בצד השרת, כך שהתוכן קיים בתגובה הראשונה. זו עבודה של מפתחים ולא של איש תוכן, והיא לרוב לא שינוי אתר שלם אלא שינוי בתבניות שחשובות לכם.
אפשרות חלקית וזולה יותר היא להוציא את החלקים הקריטיים מהקוד ולהחזיר אותם ל-HTML הראשוני: המפרט, השאלות והתשובות, הפסקה שעונה על השאלה המרכזית. גם אם שאר העמוד נשאר דינמי, המכונה מקבלת משהו לקרוא. זו בדרך כלל ההמלצה הראשונה שיוצאת מבדיקת הנגישות של התוכן למנועים.
מה שאסור לעשות הוא להגיש גרסה מיוחדת למי שמזוהה כבוט. הגשה שונה לבוט ולאדם היא הפרה מוכרת שמנועי חיפוש מטפלים בה שנים, וזו לא פינה אפורה.
איך זה נראה בפועל
תרחיש מומצא: חברת תוכנה שמוכרת מערכת למחלקות משאבי אנוש, עם אתר חדש ויפה שנבנה בטכנולוגיה מודרנית. עמוד התמחור בנוי מלשוניות: חודשי, שנתי, ארגוני. הטבלה כולה נטענת מקוד.
מה שקורה כשמישהו שואל מנוע AI כמה עולה מערכת כזו בישראל: המנוע מפרק את השאלה, מחפש, ומקבל בין היתר את עמוד התמחור. הוא קורא אותו ומוצא כותרת, תפריט, וכלום. אין מספר, אין טווח, אין תנאי. התשובה נבנית ממקורות אחרים, לרוב מדריכים כלליים ומתחרים שכתבו מספרים בטקסט רגיל.
הבדיקה שמראה את זה נמשכת דקה: פותחים את מקור העמוד, מחפשים את המחיר, ולא מוצאים. הצוות היה משוכנע שהכול תקין, כי בכלי המפתחים הטבלה מופיעה יפה.
מה שנעשה: פסקה אחת בטקסט רגיל בראש עמוד התמחור, עם הטווח ועם מה שמשפיע עליו, בנוסף ללשוניות האינטראקטיביות שנשארו כפי שהן. זו לא הבטחה שהעמוד ייבחר, זה פשוט הפסקת המצב שבו אין מה לבחור.
זוויות שונות
לחנות מקוונת
מחיר וזמינות הם בדיוק השדות שנוטים להיטען בקוד, והם גם בדיוק מה שנשאלים עליו. חנות שהמחיר שלה לא קיים במקור העמוד תמצא את עצמה מצוטטת בשאלות מידע כלליות ונעדרת מכל שאלה של השוואת מחיר.
לעסק שירותים על בונה אתרים
רוב בוני האתרים הנפוצים מגישים HTML מלא, ולכן לרוב אין כאן בעיה. מה שכן שכיח הוא רכיבים מתקדמים: אקורדיון של שאלות ותשובות, ביקורות משירות חיצוני, ולוח זמנים להזמנת תור. שווה לבדוק אחד אחד במקום להניח.
לאתר שנבנה כאפליקציה
כאן זה שיקול ארכיטקטוני שצריך לעלות לפני הבנייה ולא אחריה. אתר שכולו נבנה בדפדפן יכול לעבוד מצוין למשתמשים מחוברים, ולהיות בלתי נראה למכונות. ההחלטה איזה חלק מוגש מהשרת היא החלטה עסקית, ומחירה עולה ככל שדוחים אותה.
מה זה אומר בפועל
עשו את הבדיקה על חמישה עמודים מייצגים ורשמו לכל אחד מה קיים ומה לא. אם התשובה שלילית בעמודים שחשובים לכם, הפתרון מתחיל בהחזרת התוכן הקריטי ל-HTML הראשוני ולא בשכתוב האתר. במקביל בדקו את הניווט: תפריט שנבנה בקוד מסתיר עמודים שלמים, ולעיתים מספיק להוסיף קישורים רגילים בתחתית העמוד כדי לפתור את זה. ואל תפתרו את זה בהגשת גרסה מיוחדת לבוטים.
איך בודקים את זה לבד
- פתחו עמוד באתר ובחרו הצגת מקור העמוד, לא את כלי המפתחים. בדפדפן אפשר גם להקדים לכתובת את הקידומת view-source ואחריה נקודתיים.
- חפשו במקור, בעזרת חיפוש בעמוד, משפט שלם שאתם יודעים שמופיע בתוכן. אם הוא לא נמצא, המכונה לא רואה אותו.
- משורת פקודה אפשר לעשות את זה גם כך: curl -s https://www.example.co.il/page/ ולחפש בתוצאה את המשפט. זו בדיוק התמונה שסורק שאינו מריץ קוד מקבל.
- בדקו במיוחד ארבעה דברים: מחיר, מפרט, שאלות ותשובות, וקישורי הניווט.
- בסרץ' קונסול, בכלי בדיקת הכתובת, אפשר לראות את ה-HTML אחרי שגוגל עיבדה אותו. השוו בין מה שיש שם לבין המקור הגולמי: הפער הוא בדיוק מה שתלוי בהרצת קוד.
- אם יש פער, רשמו איזה חלק בעמוד חסר. זה הופך את השיחה עם המפתחים למשימה מוגדרת במקום לתלונה.
המלכודת
המלכודת המרכזית היא לבדוק בכלי הלא נכון. מי שמסתכל על מבנה העמוד בכלי המפתחים רואה תמיד את התוכן, כי הכלי מציג את המצב אחרי הרצת הקוד, ומסיק שהכול בסדר. המלכודת השנייה היא ההנחה שאם גוגל מוצאת אתכם אז כולם מוצאים. גוגל מריצה קוד, ורוב סורקי ה-AI לא, ולכן בהחלט אפשר להיות בתוצאות החיפוש ולהיעדר מתשובות. השלישית היא הפיתוי לפתור את זה בזיהוי בוטים והגשת גרסה אחרת, וזו הפרה שמנועי חיפוש מכירים היטב.
מתי זה לא רלוונטי לכם
אתר שנבנה בוורדפרס סטנדרטי, או בכל מערכת שמגישה HTML מלא, לרוב עובר את הבדיקה בלי ממצא, ואז אין כאן שום עבודה. גם אתר שכולו מאחורי התחברות, שלא מיועד להימצא, לא צריך את הפרק הזה. מה שכן שווה בכל מקרה הוא לעשות את הבדיקה פעם אחת, כי תשובה שלילית משנה את סדר העדיפויות של כל השאר.
שאלות נפוצות
אם גוגל מריצה קוד, למה זה בכלל בעיה?
כי גוגל אינה היחידה. סורקי החיפוש של מנועי ה-AI ברובם קוראים את ה-HTML כפי שהגיע. בנוסף, גם אצל גוגל ההרצה היא שלב נפרד שיכול להתעכב, וזה משנה במיוחד לתוכן שמתעדכן.
תוכן מוסתר באקורדיון נספר?
אם הוא קיים במקור העמוד ורק מוסתר בעיצוב, כן. אם הוא נמשך משרת רק כשלוחצים, הוא לא קיים מבחינת הסורק.
אז צריך לבנות את האתר מחדש?
לרוב לא. מה שנדרש הוא להחזיר ל-HTML הראשוני את החלקים שחשובים לכם, וזה שינוי בתבניות ולא בארכיטקטורה. שכתוב מלא הוא החלטה גדולה, וכדאי לקבל אותה מסיבות רחבות יותר.
אפשר להגיש למנוע גרסה פשוטה יותר של העמוד?
לא כדאי. הגשה שונה לבוט ולאדם היא הפרה מוכרת. מה שכן מותר ומקובל הוא לבנות את אותו עמוד בצד השרת, כך שכולם מקבלים את אותו תוכן.
מונחים קשורים
להרחבה
הערך נבדק מול המקורות הרשמיים של הפלטפורמות. כשמשהו אינו ידוע, כתוב כאן שהוא אינו ידוע. שינויים מתועדים בארכיון העדכונים.
בואו נדבר.
בלי מצגת, בלי התחייבות ובלי שיחת מכירה. עשרים דקות שבסופן תדעו אם יש כאן משהו בשבילכם.
- מה המוצר ומי הלקוח שלכם
- איך נמדדת אצלכם המרה היום
- מאיזה תקציב זה מתחיל להיות הגיוני
לא בקטע של טפסים? [email protected]