הצד הטכני של נראות ב-AI

נתחיל מהדבר שמחזיר הכי הרבה ולוקח הכי פחות זמן: לפתוח את robots.txt של האתר ולהסתכל מה כתוב בו. בשנתיים האחרונות הרבה אתרים ישראליים הידקו את הקובץ הזה מתוך רצון "למנוע גניבת תוכן", לרוב על ידי העתקה של בלוק חסימות ממדריך כלשהו. חלק מהם הוציאו את עצמם מתשובות של מנועי AI בלי לדעת.

כדי להבין למה זה קורה כל כך הרבה, צריך להכיר הפרדה אחת.

שלוש משפחות של סורקים

לכל חברת AI גדולה יש יותר מסורק אחד, וכל אחד עושה משהו אחר. חסימה של אחד לא חוסמת את השני.

סורקי אימון אוספים תוכן שעשוי לשמש לאימון המודל. חסימה שלהם מונעת שימוש בתוכן שלכם לאימון, ואין לה השפעה על ההופעה בתשובות.

סורקי חיפוש בונים את האינדקס שממנו נשלפות תשובות בזמן אמת. אלה הסורקים שקובעים אם תופיעו. חסימה שלהם מוציאה אתכם מהתשובות.

סורקים שמופעלים על ידי משתמש נכנסים לעמוד כשמישהו מבקש במפורש מהמודל לקרוא כתובת מסוימת.

ההפרדה הזו היא בדיוק מה שרוב האתרים מפספסים. אפשר בהחלט להיות במצב שבו התוכן שלכם משמש לאימון אבל לא מופיע בתשובות, או ההפך.

הטבלה

הנתונים בשלוש השורות הראשונות אומתו מול התיעוד הרשמי של החברות עצמן, ולא מול סיכומים.

ל-OpenAI יש גם סורק רביעי, OAI-AdsBot, שבודק דפי נחיתה של מודעות. הוא רלוונטי רק למי שמפרסם ב-ChatGPT, וזה עדיין לא אפשרי מישראל.

שתי שורות דורשות הבהרה.

גוגל היא היוצאת דופן. Google-Extended שולט באם התוכן ישמש לאימון Gemini ולעיגון באפליקציות Gemini וב-Vertex AI, ולפי התיעוד של גוגל הוא אינו משפיע על ההכללה בחיפוש ואינו סיגנל דירוג. הזכאות להופיע בסיכומי AI נגזרת מ-Googlebot. המשמעות המעשית: אין דרך להיות בתוצאות של גוגל ולא להיות זכאים לסיכומים. הרחבה במדריך גוגל, וההשוואה המלאה מול OpenAI במדריך ChatGPT.

לפי התיעוד של OpenAI, סורק שמופעל על ידי משתמש עשוי שלא לכבד את robots.txt, כי הוא לא סריקה אוטומטית אלא בקשה מפורשת של אדם.

הטעות שחוזרת, ואיך היא נראית בפועל

הדפוס שאנחנו רואים שוב ושוב הוא זה: מישהו קרא כתבה על "איך לחסום AI מלגנוב לך תוכן", העתיק בלוק חסימות, והדביק. הבלוק כלל את OAI-SearchBot ואת PerplexityBot יחד עם סורקי האימון, כי מי שכתב את המדריך לא הבחין ביניהם.

התוצאה: האתר יצא מהתשובות של ChatGPT ושל פרפלקסיטי. אף אחד לא שם לב, כי אין התראה ואין דוח. חצי שנה אחר כך מישהו שואל למה המתחרים מוזכרים והם לא.

הדפוס ההפוך נפוץ לא פחות: חסימת GPTBot בלבד, מתוך מחשבה שזה "חוסם את ChatGPT". בפועל זה חוסם רק אימון, והחיפוש נשאר פתוח.

העמדה שלנו: לרוב המוחלט של העסקים שמחפשים לקוחות, חסימת סורקי אימון היא ויתור על מעט מאוד וקבלה של מעט מאוד. הדיון האמיתי מתחיל רק כשהתוכן עצמו הוא המוצר, למשל מאגר מידע בתשלום או ארכיון מקצועי סגור. מה שכן קריטי בכל מקרה הוא לא לגרור את סורקי החיפוש לתוך אותה חסימה.

איך בודקים מה באמת קורה אצלכם?

בדיקה ראשונה, דקה. פתחו את הדומיין-שלכם/robots.txt בדפדפן וחפשו את השמות מהטבלה. שימו לב במיוחד לחסימות גורפות: שורה של User-agent: * עם Disallow: / על נתיב מסוים חלה גם על סורקי ה-AI.

בדיקה שנייה, בלוגים. אם יש לכם גישה ללוגי שרת, חפשו את שמות הסורקים ותראו אם הם באמת מגיעים ובאיזו תדירות. זו הדרך היחידה לדעת בוודאות שנסרקתם, בניגוד להנחה שנסרקתם.

בדיקה שלישית, אימות מקור. יש בוטים שמתחזים לסורקים מוכרים. OpenAI מפרסמת טווחי כתובות IP בקבצי JSON נפרדים לכל סורק, וגם לחברות אחרות יש מנגנון אימות. אם אתם מנתחים לוגים ברצינות, שווה להצליב.

שהתוכן יהיה קריא בלי הרצת קוד

חלק מהסורקים לא מריצים ג'אווהסקריפט, או מריצים אותו חלקית. אתר שהטקסט שלו נבנה בדפדפן אחרי הטעינה עלול להיראות ריק לחלוטין.

הבדיקה פשוטה: פתחו את מקור העמוד בדפדפן, לא את כלי המפתחים אלא את המקור עצמו, וחפשו בו משפט מהתוכן. אם הוא לא שם, המידע מגיע רק אחרי הרצת קוד. זו בעיה שנפתרת בצד השרת, ובאתרים ישראליים רבים שבנויים על בוני אתרים היא נפוצה יותר ממה שנדמה.

סימון מובנה: מה שווה ומה לא

סימון מובנה מתאר למכונה מה יש בעמוד. הוא לא מבטיח ציטוט, והוא כן מקטין ניחושים. הסוגים שמחזירים הכי הרבה לעסק רגיל, לפי סדר:

Organization בעמוד הבית. שם רשמי, לוגו, כתובת, וקישורים לכל הפרופילים האחרים שלכם. זה הדבר שקושר את כל האזכורים שלכם ברשת לישות אחת. אם תעשו רק דבר אחד, שיהיה זה.

LocalBusiness לעסק עם מיקום או אזור שירות.

FAQPage בעמודים שבנויים כשאלות ותשובות, כי הפורמט הזה תואם בדיוק את מה שמודלים שולפים.

Article עם תאריך פרסום ותאריך עדכון, בכל תוכן שמתיישן.

Product עם מחיר וזמינות באתרי מסחר.

הכלל שאסור להפר: הסימון חייב לתאר את מה שבאמת מופיע בעמוד. סימון שמצהיר על תוכן שלא קיים הוא הפרה ולא טריק, וגוגל מטפלת בזה.

llms.txt: מה זה ולמה לא להתרגש

llms.txt הוא קובץ טקסט בשורש האתר שמסכם למודלים מה יש באתר ואיפה. זו הצעה לתקן, לא תקן, ואף מנוע לא התחייב לקרוא אותו.

שווה לשים? כן, כי העלות אפסית ואם התקן ייתפס אתם כבר בפנים. שווה לשלם על "אופטימיזציית llms.txt" כשירות? לא. זה קובץ טקסט, וייצור שלו הוא עבודה של חצי שעה.

דברים שמשפיעים ולא נראים כמו AI

מהירות ויציבות. סורק שמקבל שגיאות או תגובות איטיות מוותר. סורקי חיפוש, שרצים בתדירות גבוהה, סובלניים פחות מסורקי אימון.

כתובות יציבות. אתר שמשנה מבנה כתובות בלי הפניות מאבד את כל היסטוריית האזכורים שלו. אם אתם עומדים לעשות שינוי כזה, זה שיקול שכדאי לשקלל.

עמוד אחד לכל נושא. שני עמודים שמכסים את אותה שאלה מפצלים את הסיגנל ומבלבלים גם את גוגל וגם את המודל. אם יש כפילות, אחד מהם צריך להפוך להפניה. זו עבודה משעממת שמחזירה הרבה.

תאריכי עדכון אמיתיים. לא לגעת בתאריך בלי לגעת בתוכן. תאריך מזויף נשרף מהר, ובתחומים שמשתנים הוא גם מסוכן.

איפה זה יושב אצלכם, לפי סוג האתר?

השאלה "איפה עורכים את robots.txt" עוצרת יותר אנשים ממה שנדמה, כי בכל פלטפורמה זה יושב במקום אחר וחלקן לא נותנות לגעת בקובץ ישירות.

וורדפרס. ברירת המחדל היא קובץ וירטואלי שנוצר על ידי המערכת, כלומר אין קובץ פיזי בשרת. רוב תוספי ה-SEO הגדולים מוסיפים עורך ייעודי, ואם קיים קובץ פיזי בתיקיית השורש הוא גובר על הווירטואלי. שווה לבדוק את שניהם, כי מצב שבו יש קובץ ישן ששכחו ממנו הוא מקור נפוץ לחסימות מסתוריות.

חנויות ומערכות סגורות. בחלק מהפלטפורמות הקובץ מנוהל על ידי המערכת ואי אפשר לערוך אותו ישירות, אלא רק להוסיף כללים דרך ממשק. אם אתם על מערכת כזו, בדקו מה היא מוסיפה בעצמה: לא פעם יש שם חסימות ברירת מחדל של תיקיות שלמות.

אתרים מאחורי שכבת הגנה או CDN. זה המקרה שהכי קשה לאבחן, כי החסימה לא נמצאת ב-robots.txt בכלל. חלק משירותי ההגנה חוסמים בוטים ברמת הרשת, לפני שהבקשה מגיעה לאתר. סורק שנחסם שם לא רואה שום קובץ ולא מקבל שום הסבר, ואתם לא רואים כלום בלוגים של האתר.

זו נקודה שכדאי להדגיש, כי היא נפוצה במיוחד בישראל: הרבה אתרים יושבים מאחורי שירותי הגנה שהופעלו בזמן אירוע ספאם או תקיפה, ומאז מסננים בוטים אגרסיבית. אם robots.txt נראה תקין ובכל זאת אתם לא מופיעים בשום מקום, זה המקום הבא לבדוק. הבדיקה היא מול הגדרות ההגנה, לא מול האתר.

אתרים דו-לשוניים. אתרים ישראליים רבים מחזיקים גרסה עברית וגרסה אנגלית של אותו תוכן. אם היחס ביניהן לא מסומן נכון, נוצרות שתי גרסאות שמתחרות זו בזו על אותו ציטוט, והמודל בוחר אחת באופן שרירותי. אם יש לכם מבנה כזה, כדאי לסדר אותו לפני שמשקיעים בכתיבה חדשה.

איך צריך להיראות הבלוק בפועל?

לרוב העסקים שמחפשים לקוחות, ההגדרה הנכונה היא פשוט לא לחסום כלום מסורקי ה-AI. אין צורך בבלוק מיוחד, ואין צורך להוסיף שורות כדי "לאשר" סורק. היעדר חסימה הוא אישור.

מי שכן רוצה את המדיניות המפורדת, כלומר לא לתרום לאימון אבל כן להופיע בתשובות, צריך בלוק שמפריד בין המשפחות. הרעיון הוא לחסום את סורקי האימון בשמם, ולהשאיר את סורקי החיפוש בלי שורה בכלל:

שלוש מלכודות בבלוק כזה.

הראשונה, סדר וספציפיות. כלל שמכוון לסורק מסוים בשמו גובר על כלל כללי, אבל אם יש לכם User-agent: * עם Disallow על נתיבים, הוא עדיין חל על כל מי שלא הוזכר בשמו. אתר שחוסם /wp-admin/ לכולם בסדר גמור. אתר שחוסם תיקיות תוכן שלמות לכולם מוציא את עצמו בלי לשים לב.

השנייה, שורה ריקה במקום הלא נכון. בקובץ הזה שורה ריקה מסיימת בלוק. בלוק שנכתב עם רווח באמצע יכול להתפרש אחרת ממה שהתכוונתם.

השלישית, שכחה. הקובץ הזה נכתב פעם אחת ואף אחד לא חוזר אליו. אם אתם עושים שינוי, כתבו לידו הערה עם תאריך וסיבה. בעוד שנה זה יחסוך למישהו חצי יום.

ואחרי שעורכים, לבדוק. גוגל מספקת בסרץ' קונסול בדיקה של הקובץ שמראה איך היא קוראת אותו בפועל. לשאר הסורקים אין כלי מקביל, ולכן הדרך היחידה לוודא היא לחפש אותם בלוגים אחרי כמה ימים. אם אתם עושים את זה, שווה לתעד את התאריך שבו שיניתם, כדי שתדעו מאיזו נקודה למדוד. את שאר תהליך המדידה מצאתם במדריך המדידה, ואת הצד התוכני במדריך הכתיבה.

מה לא צריך לעשות?

יש שלוש פעולות טכניות שנמכרות היום כחלק מ"הכנת האתר ל-AI", ואנחנו לא ממליצים על אף אחת מהן.

להוסיף עמודים ייעודיים לבוטים. גרסה מקוצרת של האתר שמוגשת רק לסורקים היא הגשה שונה לבוט ולאדם, וזו הפרה מוכרת שגוגל מטפלת בה שנים.

להעמיס סימון מובנה על כל עמוד. סימון של סוגים שלא באמת קיימים בעמוד לא עוזר, ומגדיל את הסיכוי לשגיאות שמבטלות גם את הסימון התקין.

לקנות "אינדוקס מהיר" לסורקי AI. אין מוצר כזה. אין ממשק הגשה ואין תור עדיפות, בניגוד לחיפוש הרגיל שיש בו כלי בדיקת כתובת.

ההחלטה: לחסום או לא

זו החלטה עסקית ולא טכנית, ולכן היא לא צריכה להתקבל על ידי מי שמתחזק את השרת.

רוב העסקים שמחפשים לקוחות צריכים לאפשר הכול. הנראות שווה יותר מהחשש התיאורטי, והתוכן שלכם ממילא כבר נסרק על ידי מנועי חיפוש.

אתר שהתוכן הוא המוצר שלו צריך לחסום סורקי אימון ולהשאיר סורקי חיפוש פתוחים. זה בדיוק המקרה שבשבילו ההפרדה נוצרה.

מי שכן חוסם צריך לכתוב ליד זה הערה בקובץ, עם תאריך וסיבה. אחרת עוד שנה מישהו יסתכל ולא יידע אם זה מכוון.

ההחלטה הזו נשארת של העסק גם כשמישהו אחר מבצע את הבדיקה. בדיקת הסורקים, robots ושכבת ההגנה היא השלב שקודם לכל השאר, ומה שיוצא ממנה הוא רשימת שינויים, לא החלטה במקומכם.

רשימת בדיקה למי שרוצה להתחיל היום

• לפתוח את robots.txt ולעבור על השמות מהטבלה, אחד אחד.
• לוודא שסורקי החיפוש לא נגררו לתוך חסימה גורפת.
• לחפש משפט מהתוכן במקור העמוד ולוודא שהוא שם.
• לוודא שיש Organization בעמוד הבית, עם פרטים זהים לכל מקום אחר ברשת.
• למפות עמודים שמכסים את אותה שאלה, ולאחד.
• להוסיף llms.txt בסיסי, בלי לצפות ממנו ליותר.

מה עדיין לא ידוע

אף חברה לא מפרסמת מה בדיוק היא עושה עם התוכן אחרי הסריקה, ואין דרך לוודא מבחוץ שחסימה כובדה בפועל. גם רשימת הסורקים משתנה: חברות מוסיפות טוקנים חדשים בלי הודעה מוקדמת. אנחנו מתעדים שינויים כאלה בארכיון העדכונים, והטעויות שחוזרות מרוכזות בעמוד הטעויות. השאלות הנפוצות בנושא מרוכזות בעמוד השאלות והתשובות, והמונחים מוסברים במילון.

הצד התוכני שמשלים את כל זה נמצא במדריך הכתיבה לציטוט, והמדידה במדריך המדידה.