האם כדאי לחסום מנועי AI מהאתר שלי

לרוב האתרים העסקיים, לא. חסימה גורפת של "מנועי AI" מונעת מכם להופיע בתשובות ולא מונעת מהמודלים להכיר אתכם, כי הם ממילא מכירים אתכם מאלפי מקורות שאינם האתר שלכם. מה שכן הגיוני עבור חלק מהאתרים הוא לחסום את סורקי האימון בלבד, ולהשאיר את סורקי החיפוש פתוחים לרווחה. ההבחנה בין השניים היא כל ההבדל בין החלטה עסקית לבין תאונה.

למה השאלה בכלל עלתה?

הרוב המכריע של מי ששואל אותה לא הגיע אליה לבד. או שמפתח הציע, או שמישהו שלח מדריך עם בלוק מוכן ל-robots.txt, או שהחשבונית של השרת קפצה כשסורק אגרסיבי עבר על האתר. שלוש בעיות שונות לגמרי. רק לשלישית יש קשר אמיתי לעומס.

ברקע יש ויכוח לגיטימי לגמרי על תוכן שנלקח לאימון בלי תמורה. הוויכוח אמיתי. הוא פשוט ויכוח של מו"לים, לא של עסק שמוכר שירות: מו"ל מרוויח מהתוכן עצמו, ואילו עסק מרוויח מכך שמישהו קרא אותו והתקשר. עבורו כל חסימה היא מחיר בלי הכנסה שכנגדה.

שלושה סוגי סורקים, ורק אחד מהם באמת שנוי במחלוקת

זו הנקודה שמייצרת את רוב התאונות. "סורק AI" הוא לא דבר אחד. לכל חברה יש כמה סורקים, לכל אחד מהם תפקיד אחר, והם נשלטים בנפרד ב-robots.txt.

מי שרוצה עמדה עקרונית נגד אימון על התוכן שלו יכול לחסום את שורות האימון ולהמשיך להופיע בתשובות. מי שמעתיק בלוק שלם ממדריך חוסם בדרך כלל גם את שורות החיפוש. ואז מפסיק להופיע, בלי לדעת. הפירוט המלא של השמות ותחביר הקובץ נמצא במדריך הטכני, וזו גם הטעות היקרה ביותר שאנחנו רואים.

מה שחסימה לא תעשה בשבילכם

היא לא תמחק אתכם מהמודל. מודל שאומן לפני שנתיים כבר ראה את מה שראה, וחסימה היום לא מוציאה מידע מתוך משקולות קיימות. היא גם לא תמנע מהמודל לדבר עליכם: תיאור העסק שלכם קיים באינדקסים עסקיים, בקטלוגים, בפורומים, במאמרים ובביקורות. אלה בדיוק המקורות שמודל שולף בשאלות מסוג "את מי מומלץ", ואין לכם שליטה עליהם. ההסבר על סוג המקורות הזה נמצא במדריך האזכורים.

התוצאה המעשית של חסימה גורפת היא לכן די הפוכה מהכוונה. אתם עדיין מתוארים בתשובות, אבל לפי מקורות של אחרים, בלי הגרסה שלכם ובלי הפרטים המעודכנים שלכם, ובלי היכולת לתקן. מה עושים כשהתיאור שגוי מוסבר בעמוד תיקון מידע שגוי.

ובגוגל אין בכלל מה לחסום בנפרד

זו נקודה שהרבה אנשים מפספסים. מודעות בסיכומי AI של גוגל וגם התשובות עצמן נשלפות מאותו אינדקס של החיפוש הרגיל. אין יציאה נפרדת, אין תיבת סימון "אל תכניסו אותי לסיכומים", ולפי התיעוד של גוגל, Google-Extended אינו משפיע על ההכללה בחיפוש. במילים אחרות: אין דרך להיות בחיפוש של גוגל ולא להיות זכאי להופיע בסיכומי AI. מי שרוצה לצאת מהם, יוצא מהחיפוש. פירוט במדריך ה-AI של גוגל ובעמוד הסיכומים.

בישראל השאלה הזו נוגעת גם למצב AI, שפעיל כאן ובעברית. מודעות בתוכו עדיין בבדיקה בארה"ב ובניסוי סגור בבריטניה, אבל התשובות עצמן כבר כאן, והן נשענות על אותו אינדקס.

מתי חסימה כן הגיונית?

יש מקרים שבהם התשובה שונה, והם מוגדרים היטב.

אתר שהתוכן שלו הוא המוצר. ארכיון מחקר, מאגר נתונים, ספרייה של מדריכים בתשלום. כאן הערך יושב בתוכן עצמו, לא בפניה שהוא מייצר, וחסימת אימון היא החלטה עסקית סבירה. גם אז שווה להשאיר את סורקי החיפוש פתוחים, כדי שהמודל יידע להפנות אליכם במקום להסביר במקומכם.

עומס אמיתי על השרת. אם לוגים מראים שסורק מסוים צורך משאבים באופן חריג, מגבילים אותו נקודתית. הפתרון הוא הגבלת קצב או חסימה של אותו סורק בשמו, לא בלוק גורף שגורר איתו את החיפוש.

אזורים שממילא לא אמורים להיות באינטרנט הפתוח. אזור אישי, סל קניות, עמודי תודה, סביבות בדיקה. את אלה כדאי לסגור בפני כל סורק שהוא, גם הרבה לפני שדיברנו על AI.

החסימה שאינה כתובה בשום קובץ

המקרה הכי מתסכל בפועל הוא לא מי שחסם בכוונה, אלא מי שחסום בלי לדעת. שכבות הגנה, חומות אש של אפליקציה ושירותי CDN חוסמים סורקים לפי מוניטין או לפי חתימה, לפעמים בהגדרת ברירת מחדל שהופעלה בעדכון. robots.txt נראה נקי לחלוטין, והסורק מקבל 403.

הבדיקה היחידה שסוגרת את הסימן שאלה היא לבדוק מה השרת מחזיר לאותו סורק, לא מה כתוב בקובץ. אם התשובה אינה 200, זו כל הבעיה, וכל השאר לא רלוונטי. שיטת הבדיקה מפורטת במדריך המדידה.

אם כבר חסמתם, מה עכשיו

פותחים את הקובץ ומסתכלים בעיניים על שמות הסורקים, שורה שורה. אם OAI-SearchBot, Claude-SearchBot או Googlebot נמצאים תחת Disallow, זו ההחלטה שהתקבלה בפועל, בלי קשר לכוונה. מסירים, ואז בודקים שהשרת עצמו לא חוסם. שתי הבדיקות האלה, שורות הקובץ ומה שהשרת באמת מחזיר לכל סורק בשמו, הן גם הדבר הראשון שנעשה אצלנו בעבודת הנראות במנועי AI, לפני כל דיון בתוכן.

מכאן זה עניין של זמן, ואנחנו לא יודעים כמה. הפתיחה לא מייצרת הופעה בתשובות ביום שאחרי, כי צריך שהעמודים ייסרקו מחדש ושהתוכן ייכנס לסל שממנו נשלפות תשובות. הדבר היחיד שאפשר למדוד מיד הוא שהעמודים נגישים שוב. ההופעה עצמה נמדדת אחר כך, בדגימה חוזרת של סט שאלות קבוע בחלון נקי לכל שאלה, בלי היסטוריית שיחה. ציטוט מ-ChatGPT מגיע לאתר עם פרמטר מקור ייעודי, וזו המדידה היחידה שאינה מדגמית. איך קוראים אותה נמצא במדריך ChatGPT ובעמוד הפלטפורמה.

הקשר לפרסום, כדי שלא יתבלבל

חסימה או פתיחה של סורקים היא שאלה של הופעה אורגנית בתשובות. היא לא שאלה של מודעות. נכון להיום ChatGPT מוכרת מודעות לעסק הרשום בישראל. גם מי שיפתח הכול לא יוכל לקנות מקום בתשובה. המצב המעודכן נמצא בעמוד המצב בישראל, ושינויים מתועדים בארכיון העדכונים.

מה עדיין לא ידוע

לא ידוע מהו המשקל שכל מנוע נותן לתוכן שנסרק בזמן אמת לעומת מה שכבר יושב במודל. לכן לא ידוע כמה בדיוק מפסיד אתר שחוסם רק את שורות האימון, אם בכלל.

לא ידוע כמה זמן לוקח לאתר שנפתח מחדש לחזור לתשובות. ראינו טווחים שונים מאוד, ואין שום הצהרה רשמית מאף חברה.

לא ידוע אם חסימת אימון משפיעה על אזכור בשאלות שנענות מהזיכרון של המודל בלי חיפוש חי. זו התרשמות שלנו שהיא כן משפיעה לאורך שנים, ולא ממצא מאומת.

לא ידוע האם ואיך יעבוד תקן טכני להסכמה או לתשלום על שימוש בתוכן. מדובר בהצעות ובניסויים, לא בתקן שאפשר להסתמך עליו. שאלות נוספות מרוכזות בעמוד השאלות הנפוצות.