OAI-SearchBot
הסורק של OpenAI לחיפוש: הוא שמחליט אם אתר יכול להופיע כמקור בתשובות של ChatGPT.
GPTBot
GPTBot
הסורק של OpenAI לאיסוף נתוני אימון. חסימתו מונעת שהאתר ייכנס לאימון מודלים עתידיים, ואינה משפיעה על הופעה בחיפוש של ChatGPT, שמשתמש בסורק אחר.
עודכן:
מה הוא אוסף, ובשביל מה
GPTBot הוא הסורק ש-OpenAI מפעילה כדי לאסוף תוכן מהרשת לאימון של הדורות הבאים של המודלים שלה. זה כל התפקיד. הוא לא מזין את החיפוש של ChatGPT, לא נכנס לעמוד בשביל משתמש שביקש לקרוא אותו, ולא בודק דפי נחיתה של מודעות. לכל אחת מהמשימות האלה יש אצל OpenAI סורק נפרד, עם שם משלו ועם רשימת כתובות משלו.
לפי התיעוד של OpenAI, התוכן שהוא אוסף עשוי לשמש לאימון, והחברה מפרטת גם ממה הוא נמנע: עמודים שדורשים תשלום, עמודים שמכילים מידע אישי מזהה, ותוכן שמפר את המדיניות שלה. מה קורה לתוכן אחרי האיסוף, כמה ממנו נכנס לאימון בפועל ומתי, אינו מפורסם.
המחרוזת שהוא מציג מכילה את המילה GPTBot, מספר גרסה, וקישור לעמוד ההסבר של OpenAI. מספר הגרסה השתנה לאורך הזמן. לכן כל כלל שכותבים צריך להתייחס לשם ולא לגרסה, וב-robots.txt כותבים GPTBot ותו לא.
מה החסימה עושה, ומה היא לא
חסימה של GPTBot אומרת ל-OpenAI דבר אחד: את התוכן הזה אל תאספו לאימון. זו הצהרה לגיטימית, ואתרים רבים בעולם עושים אותה. לפי התיעוד, היא לא נוגעת לחיפוש. ההופעה כמקור בתשובה של ChatGPT נקבעת על ידי OAI-SearchBot, סורק אחר לגמרי, שקורא בלוק אחר בקובץ.
מה שהחסימה לא עושה חשוב לא פחות. היא לא מוחקת כלום ממודל שכבר אומן, ותוכן שנאסף לפני שהשורה נכתבה נשאר איפה שהוא. היא גם לא מונעת מהמודל לדעת עליכם, כי הוא מכיר אתכם מאינדקסים עסקיים, מפורומים, מכתבות ומכל אתר אחר שהזכיר אתכם ולא חסם.
ויש שאלה שאף אחד לא יכול לענות עליה מבחוץ: האם החסימה כובדה. OpenAI מצהירה שהסורק מציית לקובץ. אין דוח ואין אישור. הדרך היחידה לדעת היא לחפש את השם ביומני השרת ולראות אם הבקשות פסקו אחרי שהשורה נוספה. בדיקת היומנים הזו היא חלק מהסקירה הטכנית של הסורקים.
ההחלטה, ולמי היא שייכת
זו שאלה עסקית, ולכן לא מי שמתחזק את השרת צריך להכריע בה. השאלה היא איפה יושב הערך של העסק: בתוכן עצמו, או במה שהתוכן מייצר. הוצאה לאור, מאגר מקצועי בתשלום, ארכיון מחקר. שם התוכן הוא המוצר, וחסימת אימון היא עמדה סבירה.
לעסק שמוכר שירות התמונה הפוכה. אף אחד לא קונה את עמוד השירות שלכם; הוא קורא אותו ומתקשר. תוכן כזה שנכנס לאימון לא מפסיד כלום, ואולי מרוויח משהו שקשה למדוד: מודל שנתקל בשם שלכם בהקשר הנכון. כמה זה שווה בפועל, אנחנו לא יודעים, ואף חברה לא פרסמה.
מה שכן ברור הוא איך כותבים את זה למי שהחליט לחסום. את השם GPTBot בלבד, בבלוק משלו, בלי לגרור לתוכו את סורק החיפוש. הבלוק המדויק מופיע בסעיף הבדיקה למטה, והעמדה המלאה על ההחלטה עצמה כתובה בעמוד ההחלטה לחסום או לא.
שלוש מלכודות סביב הבלוק הזה
הראשונה היא העתקה ממדריך. רוב הבלוקים שמסתובבים ברשת נכתבו לפני שהופיע OAI-SearchBot, או על ידי מישהו שלא הבחין בין המשפחות, והם מכניסים את שני השמות לאותה חסימה. מי שמדביק אותם חוסם אימון וחיפוש יחד, ומגלה את זה חצי שנה אחר כך.
השנייה היא תחבירית. בלוק שנושא שם מבטל עבור אותו סורק את כל מה שכתוב תחת הכוכבית, ושורה ריקה באמצע בלוק מפצלת אותו לראש בלי גוף. שני הכללים מפורקים בתחביר robots.txt.
השלישית היא ההנחה שהקובץ הוא הכול. שכבת הגנה שיושבת לפני האתר יכולה לחסום את GPTBot ברמת הרשת בלי שורה אחת בקובץ, ואז הוא לא נחסם מאימון בלבד; הוא מקבל 403 יחד עם סורק החיפוש, כי רשימות ניהול בוטים לא מבחינות בין השניים. איך מאבחנים את זה כתוב בעמוד החסימה ברמת הרשת.
איך זה נראה בפועל
תרחיש מומצא: הוצאה לאור קטנה של ספרות מקצועית לרואי חשבון, שמוכרת מנויים לארכיון מאמרים ומפרסמת חלק מהמאמרים בחינם. ההנהלה החליטה שהארכיון לא ייתרם לאימון של אף מודל, ובאותה נשימה רצתה שהמאמרים הפתוחים ימשיכו להופיע בתשובות.
המפתח הוסיף לקובץ בלוק אחד: User-agent: GPTBot ואחריו Disallow: /. את OAI-SearchBot הוא לא הזכיר, ותיעד את התאריך בהערה. זה כל השינוי.
חודש אחר כך פתחו את היומנים. GPTBot הופיע בשבוע הראשון וממנו והלאה נעלם. OAI-SearchBot המשיך להיכנס בקצב הרגיל שלו, בעיקר למאמרים הפתוחים. כששאל רואה חשבון ב-ChatGPT על תקנה חדשה שהמאמר הפתוח הסביר, ההוצאה הופיעה בין המקורות עם קישור לעמוד.
מה שלא ידוע במקרה הזה, ואי אפשר לדעת: אם משהו מהארכיון נאסף בשנה שלפני השורה. החסימה עובדת מרגע כתיבתה קדימה, ואת העבר אין ממה לשחזר.
זוויות שונות
לעסק שירותים
כמעט תמיד אין מה לחסום. עמודי שירות, אודות ושאלות ותשובות הם תוכן שנועד להימצא, ואין בו נכס שמישהו יכול לקחת מכם. אם בכל זאת בחרתם לחסום מתוך עמדה, עשו את זה בשם המדויק ובדקו אחרי שבועיים שסורק החיפוש עדיין נכנס.
לחנות מקוונת
המחירים והמלאי שלכם לא נעשים סודיים בגלל חסימת אימון: סורק החיפוש רואה אותם בדיוק כמו קודם, וכך גם כל מנוע חיפוש רגיל. השאלה המעניינת בחנות היא אחרת: אם GPTBot מבזבז בקשות על עשרות אלפי כתובות סינון, שווה לחסום לו את הפרמטרים ולא את האתר.
למי שהתוכן הוא המוצר
מו"ל, מאגר בתשלום, קורסים, מחקר. כאן חסימת האימון היא ההחלטה הצפויה, ולעיתים גם דרישה חוזית מול הכותבים. עדיין כדאי להשאיר את סורקי החיפוש פתוחים, כדי שהמנוע יפנה אליכם במקום להסביר במקומכם ממקור של מישהו אחר.
מה זה אומר בפועל
אל תתחילו מהשאלה אם לחסום. תתחילו מלפתוח את robots.txt ולראות מה כבר כתוב שם על GPTBot, מי כתב, ומתי. ברוב האתרים שנבדקים בפעם הראשונה השורה קיימת ואף אחד לא זוכר אותה. אם ההחלטה היא לחסום, כתבו בלוק נפרד לשם הזה בלבד, הוסיפו הערה עם תאריך וסיבה, ורשמו ביומן שלכם מתי זה קרה. אחרי חודש פתחו את יומני השרת ובדקו שני דברים בנפרד: שהשם GPTBot פסק להופיע, ושהשם OAI-SearchBot לא פסק.
איך בודקים את זה לבד
- פתחו בדפדפן את כתובת האתר עם התוספת /robots.txt וחפשו את המילה GPTBot. שימו לב תחת איזה User-agent היא יושבת, ואם באותו בלוק מופיע גם OAI-SearchBot.
- הבלוק שחוסם אימון ומשאיר חיפוש פתוח הוא שתי שורות: User-agent: GPTBot ואחריה Disallow: /. את OAI-SearchBot לא מזכירים. מי שרוצה להיות מפורש מוסיף בלוק נפרד: User-agent: OAI-SearchBot ואחריו Allow: /, וזו הצורה ש-OpenAI עצמה מציגה בתיעוד.
- ביומני השרת, ספרו כמה בקשות הגיעו מהשם הזה: grep -ci "gptbot" access.log. אפס אחרי חסימה הוא הצלחה. אפס בלי חסימה אומר שהוא לא הגיע, או שנעצר לפני השרת.
- פרקו לפי קוד תגובה: grep -i "gptbot" access.log | awk '{print $9}' | sort | uniq -c. שורות של 403 בלי שורה מתאימה בקובץ מצביעות על שכבת הגנה.
- אמתו שורה חשודה מול הרשימה ש-OpenAI מפרסמת: curl -s https://openai.com/gptbot.json מחזיר את טווחי הכתובות שמהן הסורק פועל. כתובת שאינה ברשימה נחשבת לא מאומתת, לא בהכרח מזויפת.
- בדקו מה השרת עונה לשם הזה ישירות: curl -A "GPTBot" -o /dev/null -w "%{http_code}" https://www.example.co.il/ ואחר כך אותה פקודה עם OAI-SearchBot. שני קודים שונים לאותה כתובת הם ממצא.
המלכודת
המלכודת המרכזית היא לשמוע GPTBot ולחשוב ChatGPT. השם מזמין את הבלבול, והתוצאה היא שני סוגי אנשים שקראו את אותה כתבה: אחד חסם את GPTBot והיה בטוח שיצא מהתשובות, ואחד חסם את OAI-SearchBot יחד איתו כי לא ידע שיש הבדל. הראשון עדיין מופיע ולא הבין למה. השני נעלם ולא הבין למה. מלכודת שנייה, קטנה יותר: לכתוב בקובץ את הגרסה, למשל את המחרוזת המלאה כפי שהיא מופיעה ביומן. ההתאמה נעשית על השם, וגרסה שתשתנה תשאיר את השורה שלכם תלויה על מספר שכבר לא קיים.
מתי זה לא רלוונטי לכם
אם האתר שלכם מוכר שירות ואין בו תוכן שאתם רואים כנכס בפני עצמו, אין כאן החלטה לקבל: השאירו את הקובץ כמו שהוא ואל תוסיפו שורה. גם מי שכבר החליט ותיעד את ההחלטה לא צריך לחזור לזה כל חודש; בדיקה אחת אחרי השינוי ואחת ברבעון מספיקות. ומי שמצפה שחסימת GPTBot תשנה משהו בהופעה שלו ב-ChatGPT, לכאן או לכאן, מחפש במקום הלא נכון.
שאלות נפוצות
חסמתי את GPTBot. יצאתי מ-ChatGPT?
לא. לפי התיעוד של OpenAI, GPTBot אוסף לאימון בלבד. ההופעה כמקור בתשובות נקבעת על ידי OAI-SearchBot, ואם לא כתבתם עליו כלום הוא ממשיך להיכנס.
אפשר לחסום רק חלק מהאתר מאימון?
כן. שורת Disallow יכולה להצביע על תיקייה במקום על לוכסן בודד, למשל על ארכיון בתשלום, ולהשאיר את שאר האתר פתוח. הנתיב נבדק תו מול תו, כולל אותיות גדולות.
איך אדע שהחסימה כובדה?
רק מהיומנים. אם השם הפסיק להופיע אחרי התאריך שבו נוספה השורה, זו העדות היחידה שקיימת. אין ממשק של OpenAI שמאשר את זה.
מה עם תוכן שכבר נאסף לפני החסימה?
החסימה לא נוגעת בו, ואין מנגנון שמוציא אותו. היא מונעת איסוף חדש מרגע הכתיבה ואילך.
השם ביומן הוא GPTBot אבל הכתובת לא ברשימה של OpenAI. מה זה?
ככל הנראה תוכנה אחרת שכתבה את השם, כי המחרוזת היא טקסט חופשי. מתייחסים אליה כאל לא מאומתת, ואם היא מעמיסה, חוסמים לפי כתובת ולא לפי שם.
מונחים קשורים
ChatGPT-User
הסורק שפועל כשמשתמש מבקש מ-ChatGPT לפתוח עמוד מסוים בזמן אמת.
הסורק של מודעות ChatGPT
הסורק שבודק את עמודי הנחיתה של מודעות ב-ChatGPT לפני שהן מאושרות.
סורק
תוכנה שמושכת עמודים מהאתר בשביל מנוע חיפוש או מנוע AI.
קובץ robots.txt
קובץ טקסט בשורש הדומיין שמצהיר לאילו סורקים מותר למשוך אילו נתיבים.
נתוני אימון
הטקסט שעליו המודל אומן.
להרחבה
הערך נבדק מול המקורות הרשמיים של הפלטפורמות. כשמשהו אינו ידוע, כתוב כאן שהוא אינו ידוע. שינויים מתועדים בארכיון העדכונים.
בואו נדבר.
בלי מצגת, בלי התחייבות ובלי שיחת מכירה. עשרים דקות שבסופן תדעו אם יש כאן משהו בשבילכם.
- מה המוצר ומי הלקוח שלכם
- איך נמדדת אצלכם המרה היום
- מאיזה תקציב זה מתחיל להיות הגיוני
לא בקטע של טפסים? [email protected]