OAI-SearchBot

הסורק של OpenAI לחיפוש: הוא שמחליט אם אתר יכול להופיע כמקור בתשובות של ChatGPT. זה הסורק היחיד שאסור לחסום למי שרוצה נראות שם.

עודכן: 19 בספטמבר 2026

הסורק שקובע אם אתם מועמדים

OAI-SearchBot הוא הסורק ש-OpenAI מפעילה בשביל החיפוש של ChatGPT. הוא בונה את המאגר שממנו המנוע שולף עמודים כשהוא עונה על שאלה בזמן אמת, ולפי התיעוד של OpenAI הוא אינו משמש לאיסוף תוכן לאימון. הפרדה נקייה: אימון אצל GPTBot, חיפוש כאן.

מבין ארבעת הסורקים של OpenAI, זה היחיד שמשנה אם העסק שלכם יכול להופיע כמקור. עמוד שהוא לא הצליח למשוך אינו במאגר, ועמוד שאינו במאגר לא נכנס לשום תשובה, לא משנה כמה טוב כתבתם אותו. הוא לא מדרג ולא בוחר. הוא רק מביא, ובלי מה שהוא מביא אין ממה לבחור.

המחרוזת שהוא מציג מתחילה בשם OAI-SearchBot, ואחריו מספר גרסה וקישור לעמוד הסבר של OpenAI. השם הזה חדש יחסית לעומת GPTBot, וזו סיבה שרשימות ישנות בשכבות הגנה לא מכירות אותו.

מה קורה כשחוסמים אותו

יוצאים מהמקורות של ChatGPT. לא מהמודל, לא מהזיכרון שלו, ולא מהתיאור שהוא יודע לתת עליכם ממקורות של אחרים. רק מהרשימה שממנה הוא שולף עמודים לתשובה חיה. ההבדל הזה הוא בדיוק מה שהופך את החסימה לגרועה: אתם עדיין מוזכרים, אבל לפי מה שאחרים כתבו עליכם, בלי הגרסה שלכם.

החסימה לא נוגעת ל-GPTBot. אפשר לחסום את החיפוש ולהשאיר את האימון פתוח, וזו הצורה ההפוכה ממה שכמעט כל אחד מתכוון אליה. אנחנו רואים אותה באתרים שהדביקו בלוק ממדריך ישן שהכיר רק שם אחד מכל חברה.

וכמו אצל כל הסורקים, החסימה היא הצהרה ולא מנעול. OpenAI מצהירה שהסורק מציית ל-robots.txt, ואי אפשר לאמת מבחוץ שום דבר מעבר להצהרה הזו מלבד היעלמות השם מהיומנים.

מהסריקה ועד הקישור בתשובה

השרשרת בנויה מארבעה שלבים, וכל אחד מהם יכול להישבר בשקט. הסורק מושך את העמוד. העמוד נכנס למאגר. מישהו שואל שאלה, ChatGPT מריץ חיפוש ומקבל רשימת מועמדים. ומתוכם הוא בוחר על מה להישען ומצרף קישור.

רק השלב הראשון שייך לעמוד הזה. הבחירה בשלב הרביעי היא סיפור של תוכן, של בהירות ושל התאמה לשאלה, והיא מטופלת במדריך ChatGPT. מה שקובע הוא הסדר, והוא גם הסדר של העבודה על נראות אורגנית. אין טעם לשפר תוכן לפני שווידאתם שהסורק בכלל מקבל אותו.

כשהקישור נלחץ, הגולש מגיע לאתר עם פרמטר מקור שמזהה את ChatGPT. זו המדידה היחידה שאינה מדגמית, והיא מתחילה כאן: בלי OAI-SearchBot אין קישור, ובלי קישור אין מה למדוד.

מה לא ידוע, ומה כן

OpenAI לא מפרסמת כל כמה זמן הסורק חוזר, כמה מהאתר הוא מושך בכל ביקור, וכמה זמן עובר בין פתיחת חסימה לבין הופעה מחדש. מי שנוקב במספר ממציא אותו. מה שכן ידוע הוא שההופעה לא חוזרת ביום שאחרי: צריך סריקה חדשה, כניסה למאגר, ושאלה שמתאימה לעמוד.

כן ידוע, מהתיעוד, שהחברה מפרסמת קובץ טווחי כתובות נפרד לסורק הזה. זה מה שמאפשר להבחין בין הסורק האמיתי לבין כל תוכנה שכתבה את שמו, ולבנות חוק בשכבת ההגנה שמתיר אותו בלי לפתוח דלת לכולם.

איך זה נראה בפועל

תרחיש מומצא: סטודיו לעיצוב פנים בהרצליה, אתר וורדפרס עם עשרות פרויקטים מצולמים ומדריכים על תכנון מטבחים. בעדכון של תוסף ה-SEO הופיעה תיבת סימון חדשה, בניסוח של הגנה על תוכן מפני AI, ומי שניהל את האתר סימן אותה. התוסף הוסיף לקובץ בלוק עם כל השמות שהכיר, ובהם OAI-SearchBot.

שום דבר לא נשבר. האתר עלה, גוגל המשיכה לסרוק, והתנועה נשארה יציבה. מה שנעלם היה משהו שאף אחד לא מדד: כששאלו ב-ChatGPT מי מתכנן מטבחים למרחב קטן במרכז, הסטודיו לא הופיע בין המקורות, ומדריך המטבחים שלו, שגוגל מציגה יפה, לא הוזכר.

הגילוי הגיע אחרי חצי שנה, מלקוחה שסיפרה שקיבלה שלושה שמות אחרים. פתחו את הקובץ, מצאו את הבלוק, וזיהו את השם. הסירו רק אותו, השאירו את חסימת האימון כמו שהיא, ורשמו את התאריך.

כמה זמן עבר עד שהסטודיו חזר לתשובות, אין דרך להבטיח, ובתרחיש הזה גם לא ידעו למדוד את זה בדיוק כי לא הייתה נקודת ייחוס מלפני. מה שכן ראו ביומן, שלושה שבועות אחר כך, היה השם OAI-SearchBot חוזר לעמודי המדריכים.

זוויות שונות

לעסק שירותים מקומי

רוב ההופעה שלכם נשענת על עמודים בודדים: הבית, השירותים, ואולי מדריך אחד או שניים. חסימה של הסורק הזה מוציאה את כולם במכה אחת, ואין לכם מלאי תוכן שיפצה. הצד הטוב הוא שהבדיקה לוקחת דקה והתיקון שורה.

לחנות מקוונת

הסורק הזה צריך להגיע לעמודי המוצר, לא רק לקטגוריות, ובחנות עם אלפי כתובות סינון הוא עלול לבזבז את הביקור על רשימות. חסימת פרמטרים מיותרים היא הפעולה הנכונה; חסימת השם היא הטעות. ובחנויות שיושבות מאחורי הגבלת קצב, בדקו שהוא לא נחנק אחרי עשרה עמודים.

ל-B2B עם מחזור מכירה ארוך

השאלות שמביאות אתכם לתשובה הן מקצועיות ומפורטות, והתוכן שעונה עליהן יושב לעיתים מאחורי טופס או בקובץ להורדה. הסורק לא ממלא טפסים. אם המדריך שמבדל אתכם נעול, מבחינת ChatGPT הוא לא קיים, גם כשהסורק פתוח לגמרי.

מה זה אומר בפועל

זו הבדיקה הראשונה בכל עבודה על נראות ב-ChatGPT, לפני תוכן ולפני מדידה. פתחו את robots.txt וודאו שהשם הזה לא יושב תחת Disallow, לא בבלוק משלו ולא בבלוק כללי שחוסם תיקיות תוכן. אחר כך שלחו בקשה אחת משורת הפקודה עם השם הזה ובדקו שחוזר 200 עם תוכן אמיתי, כי החסימה הנפוצה יותר בכלל אינה בקובץ. ואם עשיתם שינוי, רשמו תאריך: בלעדיו לא תדעו אם מה שקרה אחר כך קשור.

איך בודקים את זה לבד

פתחו את כתובת האתר עם התוספת /robots.txt וחפשו OAI-SearchBot. אם הוא מופיע עם Disallow: / אתם חסומים. אם הוא לא מופיע בכלל, בדקו מה כתוב תחת User-agent: * כי זה הבלוק שחל עליו.
אין צורך בשורה שמאשרת אותו. מי שרוצה בכל זאת כותב בלוק נפרד: User-agent: OAI-SearchBot ואחריו Allow: /. השורה הזו לא מזיקה ולא מוסיפה כשאין חסימה אחרת.
שלחו בקשה עם השם: curl -A "OAI-SearchBot" -o /dev/null -w "%{http_code}" https://www.example.co.il/ וקראו את הקוד. 200 תקין, 403 חסימה בשכבה שלפני האתר, 429 הגבלת קצב.
חזרו על הבקשה בלי הדגל שמסתיר את הגוף, וחפשו בתוצאה משפט שמופיע בעמוד. קוד 200 עם עמוד אתגר של שכבת הגנה נראה תקין ואינו תקין.
ביומנים: grep -ci "oai-searchbot" access.log לספירה, ואחר כך grep -i "oai-searchbot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20 כדי לראות לאילו נתיבים הוא הגיע. סורק שמגיע רק לעמוד הבית לא גילה את השאר.
אמתו כתובת חשודה מול הרשימה הרשמית: curl -s https://openai.com/searchbot.json. חוק בשכבת ההגנה שמתיר את השם רק מהטווחים האלה נותן נראות בלי לוותר על הגנה.
אם הכול תקין ואתם עדיין לא מופיעים, הבעיה אינה כאן. המשיכו לעמוד על אתר שלא מופיע ב-ChatGPT.

המלכודת

המלכודת היקרה היא הבלוק המועתק. מישהו רצה לחסום אימון, לקח רשימה מוכנה, וקיבל בתוכה גם את השם הזה. שום דבר לא נשבר בעין, ולכן אף אחד לא בודק. השנייה היא ההנחה שקובץ נקי אומר גישה פתוחה. השם הזה חדש יחסית, ורשימות ניהול בוטים שנכתבו לפני שהוא הופיע פשוט לא מכירות אותו, ואז הוא מקבל 403 בלי שורה אחת בקובץ. והשלישית: לפתוח חסימה ולצפות לתוצאה למחרת. הסריקה צריכה לחזור, המאגר צריך להתעדכן, ושאלה מתאימה צריכה להישאל. שלושה שלבים, ואף אחד מהם לא בשליטתכם.

מתי זה לא רלוונטי לכם

אם הקובץ שלכם נקי, אין לפני האתר שכבת סינון, ובדיקה אחת משורת הפקודה החזירה 200 עם תוכן, סיימתם עם המונח הזה ואין מה להוסיף. גם מי שהחליט במודע שהוא לא רוצה להופיע ב-ChatGPT, למשל אתר פנימי או תוכן שמיועד למנויים בלבד, לא צריך את העמוד הזה מלבד השורה שחוסמת. ומי שמחפש דרך לגרום לסורק להגיע יותר, לא ימצא אותה כאן ולא בשום מקום: אין ממשק הגשה ואין תור.

שאלות נפוצות

זה הסורק היחיד שאסור לי לחסום?

אצל OpenAI, כן, למי שרוצה להופיע בתשובות של ChatGPT. אצל חברות אחרות יש סורק חיפוש מקביל עם שם אחר, וכל אחד מהם נחסם בנפרד.

פתחתי את החסימה. מתי אחזור לתשובות?

לא ידוע, ואף חברה לא פרסמה כלל. מה שאפשר הוא לרשום את התאריך, לחפש את השם ביומנים אחרי שבועיים, ולדגום סט שאלות קבוע פעם בחודש.

ראיתי את השם ביומן. זה אומר שאני מופיע?

לא. זה אומר שהעמוד נמשך, וזה תנאי הכרחי. הבחירה אם להישען עליו בתשובה נעשית בשלב אחר ותלויה בתוכן ובשאלה.

צריך לכתוב Allow כדי שהוא ייכנס?

לא. היעדר חסימה הוא אישור. שורת Allow מועילה רק כשיש בקובץ בלוק כללי שחוסם משהו ואתם רוצים לפתוח עבורו חלון.

הוא מריץ את הקוד באתר?

OpenAI לא מתעדת את זה, ולכן לא מניחים. הבדיקה הבטוחה היא לחפש את התוכן במקור העמוד כפי שהשרת שולח אותו, בלי הרצת קוד.

מונחים קשורים

GPTBot

הסורק של OpenAI לאיסוף נתוני אימון.

ChatGPT-User

הסורק שפועל כשמשתמש מבקש מ-ChatGPT לפתוח עמוד מסוים בזמן אמת.

הסורק של מודעות ChatGPT

הסורק שבודק את עמודי הנחיתה של מודעות ב-ChatGPT לפני שהן מאושרות.

חיפוש בתוך ChatGPT

מצב שבו ChatGPT מחפש ברשת בזמן אמת ומצרף מקורות לתשובה, במקום לענות מהזיכרון.

סורק

תוכנה שמושכת עמודים מהאתר בשביל מנוע חיפוש או מנוע AI.

פרמטר המקור של ChatGPT

הפרמטר ש-ChatGPT מצרף לקישורים שהמשתמש לוחץ עליהם מתוך תשובה.

להרחבה

הערך נבדק מול המקורות הרשמיים של הפלטפורמות. כשמשהו אינו ידוע, כתוב כאן שהוא אינו ידוע. שינויים מתועדים בארכיון העדכונים.

בואו נדבר.

בלי מצגת, בלי התחייבות ובלי שיחת מכירה. עשרים דקות שבסופן תדעו אם יש כאן משהו בשבילכם.

מה המוצר ומי הלקוח שלכם
איך נמדדת אצלכם המרה היום
מאיזה תקציב זה מתחיל להיות הגיוני

לא בקטע של טפסים? [email protected]