נתוני אימון

Training data

הטקסט שעליו המודל אומן. מה שהיה בו נמצא בזיכרון המודל; מה שלא היה בו מגיע רק דרך חיפוש. אתר שנחסם לאימון לא בהכרח נחסם לחיפוש, וההפך.

עודכן: 19 בספטמבר 2026

מה נכנס לאימון, ומה זה עושה לתשובה

נתוני אימון הם אוסף הטקסטים שעליו נבנה המודל: עמודי אינטרנט, ספרים, קוד, מאמרים, תמלולים, ומאגרים שנרכשו או נאספו. האוסף נסגר בתאריך מסוים, עובר ניקוי וסינון, ואז מוזן לאימון שנמשך חודשים. מה שהיה בו הפך לחלק מהמשקולות של המודל. מה שלא היה בו, המודל לא פגש מעולם, וכשישאלו אותו על זה הוא ינחש או יחפש.

המילה אוסף מטעה קצת. המודל לא שומר את הטקסטים ולא יכול לשלוף אותם. הוא לומד מהם דפוסים, ומה שנשאר מעמוד בודד הוא זעיר. עמוד שמופיע פעם אחת משאיר כמעט כלום. עובדה שחוזרת במאות מקומות בניסוח דומה משאירה חותם. לכן נתוני אימון מתגמלים עקביות ונפח, ולא מתגמלים עמוד יפה שאיש לא הפנה אליו.

האתר שלכם הוא חלק קטן מנתוני האימון עליכם

כשעסק שואל אם האתר שלו נכנס לאימון, הוא מדמיין שהאתר הוא המקור. בפועל, רוב מה שנכתב על עסק ברשת נמצא מחוץ לאתר שלו: מאגרים עסקיים, מפות, ביקורות, פורומים, כתבות, אתרי השוואה, פרופילים מקצועיים. כל אלה נאספים באותה מידה, ולעיתים קרובות הם מרובים יותר מהאתר עצמו.

המשמעות הפוכה ממה שנדמה. חסימת האתר לאימון לא מוציאה אתכם מהמודל. היא רק מוציאה מהאימון את הגרסה שלכם, ומשאירה בו את הגרסה של כולם האחרים. הרחבה על המקורות החיצוניים האלה נמצאת במדריך האזכורים.

ההבחנה היחידה שבאמת עולה כסף: אימון מול חיפוש

לכל חברה גדולה יש כמה סורקים, ולכל אחד מהם תפקיד אחר. סורק אימון אוסף טקסט למודל הבא. סורק חיפוש מזין אינדקס שממנו נשלפות תשובות בזמן אמת. הם מזוהים בשמות שונים, נשלטים בשורות שונות בקובץ robots.txt, ואינם קשורים זה לזה. אצל OpenAI, GPTBot הוא סורק האימון וOAI-SearchBot הוא סורק החיפוש. חסימה של הראשון לא נוגעת לשני.

זו ההבחנה הכי שימושית במילון הזה, כי היא נופלת בשקט. מישהו מעתיק בלוק מוכן של חסימות ממדריך, הבלוק כולל גם את שורת החיפוש, והעסק נעלם מתשובות בלי שאיש הודיע לו. ההפך גם נכון: אפשר לחסום אימון מסיבה עקרונית ולהישאר גלויים לחלוטין בתשובות. כל השמות והתחביר מפורטים במדריך התחביר, והשאלה אם בכלל לחסום נענית בעמוד החסימה.

מה שכבר נלמד לא יוצא

נתוני אימון הם צילום של הרשת בנקודת זמן. מה שנאסף לפני שנתיים נמצא במודל של היום, גם אם העמוד ירד מאז, גם אם החלפתם כתובת, וגם אם חסמתם היום כל סורק בעולם. אין מנגנון שמוחק ידע מתוך משקולות. הפרט הישן יישאר עד שייבנה מודל חדש, ומה שייכנס למודל החדש הוא מה שהרשת תגיד עליכם באותו רגע.

לכן ההגנה על עסק אינה חסימה אלא נוכחות. פרט מיושן שמופיע במאה מקומות ילמד גם באימון הבא. פרט נכון שמופיע במאה מקומות ידחק אותו. זו עבודה על מה שכתוב ברשת, לא על מי שקורא אותה, וזו בניית האזכורים במקורות חיצוניים במובן הפשוט שלה.

איך זה נראה בפועל

נניח משרד עורכי דין בראשון לציון שעוסק בדיני עבודה. המפתח של האתר מקבל מדריך אבטחה ומעתיק ממנו בלוק שחוסם עשרה סורקי AI בבת אחת. הכוונה הייתה לא לתת לתוכן המשרד להיכנס לאימון של מודלים, וזו כוונה לגיטימית.

כעבור שלושה חודשים אחת השותפות שואלת מנוע על פיצויי פיטורים במקרה מסוים, שאלה שהמשרד כתב עליה מדריך מפורט. התשובה מצטטת שני אתרי תוכן כלליים ואת האתר של משרד מתחרה. המשרד עצמו לא מופיע, למרות שהמדריך שלו מדויק יותר. הסיבה: הבלוק כלל גם את שורת סורק החיפוש, ומרגע שהאתר לא נסרק לחיפוש, הוא לא מועמד לשום תשובה.

התיקון לוקח דקה. מסירים את שורת החיפוש ומשאירים את שורת האימון. המשרד נשאר מחוץ לאימון, כפי שרצה, וחוזר להיות מועמד לתשובות. כמה זמן ייקח לו לחזור בפועל, איש לא יודע, כי זה תלוי במועד הסריקה הבאה.

זוויות שונות

לעסק שירותים מקומי

אצלכם המידע שנכנס לאימון מגיע בעיקר ממאגרים ומפרופילים, לא מהאתר. הסיכון העיקרי הוא כתובת או טלפון ישנים שיושבים באינדקס עסקי ותיק ונלמדים שוב ושוב. הטיפול הוא לעבור על המאגרים ולא רק על האתר, וזה מתואר במדריך הישות.

לחנות מקוונת

קטלוג שלם נכנס לאימון כאוסף של שמות מוצרים, מותגים ומפרטים, בלי מחיר ובלי מלאי שמישהו יסמוך עליו. השאלה אם לחסום אימון היא בעיקר שאלה של עומס על השרת, ואם זו הסיבה, הפתרון הוא הגבלת קצב לסורק מסוים בשמו ולא בלוק גורף.

למי שהתוכן הוא המוצר

מו"ל, מאגר מקצועי בתשלום או ספריית מדריכים הם המקרה שבו חסימת אימון היא החלטה עסקית סבירה, כי הערך נמצא בטקסט ולא בפנייה שהוא מייצר. גם אז שווה להשאיר את סורקי החיפוש פתוחים, כדי שהמנוע יפנה אליכם במקום להסביר במקומכם.

מה זה אומר בפועל

פתחו את קובץ robots.txt וקראו אותו שורה אחרי שורה, בעיניים, בלי להסתמך על מה שזכור לכם. לכל שם סורק כתבו ליד: אימון או חיפוש. אם שם של סורק חיפוש נמצא תחת חסימה, זו ההחלטה שהתקבלה בפועל, לא משנה מה הייתה הכוונה. אחר כך בדקו מה השרת מחזיר לאותו סורק, כי שכבת הגנה יכולה לחסום גם כשהקובץ נקי, וזה מוסבר בעמוד ההגנה. רק אז החליטו אם ברצונכם לחסום אימון, ועשו את זה בשמות המדויקים.

איך בודקים את זה לבד

פתחו בדפדפן את הכתובת של האתר בתוספת /robots.txt וקראו את כל הקובץ.
חפשו בו את השמות GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot ו-Google-Extended.
סמנו ליד כל שם אם הוא סורק אימון או סורק חיפוש, לפי מדריך התחביר.
אם סורק חיפוש חסום, הסירו את השורה. אם רק סורק אימון חסום, זו החלטה ולא תקלה.
בקשו עמוד מהאתר כשמזהה הבקשה הוא שם של סורק חיפוש, ובדקו שהתשובה תקינה ולא דף חסימה.
שאלו במנוע שאלה שלקוח שואל, ובדקו אם האתר מופיע במקורות. זו הבדיקה שסוגרת את העניין.

המלכודת

הטעות היקרה היא לחשוב שמונח אחד, סורקי AI, מתאר דבר אחד. הוא מתאר לפחות שלוש משפחות עם תפקידים שונים, ובלוק מוכן ממדריך חוסם את כולן. התוצאה נראית כמו ירידה איטית בהופעה בתשובות, בלי שום התראה, ולוקח חודשים לקשר בינה לבין שורה בקובץ. הטעות השנייה היא הפוכה: לפתוח הכול לרווחה מתוך פחד, כשבפועל חסימת אימון לבדה היא החלטה סבירה שאין לה מחיר בהופעה.

מתי זה לא רלוונטי לכם

אם אתם לא יודעים מה כתוב בקובץ robots.txt שלכם ואין לכם גישה למי שיודע, ההבחנה הזו לא עוזרת עד שהגישה תוסדר. ואם האתר שלכם הוא עמוד נחיתה יחיד עם טופס, כמעט אין בו מה לאסוף לאימון, והשאלה כולה מסתכמת בלוודא שסורקי החיפוש לא חסומים. עסק שההכנסה שלו לא עוברת דרך חיפוש בכלל יכול לדלג על הנושא הזה בלי הפסד.

שאלות נפוצות

אם אחסום את GPTBot, אעלם מ-ChatGPT?

לא. GPTBot אוסף לאימון בלבד. ההופעה בתשובות עם מקורות תלויה ב-OAI-SearchBot, שהוא סורק נפרד עם שורה נפרדת. מי שחוסם רק את הראשון נשאר מועמד לתשובות.

חסמתי אימון לפני שנה. המודל עדיין מתאר אותי לפי מידע ישן. למה?

כי מה שנלמד לפני החסימה נשאר במודל, וכי רוב המידע עליכם הגיע ממקורות שאינם האתר. חסימה עוצרת איסוף עתידי מהאתר שלכם בלבד, ואינה מוחקת דבר.

האם יש דרך לדעת אם האתר שלי היה בנתוני האימון?

לא באופן ודאי. החברות לא מפרסמות את רשימת המקורות. אפשר לשאול את המנוע על העסק בחלון נקי בלי חיפוש, ואם הוא יודע פרטים שנמצאים רק באתר, זה רמז, לא הוכחה.

בגוגל אפשר להישאר בחיפוש ולצאת מהאימון?

לפי התיעוד של גוגל, המזהה Google-Extended שולט בשימוש לאימון ולעיגון של ג'מיני ואינו משפיע על ההכללה בחיפוש. סיכומי ה-AI בחיפוש נשענים על אותו אינדקס של Googlebot, ואין להם יציאה נפרדת.