ClaudeBot

הסורק של Anthropic, מפעילת Claude. חסימתו מונעת שימוש בתוכן לאימון ולתשובות של Claude, ואינה משפיעה על מנועים אחרים.

עודכן: 19 בספטמבר 2026

מה הוא, ומה עוד יש ליד

ClaudeBot הוא הסורק ש-Anthropic, החברה שמפעילה את Claude, מתעדת כסורק שאוסף תוכן מהרשת לשיפור המודלים שלה, כלומר לאימון. המחרוזת שהוא מציג מכילה את השם ClaudeBot, מספר גרסה, וכתובת דואר של החברה ליצירת קשר. לפי התיעוד, הוא מכבד את robots.txt ואינו נכנס לעמודים שמוגנים בסיסמה.

הוא לא לבד. Anthropic מתעדת שני מזהים נוספים: Claude-SearchBot, שסורק כדי לשפר את איכות תוצאות החיפוש של Claude, ו-Claude-User, שניגש לעמוד כשמשתמש שאל שאלה שדרשה את זה. אותה חלוקה לשלוש משפחות כמו אצל OpenAI: אימון, חיפוש, ובקשת משתמש.

המסקנה זהה גם כאן. חסימה של ClaudeBot היא חסימה של אימון בלבד, וכל אחד משני האחרים נחסם רק אם מישהו כתב את שמו המלא בשורה משלו בקובץ. שם חלקי לא תופס.

מה החסימה עושה לתשובות של Claude

התוכן שנאסף לאימון הוא מה שהמודל יודע מעצמו: מה שהוא עונה כשהוא לא מריץ חיפוש, מהזיכרון, על סמך מה שראה בזמן האימון. זה הזיכרון. חסימת ClaudeBot מונעת שהתוכן שלכם ייכנס לשם בדורות הבאים, ובמובן הזה היא כן נוגעת לתשובות של Claude, לאלה שנבנות בלי חיפוש חי.

ההופעה כמקור בתשובה עם חיפוש היא מנגנון אחר. שם מה שקובע הוא אם Claude-SearchBot הצליח למשוך את העמוד, ואם הוא נחסם, אתם מחוץ לרשימת המקורות בלי קשר לאימון. מי שרוצה להופיע כמקור ולא לתרום לאימון כותב שם אחד תחת Disallow ולא נוגע בשני. ההחלטה אילו סורקים להתיר נסגרת פעם אחת, בכתב.

כמה מהתשובות של Claude נבנות מהזיכרון וכמה מחיפוש חי, לא ידוע. Anthropic לא מפרסמת את זה, ולכן גם לא ניתן לומר כמה בדיוק מפסיד אתר שחוסם רק אימון. ההתרשמות שלנו היא שזה משנה לאורך שנים, וזו התרשמות ולא ממצא.

רשימות ישנות, ושמות שכבר לא מוצגים

Anthropic פרסמה לאורך הזמן יותר משם אחד, ובלוקים מועתקים שמסתובבים ברשת מכילים שמות ישנים שהתיעוד הנוכחי כבר לא מציג כסורק פעיל. אנחנו לא מפרטים אותם כאן, כי אין לנו דרך לאשר איזה תפקיד מיוחס לכל אחד היום.

מה שכן אפשר לומר: אם בקובץ שלכם יושב שם ישן של Anthropic, אל תסתמכו עליו כתחליף. השם שהתיעוד מציג לאימון הוא ClaudeBot, וכלל שמכוון לחסום אימון צריך לכתוב אותו במפורש, בבלוק משלו, בלי להסתמך על שום שם קודם. השורה הישנה לא מזיקה. השאירו אותה עם הערה.

וההפך חשוב יותר: בלוק ישן שנכתב לפני שהופיע Claude-SearchBot לא חוסם אותו, וזה טוב. מי שרוצה להופיע בתשובות עם חיפוש לא צריך לעשות כלום מלבד לא להוסיף את השם הזה לחסימה.

אימות, ומה חסר בו

אצל OpenAI ואצל פרפלקסיטי יש קובץ טווחי כתובות להשוות מולו. אצל Anthropic, נכון לכתיבת שורות אלה, לא ידוע לנו על קובץ רשמי כזה, ואם יתפרסם, זו הבדיקה הראשונה שכדאי להוסיף. בינתיים האימות חלש יותר, ומסתמך על סימנים: המחרוזת המלאה כולל כתובת הדואר, בקשה לקובץ robots.txt לפני שאר העמודים, וקצב שנראה כמו סריקה ולא כמו גירוד.

זו הסיבה שחוק בשכבת ההגנה שמתיר את השם הזה לפי שם בלבד פותח דלת רחבה יותר מאשר אצל האחרים, שאצלם אפשר לצרף לחוק תנאי על טווח כתובות ולסגור אותה. הפתרון הסביר הוא פשוט. לא לחסום בכלל, ואז לא צריך חוק. ומי שחייב הגנה מחמירה מגביל קצב במקום לחסום שם.

איך זה נראה בפועל

תרחיש מומצא: חברת תוכנה ישראלית שמוכרת מערכת לניהול משמרות למסעדות, עם בלוג מקצועי ועמוד מחירים פתוח. מחלקת המשפטים החליטה שהתוכן לא ייתרם לאימון של אף מודל, ומחלקת השיווק רצתה להמשיך להופיע בתשובות. שני הצדדים צדקו, ושניהם חשבו שזה סותר.

בקובץ נכתבו שלושה בלוקים נפרדים: GPTBot, ClaudeBot ו-Google-Extended, כל אחד עם Disallow: /. את Claude-SearchBot, OAI-SearchBot ו-PerplexityBot לא הזכירו. הערה בקובץ תיעדה את התאריך ואת ההחלטה.

חודשיים אחר כך ביומנים: ClaudeBot לא הופיע מאז השבוע הראשון. Claude-SearchBot הופיע בקצב נמוך אבל קבוע, בעיקר במאמרים. וכמה פעמים בחודש הופיע Claude-User על עמוד המחירים, כלומר מישהו הביא את העמוד הזה לשיחה עם Claude וביקש להבין.

מה שנשאר פתוח, ואי אפשר לסגור: אם החסימה כובדה במלואה, ואם משהו נאסף לפני שנכתבה. את שניהם אף חברה לא מאשרת, וההיעלמות מהיומן היא כל העדות שיש.

זוויות שונות

לעסק שירותים

אין כאן החלטה לקבל ברוב המקרים. עמודי שירות נועדו להיקרא, וחסימת אימון של Claude לא נותנת לעסק שמוכר שירות כלום. אם השם הזה כבר בקובץ שלכם מבלוק מועתק, בדקו שלא נגרר איתו Claude-SearchBot, וזהו.

למי שהתוכן הוא המוצר

זה המקרה שבו חסימת ClaudeBot היא עמדה לגיטימית, לצד חסימת GPTBot ו-Google-Extended. כתבו כל שם בבלוק משלו, השאירו את סורקי החיפוש מחוץ לחסימה, ובדקו אחרי חודש שרק השמות שרציתם נעלמו מהיומן.

ל-B2B עם מחזור מכירה ארוך

השורות המעניינות ביומן הן דווקא של Claude-User על עמודי מחירים ומסמכים טכניים: הן אומרות שמישהו בצד הקונה מביא אתכם לשיחה. אם העמודים האלה נעולים מאחורי טופס, השליח חוזר בידיים ריקות והשיחה ממשיכה ממקור אחר.

מה זה אומר בפועל

קודם תחליטו על אימון, ורק אחר כך תיגעו בקובץ. אם ההחלטה היא לא לחסום, אין מה לעשות מלבד לוודא שאף אחד לא חסם עבורכם. אם ההחלטה היא לחסום, כתבו ClaudeBot בבלוק משלו, אל תוסיפו לידו את Claude-SearchBot, ותעדו בהערה. ואחרי חודש פתחו יומנים וספרו את שלושת השמות בנפרד. שלוש ספירות, כי כל אחת עונה על שאלה אחרת: אימון, חיפוש, ומישהו שהביא אתכם לשיחה.

איך בודקים את זה לבד

פתחו את כתובת האתר עם התוספת /robots.txt וחפשו את שלושת השמות: ClaudeBot, Claude-SearchBot, Claude-User. לכל אחד בדקו תחת איזה User-agent הוא יושב ומה כתוב שם.
הבלוק שחוסם אימון ומשאיר חיפוש פתוח: User-agent: ClaudeBot ואחריו Disallow: /. את Claude-SearchBot לא מזכירים, ובלי שורה עליו הוא פתוח.
ספרו ביומנים כל שם לחוד: grep -ci "claudebot" access.log ואחר כך grep -ci "claude-searchbot" access.log ואז grep -ci "claude-user" access.log. שימו לב שהחיפוש הראשון לא תופס את השניים האחרים, כי השמות שונים.
פרקו את סורק החיפוש לפי קוד תגובה עם cut במקום awk: grep -i "claude-searchbot" access.log | cut -d' ' -f9 | sort | uniq -c | sort -rn ותקראו את העמודה הראשונה. שורות 403 בלי שורה מתאימה בקובץ הן שכבת הגנה.
בדקו מה השרת עונה לשם ישירות: curl -A "Claude-SearchBot" -o /dev/null -w "%{http_code}" https://www.example.co.il/ והשוו לבקשה בלי הדגל.
לאימות מקור, הסתכלו על המחרוזת המלאה ביומן: סורק מוצהר של Anthropic נושא כתובת דואר של החברה. זה סימן ולא הוכחה, ובהיעדר קובץ טווחים רשמי שידוע לנו, זה מה שיש. חוק הרשאה לפי שם בלבד פותח דלת, ולכן עדיף לא לחסום בכלל, ואז אין צורך בחוק.

המלכודת

המלכודת הראשונה היא לחשוב שהשם Claude תופס את כולם. הוא לא: ההתאמה נעשית על השם המלא, ומי שרוצה לחסום אימון ולהשאיר חיפוש כותב ClaudeBot ולא נוגע ב-Claude-SearchBot. השנייה היא לחסום מתוך רשימה ישנה ולהניח שזה מכסה: שם ישן של Anthropic אינו תחליף לשם שהתיעוד מציג היום. השלישית היא לספור את כל השורות שמכילות Claude כאילו הן דבר אחד. שלושה שמות, שלוש שאלות שונות, ומספר אחד שמערבב אותן לא עונה על אף אחת. ורביעית, שקטה: לפרש את היעדר ClaudeBot מהיומן כחסימה מוצלחת כשבפועל השכבה שלפני האתר עצרה גם את סורק החיפוש.

מתי זה לא רלוונטי לכם

אם אתם לא מתכוונים לחסום אימון, ואף אחד לא חסם עבורכם, אין כאן עבודה. הסורק נכנס, סורק החיפוש נכנס, ואין מה לאשר. גם מי שמחפש כאן מדד להופעה ב-Claude לא ימצא אותו: השורות ביומן אומרות שנמשכתם, לא שנבחרתם. ומי שמנהל אתר סגור למנויים, שממילא אינו נסרק, לא צריך את השם הזה בקובץ בכלל.

שאלות נפוצות

חסמתי את ClaudeBot. אני עדיין יכול להופיע כמקור ב-Claude?

לפי התיעוד של Anthropic, כן, כל עוד Claude-SearchBot לא נחסם. ClaudeBot נוגע לאימון, וההופעה כמקור בתשובה עם חיפוש תלויה בסורק החיפוש.

איך אני מאמת שהשורה ביומן היא באמת Anthropic?

בצורה חלקית בלבד. לא ידוע לנו על קובץ טווחי כתובות רשמי של Anthropic, ולכן הסימנים הם המחרוזת המלאה עם כתובת הדואר, בקשה ל-robots.txt לפני שאר העמודים, וקצב סביר. אם הם יפרסמו קובץ, ההשוואה מולו תהיה הבדיקה הנכונה.

יש בקובץ שלי שם ישן של Anthropic. למחוק?

לא חובה. הוא לא מזיק, ואפשר להשאיר אותו עם הערה. מה שחשוב הוא שאם רציתם לחסום אימון, השם ClaudeBot יופיע בעצמו.

Claude מריץ חיפוש בכל תשובה?

לא ידוע, ו-Anthropic לא מפרסמת חלוקה. חלק מהתשובות נבנות מהזיכרון של המודל וחלק עם חיפוש, ולכן חסימת אימון וחסימת חיפוש משפיעות על שני סוגים שונים של תשובות.

Claude-User מכבד את robots.txt?

לא נציין כאן ניסוח שאיננו בטוחים בו, והתשובה המדויקת נמצאת בעמוד הסורקים של Anthropic. מה שבטוח בכל מקרה: חסימה שעוצרת שליח של משתמש בפועל היא ברמת הרשת, והיא עוצרת את המשתמש.