תחביר robots.txt: הכללים שמפילים אתרים
מי גובר על מי כשיש שני כללים, למה שורה ריקה מסיימת בלוק, איך Allow מנצח Disallow, ומה קורה כשהקובץ מחזיר שגיאה. הטעויות התחביריות שחוסמות בלי כוונה.
לא רשימה של משימות אלא סדר. רוב מי שנתקע בתחום הזה לא עשה את הדברים הלא נכונים, הוא עשה אותם בסדר הלא נכון והשקיע בכתיבה לפני שידע אם בכלל אפשר לקרוא אותו.
עודכן:
הסדר הנכון הוא זה: קודם קובעים איך מודדים, אחר כך בודקים שהדלת פתוחה, אחר כך מודדים בסיס, אחר כך מתקנים את מה שכבר קיים, ורק בסוף כותבים משהו חדש. מי שמתחיל מהסוף, כלומר מכתיבת תוכן, לא ידע בעוד חודשיים אם משהו השתנה ולמה, ובמקרים לא מעטים גם יגלה שכל מה שכתב מעולם לא נסרק.
העמוד הזה הוא סדר הפעולות עצמו. את ההסברים המלאים לכל שלב לא נחזור כאן, יש להם עמודים משלהם ונקשר אליהם במקום.
זה השלב שכמעט כולם מדלגים עליו, וזו הסיבה שאין להם אחר כך מה להשוות אליו.
לפני כל תיקון, כתבו עשר עד חמש עשרה שאלות מסחריות אמיתיות, שמורות בקובץ, בניסוח סופי. מרגע שקבעתם אותן, לא משנים ניסוח. שאלה ששונתה באמצע הדרך הורסת את הסדרה, כי לא תדעו אם השינוי בתוצאה נובע ממה שעשיתם או מהניסוח החדש.
שתי הנחיות שמכריעות את איכות הסט:
שאלה שלא מפעילה חיפוש היא שאלה מבוזבזת. שאלות הגדרה כלליות נענות מהזיכרון של המודל ולא יזכירו אף ספק, ולכן אין להן ערך כמדד. פירוט מלא על ההבחנה הזו נמצא במדריך ChatGPT.
הסט צריך לכלול גם שאלות שאתם צפויים להפסיד בהן. סט שמורכב רק משאלות נוחות ייתן לכם תשעים אחוז הופעה בחודש הראשון ואפס מידע. שאלות שבהן מוזכרים היום רק מתחרים הן אלה שמלמדות משהו.
בשלב הזה גם מחליטים מי מריץ את הבדיקה ובאיזה יום בחודש. אם זה לא נכנס ליומן של אדם מסוים, זה לא יקרה בפעם השנייה.
הבדיקה הזו לוקחת בין עשר דקות לחצי יום, והיא היחידה שיכולה לבטל את כל שאר העבודה.
שלוש שכבות, לפי הסדר: מה כתוב ב-robots.txt, האם שכבת ההגנה או ה-CDN חוסמת בוטים ברמת הרשת לפני שהבקשה בכלל מגיעה לאתר, והאם הטקסט קיים במקור העמוד או נבנה רק אחרי הרצת קוד בדפדפן. השכבה האמצעית היא הקשה לאבחון והנפוצה יותר ממה שנדמה, כי היא לא מותירה שום עקבות בלוגים של האתר.
ההפרדה בין סורק אימון לסורק חיפוש, הטבלה המלאה של שמות הסורקים לפי חברה, ואיפה הקובץ יושב בכל סוג פלטפורמה, כולם במדריך הטכני. אל תעברו הלאה לפני שהשלב הזה סגור. כתיבה על אתר חסום היא הדבר היקר ביותר שאפשר לעשות כאן.
עכשיו, ורק עכשיו, מריצים את הסט. חלון נקי לכל שאלה, בלי היסטוריית שיחה, ומתעדים ארבעה דברים לכל שאלה: האם הוזכרתם, האם בשם בלבד או עם קישור, אילו מתחרים הוזכרו ובאיזה סדר, ואילו מקורות צוטטו.
העמודה הרביעית היא זו שמייצרת את תוכנית העבודה. רשימת המקורות שחוזרת על עצמה על פני שאלות שונות היא מפת השטח של התחום שלכם אצל המודלים, והיא כמעט תמיד מפתיעה. רוב האנשים מתעדים רק "האם הוזכרתי" ונשארים עם מספר שאי אפשר לעשות איתו כלום.
לצד ההרצה הידנית, שווה כבר עכשיו לבודד בכלי הניתוח את הכניסות שמגיעות מציטוט. ציטוט ב-ChatGPT מגיע לאתר עם פרמטר מקור ייעודי על הקישור, וזו המדידה היחידה בתחום הזה שאינה מדגמית: כל כניסה כזו היא הוכחה שצוטטתם, לא הערכה. הנפח יהיה קטן וזו לא הנקודה. השיטה המלאה, כולל איך הופכים את זה למספרים שאפשר להציג, נמצאת במדריך המדידה.
זה השלב עם ההחזר הגבוה ביותר לשעת עבודה, וזה גם השלב שכמעט אף אחד לא מוכר, כי אין בו תוצר חדש שאפשר להראות.
הקטגוריה הראשונה היא עמודים שכבר מדורגים ואין בהם מה לצטט. עמוד שיושב בעמוד הראשון של החיפוש כבר נמצא בסל שממנו המודל שולף. אם אין בו פסקה שעונה על שאלה אחת ומובנת בלי מה שכתוב מעליה, הוא נמצא בסל ולא נבחר. תוספת של פסקה כזו לעמוד קיים היא שעה עבודה מול חודשים של בניית עמוד חדש.
הקטגוריה השנייה היא כפילות. שני עמודים שמכסים את אותה שאלה מפצלים את הסיגנל, ואחד מהם צריך להפוך להפניה.
הקטגוריה השלישית היא ניסוח שמתחמק. משפט כמו "המחיר נקבע לפי אפיון" לא ייכנס לשום תשובה. טווח, גורם משפיע ותנאי כן ייכנסו. הכללים המלאים לכתיבה שניתן לצטט נמצאים במדריך התוכן, ולא נחזור עליהם כאן.
השלב הזה נראה כמו עבודת ניקיון, והוא מכריע דווקא בשאלות שבהן שואלים "את מי מומלץ".
שם העסק בכתיב אחיד בכל מקום, אותה כתובת ואותו טלפון בכל פרופיל, אותה הגדרת תחום, וסימון Organization בעמוד הבית שמקשר לכל הפרופילים האחרים. כשהפרטים סותרים את עצמם ברשת, המודל מתקשה להתייחס אליכם כישות אחת ונוטה לבחור מקור בטוח יותר.
בעברית מצטרפת שכבה שאין באנגלית: אותו עסק נכתב לא פעם בשלוש צורות, בכתיב מלא וחסר, עם תעתיק לועזי או בלעדיו. בחרו צורה אחת, השתמשו בה בכל מקום, והזכירו את השאר פעם אחת בעמוד אודות כדי שיהיה גשר. אם מה שכתוב עליכם ברשת פשוט שגוי, זה לא נפתר בבקשה מהמודל בצ'אט אלא במקורות עצמם, כמפורט כאן.
בשאלות המלצה, המקורות שנשלפים הם לרוב לא אתרי הספקים אלא מה שנראה כמו סקירה: השוואות, רשימות, קטלוגים ואתרי תוכן בתחום. אפשר לכתוב את העמוד המושלם ולא להופיע, כי המודל ציטט מדריך שבו אתם לא מוזכרים.
כאן נכנסת לתפקידה רשימת המקורות שאספתם בשלב שתיים. היא לא רשימת קריאה, היא רשימת יעדים. בעברית הרשימה הזו קצרה במיוחד, ובהרבה תחומים חוזרים אותם שלושה או ארבעה מקורות. זו בשורה כפולה: קל למפות, קשה להיכנס. איך ניגשים אליהם בפועל, במדריך האזכורים.
זה סיכום של כל מה שלמעלה לפי החזר מול מאמץ. אם יש לכם שבוע אחד ולא יותר, עשו את שלוש השורות הראשונות.
| שלב | מאמץ | מה זה מחזיר | איך יודעים שסיימתם |
|---|---|---|---|
| נעילת סט שאלות | שעה | בלעדיו אין מדידה, יש רק תחושה | קובץ עם שאלות בניסוח סופי ובעל אחראי |
| אבחון חסימה | עשר דקות עד חצי יום | מבטל או מאשר את כל שאר העבודה | סורקי החיפוש לא חסומים בשלוש השכבות |
| מדידת בסיס | שעה עד שעתיים | נקודת ההשוואה, ורשימת המקורות לעבודה | טבלה עם ארבע עמודות לכל שאלה |
| תיקון עמודים מדורגים | שעה לעמוד | ההחזר הגבוה ביותר לשעה בכל הרשימה | לכל עמוד יש פסקה שעומדת בפני עצמה |
| איחוד כפילויות | יום | מפסיק לפצל סיגנל בין שני עמודים | עמוד אחד לכל שאלה, השאר הפניות |
| אחידות ישות וסימון | יום | קריטי בשאלות המלצה, זניח בשאלות מידע | אותם פרטים בכל פרופיל, בלי סתירות |
| עבודה על מקורות חיצוניים | מתמשך | ההשפעה הגדולה ביותר והאיטית ביותר | אין סיום, יש קצב |
| תוכן חדש | מתמשך | אחרון בסדר, לא אחרון בחשיבות | נמדד בהרצה הבאה, לא ביום הפרסום |
הרשימה הזו נכתבה כדי שתוכלו להריץ אותה בעצמכם. כשהיא נעשית מולנו היא לא משתנה, רק מתחלקת: מה אנחנו מבצעים ומה נשאר אצלכם כתוב שם שורה מול שורה, באותו סדר בדיוק.
מדידה בודדת היא צילום מסך. הכלל הוא הרצה חודשית קבועה, באותו יום, באותה שיטה, על אותו סט. בין ההרצות לא נוגעים בסט.
מה שמסתכלים עליו הוא לא ההפרש בין שתי הרצות אלא הכיוון על פני שלושה עד ארבעה חודשים. אותה שאלה מחזירה מקורות שונים בהרצות שונות, ולכן שינוי של שאלה אחת או שתיים בין חודש לחודש הוא רעש. הטעויות שחוזרות בשלב הזה, כולל הנטייה להסיק מסקנה מהרצה בודדת, מרוכזות בעמוד הטעויות.
מתי בכלל שווה להיכנס לזה ובאיזה היקף, בתחום שבו גוף התשובה עצמו אינו נמכר, נדון בעמוד התזמון ובצד התקציבי בעמוד התקצוב.
שלושה דברים שנמכרים כחלק מהתהליך ולדעתנו לא מצדיקים שקל.
"אופטימיזציית llms.txt" כשירות. שווה לשים את הקובץ כי העלות אפסית, ואף מנוע לא התחייב לקרוא אותו. זה לא שלב בתהליך.
כלי ניטור שמבטיח ציון נראות. אין מדד רשמי ואין דירוג בשום מנוע. כל מספר כזה הוא תוצאה של דגימה שמישהו הריץ, ובעברית לרוב על סט שאלות שלא אתם קבעתם. אם ממילא מדובר בדגימה, עדיף שהיא תהיה שלכם.
להמתין למודעות. מקום בתוך גוף התשובה עצמה לא נמכר באף מנוע, גם לא ב-ChatGPT שנפתח לרכש מישראל, וזה לא תלוי בכם. מה שכן פתוח, איפה, ומתי זה משתנה, מתוחזק בעמוד המצב בישראל. מונחים שחוזרים כאן מוסברים במילון, והמנגנון של סיכומי AI בגוגל, שנכנס לתמונה גם לפני שיש בהם מודעות בעברית, נמצא במדריך גוגל.
אין לנו דרך לדעת כמה מכל שלב באמת תרם. המנועים לא מפרסמים קריטריונים לבחירת מקורות, לא נותנים לבעלי אתרים שום דיווח על ציטוטים, ומשנים התנהגות בגרסאות מודל חדשות בלי הודעה. לכן הסדר שמוצע כאן בנוי על היגיון של סיבה ותוצאה ועל דגימות חוזרות, ולא על נתון מהפלטפורמה.
שתי נקודות ספציפיות שאנחנו מסמנים כלא ידועות: כמה זמן לוקח עד ששינוי בעמוד מתבטא בציטוטים, וכמה משקל יש לאזכור באתר צד שלישי לעומת עמוד משלכם. שני אלה משתנים בין תחומים, ומי שמציג לכם מספר עליהם המציא אותו.
מי גובר על מי כשיש שני כללים, למה שורה ריקה מסיימת בלוק, איך Allow מנצח Disallow, ומה קורה כשהקובץ מחזיר שגיאה. הטעויות התחביריות שחוסמות בלי כוונה.
שכבת הגנה או CDN יכולים לחסום את סורקי ה-AI לפני שהבקשה מגיעה לאתר, בלי שורה אחת ב-robots.txt. איך מאבחנים את זה בחמישה שלבים, ומה בדיוק מתקנים.
יש סורקים שלא מריצים קוד ורואים שלד ריק במקום הטקסט שלכם. איך בודקים את זה בפחות מדקה, למה זה נפוץ דווקא באתרים חדשים, ומה בדיוק הפתרון בצד השרת.
Organization, LocalBusiness, FAQPage, Article ו-Product: מה כל סוג עושה בפועל, באיזה סדר להטמיע אותם, ולמה סימון שגוי מזיק יותר מהיעדר סימון.
סורקי חיפוש רצים בתדירות גבוהה ומוותרים מהר. מה קורה כשהאתר מחזיר שגיאות או תגובות איטיות, איך מזהים את זה בלוגים ומה לתקן קודם כדי לא לצאת מהתשובות.
שינוי מבנה כתובות בלי הפניות מוחק את היסטוריית האזכורים במנועי AI. מה בדיוק נשבר, למה אין על זה שום התראה, ואיך עושים מעבר בלי לאבד ציטוטים ותנועה.
בלי מצגת, בלי התחייבות ובלי שיחת מכירה. עשרים דקות שבסופן תדעו אם יש כאן משהו בשבילכם.
לא בקטע של טפסים? [email protected]