איך בונים את סט השאלות שלפיו מודדים

סט טוב הוא בין 20 ל-30 שאלות שלקוח אמיתי היה מקליד, מחולק לשלושה סוגים בפרופורציה קבועה, מנוסח מילה במילה ונעול לאורך רבעון. רוב הסטים שאנחנו נתקלים בהם נכשלים באותם שלושה מקומות בדיוק: יותר מדי שאלות הגדרה, שם המותג תקוע בתוך הניסוח, ומישהו ששיפר את הסט באמצע הדרך והרג את הרצף. הפרקים הבאים מפרקים כל אחד מהם.

הסט הוא כלי המדידה, לא ההכנה אליו

בחיפוש רגיל יש עוגן חיצוני. מילת מפתח קיימת בעולם, יש לה נפח חיפוש, ויש מיקום שאפשר לבדוק. במנועי AI אין אף אחד מהשלושה. אין דירוג, אין ממשק דיווח לבעלי אתרים ואין מספר שמגיע מהפלטפורמה. מה שיש הוא שאלה בינארית לכל תשובה בודדת, כמו שמפורט במדריך ChatGPT: הוזכרתם או לא.

המשמעות המעשית קשה יותר ממה שהיא נשמעת. אם הסט הוא כלי המדידה, אז שינוי בסט הוא כיול מחדש של המכשיר, ואי אפשר להשוות בין מדידה שלפניו למדידה שאחריו. מי שמחליף שלוש שאלות בין ינואר לפברואר ואז מציג עלייה מ-31 אחוז ל-44 אחוז, מציג הפרש בין שני מכשירים שונים.

לכן ההחלטה הכי חשובה בכל תהליך המדידה מתקבלת ביום הראשון, לפני שהורצה שאלה אחת. את מנגנון הספירה עצמו, החלון הנקי והתדירות, מכסה מדריך המדידה. כאן מדובר רק בשאלה מה נכנס לסט.

שלושת סוגי השאלות, ומה כל אחד מודד

זו ההפרדה שהכי הרבה אנשים מדלגים עליה, והיא זו שקובעת אם המספר בסוף אומר משהו.

שאלות ספק. "מי עושה שיפוצי מטבחים באזור השרון", "את מי מומלץ לפנות אליו לייעוץ משכנתאות בחיפה". השאלות האלה מודדות דבר אחד: האם אתם בכלל בסל השמות. הן החשובות ביותר והקשות ביותר, כי בשאלות מהסוג הזה המקורות שנשלפים הם לרוב לא אתרי הספקים אלא השוואות, רשימות ודיונים מקצועיים. אם אתם לא מופיעים בהן, העבודה היא כמעט תמיד על אזכורים אצל אחרים ולא על האתר שלכם.

שאלות החלטה. "כמה עולה ליווי מס לעצמאי", "מה ההבדל בין שני סוגי הביטוח", "איך בוחרים ספק בתחום". כאן נמדד משהו אחר: האם תוכן שאתם שולטים בו נכנס כמקור. זה הסוג היחיד שבו עמוד שתכתבו החודש יכול להשפיע בטווח זמן סביר, וזו הסיבה שהוא הסוג שמצדיק השקעה בכתיבה לציטוט.

שאלות מותג. שאלות שמכילות את שם העסק שלכם. הן לא מודדות נראות אלא דיוק, ולכן צריכות להיספר בנפרד לחלוטין.

הנקודה האחרונה שווה הדגשה כי היא הכשל השקט הנפוץ ביותר. בשאלה שמכילה את שם העסק שלכם, המנוע כמעט תמיד יזכיר אתכם, כי שאלתם עליכם. אם חמש שאלות כאלה יושבות בתוך סט של עשרים וכולן נספרות באותו אחוז, קיבלתם רבע מהציון כמתנה קבועה שלא מייצגת דבר. הסט נראה בריא, והמספר לא זז אפילו כשהמצב האמיתי מתדרדר. שאלות מותג מודדות מה נאמר עליכם, וזו עבודה נפרדת שמתחילה במדריך תיקון מידע שגוי.

למה שאלת הגדרה הורסת את המדידה?

"מה זה ייעוץ מס". "מהי תוכנית פנסיה". שאלות כאלה נכנסות כמעט לכל סט שאנחנו רואים, כי הן נשמעות רלוונטיות לתחום ומגיעות ישר מכלי מילות המפתח. הן גם הדבר שהכי מקלקל את הסט.

הסיבה מכנית. שאלת הגדרה כללית לרוב לא מפעילה חיפוש חי בכלל. המודל עונה ממה שלמד באימון, בלי לשלוף מקורות ובלי להזכיר ספקים. אין שם שום דבר להשפיע עליו בטווח הנראה לעין, וגם לא שום דבר למדוד.

ההשפעה על התוצאה פועלת בשני כיוונים הפוכים, ושניהם רעים. אם השאלות האלה נספרות בציון, הן אפס קבוע שמדלל את האחוז ומסתיר תנועה אמיתית בשאלות שכן חשובות. ואם מסתכלים עליהן כעל יציבות, הן משדרות שהסט שקט בזמן שהוא פשוט לא נוגע בשום דבר חי.

יש לזה גם נזק שני, עקיף וכבד יותר. סט עמוס בשאלות הגדרה מוליד מסקנה שצריך לכתוב עוד תוכן מסביר, ומתחיל מסלול שלם של עמודי הסבר שאף לקוח לא הגיע דרכם. זו אחת הטעויות שמרוכזות בעמוד הטעויות, והמקור שלה כמעט תמיד בסט.

מבחן הסינון שאנחנו מריצים על כל שאלה מועמדת: האם היא מכילה לפחות אחד מחמישה, מחיר, מיקום, ציון זמן, השוואה בין אפשרויות, או בקשה לספק. אם לא, היא לא נכנסת. ואחריו בדיקה שנייה, אמפירית: להריץ אותה פעם אחת ולראות אם בתשובה מופיעות הפניות למקורות. אם אין הפניות, לא הופעל חיפוש, והשאלה לא שייכת לסט מדידה. ההסבר על שני המסלולים האלה נמצא במדריך ChatGPT.

כמה שאלות, ואיך מפזרים אותן

התשובה האינטואיטיבית היא שככל שיותר כך טוב יותר. בפועל ההפך.

מדידה אמיתית היא לא הרצה אחת לשאלה. שאלה נשאלת שלוש פעמים בחלון נקי כדי לראות פיזור, ולרוב על יותר ממנוע אחד. סט של 25 שאלות על שלושה מנועים בשלוש חזרות הוא 225 הרצות מתועדות בסבב. סט של 60 שאלות הוא 540, וזה כבר לא נעשה. מה שקורה בשטח הוא שהסט הגדול מורץ פעם אחת ברצינות, בפעם הבאה מקצרים ומדלגים, וכל ההשוואה נופלת.

עדיף סט קטן שמורץ במלואו כל חודש על פני סט גדול שמורץ חלקית. הפיזור שאנחנו עובדים לפיו:

שתי שאלות הביקורת בשורה האחרונה הן התוספת שכמעט אף אחד לא עושה, ובלעדיהן אין דרך לדעת אם המדידה עצמה נשברה. הראשונה היא שאלה בתחום שאתם בכלל לא עוסקים בו, שבה אתם אמורים לא להופיע. אם פתאום אתם כן מופיעים בה, סימן שסביבת הבדיקה מזוהה או מוטה. השנייה היא שאלה שבה שחקן ותיק וידוע בשוק אמור להופיע כמעט תמיד. אם גם הוא נעלם, הבעיה היא בהרצה ולא בכם.

לגבי אזורים גיאוגרפיים: הפיתוי הוא לשכפל כל שאלה לכל עיר שאתם משרתים, והתוצאה היא סט שמתנפח פי חמישה ומודד את אותו דבר. עדיף לבחור אזור אחד קבוע שנשאר זהה לאורך זמן, ולהוסיף אזור שני כדגימת בקרה בלבד.

הניסוח: איך כותבים שאלה שלא מטה את התשובה

הכלל הראשון קשה למי שגאה בשם שלו. שם העסק לא מופיע בשאלות ספק ולא בשאלות החלטה. אף פעם. אפילו לא כדוגמה, אפילו לא בסוף המשפט. שאלה שמכילה את השם שלכם היא שאלה מובילה, והתשובה שתחזור לא אומרת דבר על מה שקורה כשלקוח אמיתי שואל.

הכלל השני הוא אורך. שאלה בת שתיים או שלוש מילים מתנהגת כמו שאלת הגדרה, גם אם התכוונתם אחרת. שאלות אמיתיות של אנשים ארוכות יותר, מכילות הקשר, ולעתים קרובות מנוסחות רע. כתבו אותן כמו שהן נאמרות באמת, כולל כתיב חופשי, בלי סימני פיסוק ובלי ניסוח מקצועי מדי.

הכלל השלישי הוא שאלה אחת בכל שורה. "כמה זה עולה ומה כדאי לבחור" הן שתי שאלות, והתשובה שתחזור תערבב אותן כך שלא תדעו על מה בדיוק נמדדתם.

הכלל הרביעי ספציפי לעברית: גרסה עברית וגרסה אנגלית של אותה שאלה הן שתי שאלות נפרדות, לא שתי צורות של אחת. סל המקורות שנשלף שונה, לפעמים לגמרי. אם התחום שלכם חי בשתי שפות, החליטו מראש איזו מהן הסט מודד, ואל תערבבו את שתיהן לתוך אותו אחוז.

איך נועלים את הסט?

הנעילה היא נוהל, לא כוונה טובה. אלה החוקים שאנחנו עובדים לפיהם.

לסט יש גרסה ותאריך. קובץ אחד, שורה לכל שאלה, עמודה לסוג, עמודה לתאריך הכניסה. בלי זה אין דרך לדעת בעוד חצי שנה מה בדיוק נמדד במרץ.

הניסוח לא משתנה באמצע. שינוי של מילה אחת יוצר שאלה חדשה, וסדרת המדידה שלה מתחילה מאפס. אם חייבים לתקן ניסוח, השאלה החדשה נכנסת כשורה נוספת והישנה נשארת עוד סבב אחד במקביל, כדי שיהיה גשר בין השתיים.

חלון שינוי אחד, פעם ברבעון. שאלות מועמדות נאספות לרשימת המתנה לאורך הרבעון, משיחות מכירה, מתיבת החיפוש הפנימית באתר ומשאילתות אמיתיות בקונסולת החיפוש, ונכנסות רק במועד הקבוע.

שאלה לא יוצאת מהסט כי התוצאה שלה מכוערת. זה החוק החשוב מכולם. ברגע שמותר להוציא שאלה שנראית רע, הדוח מפסיק להיות מדידה והופך למסמך מכירה. הוצאה מותרת משלוש סיבות בלבד: השירות חדל להיות רלוונטי, השאלה הפסיקה להפעיל חיפוש, או שהתברר שהיא כפולה. הסיבה נרשמת ליד השורה, עם תאריך.

מי שמריץ, מריץ אותו דבר. אותו סדר, אותו יום בחודש, חלון נקי לכל שאלה. אם ספק חיצוני עושה את זה עבורכם, הסט עצמו צריך להימסר לכם בכתב, וזו אחת השאלות שכדאי לשאול כשבוחרים ספק לעבודה הזו.

אצלנו זה כתוב מראש: מי בונה את הסט ומי מאשר אותו הוא השלב הראשון בעבודה, והשאלות עצמן נמסרות בקובץ ונשארות אצלכם גם ביום שנפרדים.

שלוש מלכודות שחוזרות

סט שנולד מייצוא של כלי מילות מפתח. מילות מפתח הן לא שאלות. הן קצרות מדי, כלליות מדי, ורובן לא יפעילו חיפוש. סט כזה מייצר אחוז נמוך ויציב שנראה כמו כישלון, ובעצם לא מדד כלום.

סט שמכסה רק את שירות הדגל. אם כמעט כל השאלות נוגעות לשירות אחד, לא תדעו לעולם שדווקא בשירות המשני אתם מוזכרים באופן קבוע. פיזור בין קווי השירות הוא לא סרק, הוא מקור להחלטות.

ייחוס כל תזוזה לעבודה שלכם. מנועים משנים גרסאות בלי הודעה, ואותה שאלה מחזירה מקורות שונים בהרצות שונות. ירידה של סבב אחד היא רעש. שינוי אמיתי נראה על פני שלושה חודשים לפחות, ובתנאי שהסט לא זז. שאלות נפוצות על התהליך, ועל מה שנחשב תזוזה אמיתית, מרוכזות בעמוד השאלות והתשובות.

מה עדיין לא ידוע

אין מספר מוסכם לכמות ההרצות שצריך לשאלה. אנחנו עובדים בשלוש חזרות כי זה מה שמאפשר לזהות פיזור בעלות סבירה, וזו החלטה שלנו ולא ממצא מחקרי. גם אין מחקר פומבי על התנהגות דגימה בעברית, ולכן כל מה שכתוב כאן על עברית נשען על התרשמות מדגימות חוזרות ולא על נתון מהפלטפורמות.

אף מנוע לא חושף כמה שאילתות חיפוש הוא ייצר מהשאלה שלכם ומה היה הניסוח שלהן, ולכן אי אפשר לדעת אם שאלה שנכשלה נכשלה בגלל הסל או בגלל בחירת המקור מתוכו. אין גם דרך לאמת שסט אחד מתנהג באופן דומה בין מנועים שונים, ולכן אנחנו מחזיקים ציון נפרד לכל מנוע ולא ממוצע אחד.

ולבסוף ההקשר הישראלי, שהוא הסיבה שכל הדיון הזה בכלל נחוץ. מנוע אחד מוכר היום מודעות לעסק הרשום בישראל, ChatGPT, מ-16 בספטמבר 2026. מצב ה-AI של גוגל פעיל כאן ובעברית ובלי מודעות בתוכו. אין קיצור דרך בתשלום ואין מיקום שאפשר לקנות, ולכן הדגימה החוזרת היא כלי המדידה היחיד שקיים. התמונה המעודכנת של מה פתוח ומה סגור נמצאת בעמוד המצב בישראל, והצד הטכני שחייב להיות תקין עוד לפני שמודדים נמצא במדריך הטכני.