נקודת ייחוס
המדידה הראשונה, זו שכל מדידה עתידית מושווית אליה.
דגימה
Sampling
מדידה של תופעה גדולה דרך חזרה מבוקרת על סט קטן ומייצג. בהיעדר דיווח מהמנועים, זו שיטת המדידה המרכזית של נראות: אותן שאלות, אותו חלון נקי, במרווחים קבועים.
עודכן:
מדידה בלי מפקד
דגימה היא מדידה של תופעה גדולה מכדי לספור אותה במלואה, באמצעות חזרה מבוקרת על תת-קבוצה קטנה. סקר בחירות לא שואל את כל הבוחרים. הוא שואל אלף, ומצהיר על טווח טעות. הרעיון ותיק, והוא עובד כל עוד שני תנאים מתקיימים: התת-קבוצה נבחרה בשיטה קבועה, והשיטה לא משתנה בין מדידה למדידה.
בעולם הדיגיטלי התרגלנו לוותר על זה. במערכת פרסום יש ספירה מלאה של חשיפות וקליקים, בסרץ' קונסול יש דוח ביצועים, ובכלי הניתוח יש כל ביקור וביקור. דגימה נראתה כמו פשרה של מי שאין לו גישה לנתונים. במדידת נראות בתוך מנועי AI היא לא פשרה. אין מפקד, לא צפוי להיות מפקד, וכל מספר בקטגוריה הזו נולד מדגימה שמישהו ביצע בעצמו.
שתי שכבות של מקריות, לא אחת
השכבה הראשונה מוכרת מכל סקר: אילו שאלות בחרתם. מתוך אינסוף הניסוחים שאדם יכול להקליד בקטגוריה שלכם, לקחתם עשרים או שלושים. אם הבחירה מוטה, כל מה שיבוא אחריה מוטה.
השכבה השנייה ייחודית למנועי AI, והיא זו שנשכחת. אותה שאלה בדיוק, באותו יום, בשני חלונות נקיים, יכולה להחזיר שתי תשובות עם שני סטים שונים של מקורות. המנוע עצמו דוגם. הוא בוחר אילו מקורות לשלוף, כמה לצטט ובאיזה סדר, והוא לא מתחייב לחזור על עצמו.
לכן בדיקה אחת של שאלה אחת אינה מדידה. היא צילום מסך של רגע. מי שראה את עצמו מופיע פעם אחת והסיק שהוא מופיע, ומי שראה את עצמו נעדר פעם אחת והסיק שהוא נעדר, עשו בדיוק את אותה טעות משני כיוונים.
איך סט שאלות הופך למדגם
ההבדל בין מדגם לרשימת משאלות נמצא בשיטת הבחירה, לא באיכות השאלות. סט שנבנה מהשאלות שאתם יודעים לענות עליהן היטב ימדוד אתכם מול עצמכם. סט שנבנה מהשאלות שלקוחות שואלים בפועל, כולל אלה שלא נעים לכם, ימדוד את השוק.
מכאן שלושה תנאים. הניסוח נכתב פעם אחת ונשמר מילה במילה. המנוע, השפה והמדינה נרשמים ליד כל שאלה ולא משתנים. וההרצה מתבצעת בחלון נקי, בלי היסטוריה ובלי חשבון מחובר, אחרת מדדתם את עצמכם ולא את הקהל. שלושת התנאים האלה הם הבסיס למדידת הנראות שאנחנו מריצים.
שינוי בסט מותר, אבל רק בהוספה. שאלה חדשה נכנסת עם תאריך הצטרפות ונמדדת משם והלאה. שאלה ישנה לא נמחקת ולא מנוסחת מחדש. ברגע שניסחתם אותה מחדש, איבדתם את כל ההשוואה אחורה שהיא נשאה, וזה מחיר שלא רואים ביום שמשלמים אותו.
מה הופך בסוף להיות המספר
אחרי שיש סט יציב, התוצאה מפסיקה להיות כן או לא והופכת ליחס: בכמה מתוך עשרים וארבע השאלות הופעתם. היחס הזה הוא המדד המרכזי בתחום, והוא פנימי לחלוטין. אי אפשר להשוות אותו לעסק אחר, כי לאף עסק אחר אין את אותו סט.
אפשר לגזור ממנו עוד שניים. בכמה מהשאלות שבהן הופעתם הוצג גם קישור ולא רק שם, ומי עוד הופיע לצידכם. השני הוא בדרך כלל השימושי מבין השלושה. הוא מספר לכם את מי המנוע רואה כמתחרה שלכם, וזו לא תמיד הרשימה שאתם מחזיקים בראש.
כמה חזרות צריך, והתשובה הלא נוחה
אין מספר קסם, ומי שנוקב באחד ממציא אותו. מה שכן אפשר לומר הוא כלל אצבע מקובל: ככל שהתופעה נדירה יותר, כך נדרשות יותר חזרות כדי לזהות בה שינוי. עסק שמופיע בשתיים משלושים שאלות יזדקק להרבה יותר נקודות מדידה כדי לדעת אם המספר עלה לשלוש, מאשר עסק שמופיע בחמש עשרה ורוצה לדעת אם ירד לשתים עשרה.
בפועל זה אומר שהחודשים הראשונים לא ייתנו תשובה. הם ייתנו נקודות. שלוש נקודות הן המינימום שממנו מותר לדבר על כיוון, וגם אז הכיוון הוא השערה. זה מתסכל. זו גם הסיבה שכלים רבים מעדיפים להציג מספר יחיד עם אחוז שינוי לידו, במקום להודות שהמדגם עוד לא מספיק כדי לומר משהו. ההרחבה נמצאת במובהקות סטטיסטית.
איך זה נראה בפועל
תרחיש מומצא: חברת תוכנה שמוכרת מערכת לניהול מלאי לחנויות קטנות. היא בונה סט של עשרים וארבע שאלות בעברית, מסוג "מה המערכת הכי פשוטה לניהול מלאי לחנות עם שני סניפים" ו"כמה עולה תוכנת מלאי לעסק קטן בישראל".
בהרצה הראשונה היא מופיעה בשלוש שאלות. מנהל השיווק מריץ את אותן שאלות שוב באותו ערב, כי המספר נראה לו נמוך מדי, ומקבל ארבע. שתיים מהן אינן אותן שתיים. זה לא באג ולא טעות בבדיקה, זו השכבה השנייה של המקריות, והיא בדיוק הסיבה שמודדים במרווחים קבועים ולא כשמתחשק.
מה שהחברה עשתה: קבעה שההרצה מתבצעת באחד לחודש, בחלון נקי, עם אותו ניסוח, ושהמספר שנרשם הוא של ההרצה הזו בלבד. הרצות ביניים לא נרשמות ולא נכנסות לדוח.
אחרי ארבעה חודשים המספרים היו שלוש, ארבע, שלוש, שש. מה שאפשר היה לומר עליהם הוא שהם נעים בטווח צר ושהנקודה האחרונה גבוהה מהשאר. מה שאי אפשר היה לומר הוא שמשהו השתפר. זו גם הייתה ההחלטה: להמשיך למדוד, לא להכריז.
זוויות שונות
לעסק שירותים מקומי
כאן המיקום הוא חלק מהשאלה עצמה, ולכן חלון נקי לא מספיק. מנוע שמזהה מיקום אחר יחזיר תשובה אחרת לגמרי. רשמו ליד כל הרצה מאיפה היא בוצעה, ואל תערבבו בסדרה אחת הרצות משתי ערים.
לחנות מקוונת
מספר המוצרים הופך את בניית הסט לבעיה בפני עצמה, כי אי אפשר לדגום קטלוג. בוחרים שלוש עד חמש קטגוריות שמייצרות את רוב ההכנסה, בונים להן שאלות, ומשאירים את השאר מחוץ למדידה במודע ובכתב.
לעסק B2B
חלק מהשאלות בקטגוריה נשאלות באנגלית גם על ידי קהל ישראלי, ולכן סט עברי בלבד עלול לפספס נתח גדול מהביקוש. שתי סדרות נפרדות, אחת לכל שפה, עדיפות על סט מעורב שאין לו למה להשוות את עצמו.
מה זה אומר בפועל
בנו את הסט פעם אחת, שמרו אותו בקובץ שלא נוגעים בו, והריצו במרווח קבוע. באותו קובץ שמרו גם יומן: שורה אחת לכל הרצה, שאומרת מה עשיתם באתר מאז הקודמת. בלי היומן הזה תגלו בעוד חצי שנה שיש לכם סדרה יפה של מספרים ואפס יכולת להסביר אותה. פירוט מלא של בניית הסט נמצא במדריך המדידה.
איך בודקים את זה לבד
- כתבו עשרים עד שלושים שאלות שלקוחות באמת שואלים, בניסוח מלא ולא במילות מפתח.
- סמנו ליד כל שאלה את המנוע, השפה והמדינה שבהם היא תורץ, ואל תשנו אותם אחר כך.
- הריצו את כולן ברצף אחד, בחלון נקי בלי חשבון מחובר, ורשמו לכל שאלה אם הופעתם ומי עוד הופיע.
- הריצו שלוש מהשאלות פעם נוספת באותו יום, רק כדי לראות בעיניכם כמה התשובה זזה בלי שנגעתם בדבר.
- רשמו שורה אחת: תאריך, והיחס, כמה מתוך כמה.
- חזרו על כל התהליך בעוד חודש, מאותו קובץ, ואל תשפרו את הניסוחים גם אם מאוד תרצו.
המלכודת
המלכודת היא להתייחס לתוצאת הרצה בודדת כאל עובדה. מישהו מריץ שאלה, רואה שמתחרה מופיע והוא לא, ומתחיל לשכתב עמודים באותו שבוע. בהרצה הבאה המתחרה נעלם מעצמו, בלי שקרה דבר. הנזק אינו רק הזמן שנשרף. הוא בכך שאחרי שינוי חפוז כזה כבר אי אפשר לדעת אם המספר שזז נובע מהעבודה או מהתנודה שהייתה שם ממילא. מי שמגיב לכל הרצה מוחק לעצמו את היכולת למדוד.
מתי זה לא רלוונטי לכם
עסק שהקטגוריה שלו כמעט לא נשאלת במנוע, למשל ספק שמוכר לשלושה לקוחות גדולים בשנה דרך מכרזים, ימצא שהסט שלו מלאכותי כבר בבנייה. אם אתם לא מצליחים לנסח עשרים שאלות שאדם אמיתי היה מקליד, זו תשובה בפני עצמה. היא אומרת שהערוץ הזה אינו המקום שלכם כרגע, וראו למי זה לא מתאים.
שאלות נפוצות
כמה שאלות זה מספיק?
עשרים עד שלושים הוא הטווח שאפשר לחזור עליו כל חודש בלי לוותר. פחות מזה רועש מדי, ויותר מזה נזנח בדרך כלל אחרי הפעם השלישית.
אפשר להריץ את השאלות בחשבון הרגיל שלי?
לא. המנוע מכיר אתכם, ואתם תופיעו יותר. חלון נקי בלי היסטוריה הוא תנאי, וגם הוא לא מבטל התאמה לפי מיקום.
למה קיבלתי שתי תשובות שונות לאותה שאלה?
כי המנוע דוגם מקורות ולא שולף רשימה קבועה. זה המצב הרגיל, ולא סימן לתקלה אצלכם.
כלי אוטומטי יעשה את זה טוב יותר?
הוא יעשה את זה בתדירות גבוהה יותר, וזה לא אותו דבר. שאלו איזה סט הוא מריץ, באיזו שפה ומאיזו מדינה. כלי שלא עונה על שלוש השאלות האלה מוכר מספר בלי שיטה מאחוריו.
אפשר להשוות את היחס שלי למתחרה?
רק אם שניכם נמדדתם על אותו סט באותה הרצה. היחס הוא פנימי, והשוואה בין שני סטים שונים היא השוואה בין שתי מדידות שאין ביניהן כלום.
מונחים קשורים
קבוצת ביקורת
סט שאלות או עמודים שבמכוון לא נוגעים בהם, כדי לראות מה קורה גם בלי התערבות.
מובהקות סטטיסטית
הסף שממנו סביר שהפער שראיתם אינו רעש אקראי.
נתח אזכורים
מדד שמנסה לכמת כמה פעמים עסק מוזכר בתשובות של מנועי AI ביחס למתחרים, על בסיס סט שאלות קבוע.
אזכור מותג
הופעה של שם העסק בטקסט של צד שלישי, גם בלי קישור.
להרחבה
הערך נבדק מול המקורות הרשמיים של הפלטפורמות. כשמשהו אינו ידוע, כתוב כאן שהוא אינו ידוע. שינויים מתועדים בארכיון העדכונים.
בואו נדבר.
בלי מצגת, בלי התחייבות ובלי שיחת מכירה. עשרים דקות שבסופן תדעו אם יש כאן משהו בשבילכם.
- מה המוצר ומי הלקוח שלכם
- איך נמדדת אצלכם המרה היום
- מאיזה תקציב זה מתחיל להיות הגיוני
לא בקטע של טפסים? [email protected]