קבוצת ביקורת

הרעיון, ולמה הוא חזק

קבוצת ביקורת היא החלק בניסוי שלא מקבל את הטיפול. שתי קבוצות דומות, רק אחת מהן נחשפת לשינוי, וההפרש ביניהן הוא מה שהשינוי עשה. זה המנגנון שמאפשר לומר גרם ולא רק קרה יחד.

בלעדיה כל מדידה היא לפני ואחרי, וזו צורת ההשוואה החלשה ביותר שקיימת. העולם לא עמד במקום. בין שתי הנקודות השוק זז, העונה התחלפה, מתחרה השיק משהו חדש, והמנוע עצמו התעדכן פעמיים בלי להודיע. כל אלה מתערבבים לתוך ההפרש שאתם מסתכלים עליו, והם בדרך כלל גדולים בהרבה ממה שעשיתם.

למה זה כמעט בלתי אפשרי מול מנוע AI

בפרסום אפשר לפצל תנועה. חצי מהגולשים רואים גרסה אחת וחצי רואים אחרת, וההקצאה אקראית. באתר אפשר לעשות את אותו דבר בכלי בדיקות. מול מנוע AI אין שום ידית כזו. אתם לא שולטים במה שהוא מציג, לא במי רואה אותו ולא מתי.

יש שלוש מגבלות שכל אחת מהן לבדה מספיקה. אי אפשר להציג למנוע שתי גרסאות של אותו עמוד ולראות איזו נבחרת. אי אפשר לחלק את המשתמשים, כי הם לא שלכם. ואי אפשר להקפיא את המנוע, שמתעדכן בו זמנית לשתי הקבוצות ולכן מזהם את שתיהן באותה מידה.

הכרה במגבלה הזו שווה יותר מכל ניסיון לעקוף אותה. מי שמבטיח ניסוי מבוקר מול מנוע AI מתאר משהו שלא קיים, ובדרך כלל מתכוון למשהו הרבה יותר צנוע.

מה כן אפשר לבנות: ביקורת חלקית

אפשר להחזיק קבוצה של שאלות שהעמודים שלהן לא נגעו בהם. אפשר להשאיר שלושה עמודים דומים לאלה שאתם משכתבים בדיוק כפי שהם. ואפשר לעקוב אחרי שניים או שלושה מתחרים בתוך אותו סט שאלות. קבוצת שאלות שלא נגעו בעמודים שלה היא חלק קבוע ממעקב הנראות לאורך זמן.

אף אחת מאלה אינה קבוצת ביקורת אמיתית. ההקצאה לא אקראית, העמודים לא זהים, והמתחרים עובדים על הנראות שלהם בלי שתדעו מה הם עשו. מבחינה סטטיסטית זו לא ראיה.

ובכל זאת זה עונה על שאלה אחת שקשה לענות עליה אחרת: האם מה שראיתי קרה גם במקום שלא נגעתי בו. זה הבדל בין שתי מסקנות שונות מאוד, ובעלות של לא לעשות כלום.

מה זה מגלה, ומה זה לא יכול לגלות

אם קבוצת השאלות שנגעתם בה עלתה וקבוצת הביקורת נשארה במקום, יש לכם סימן שמשהו מקומי קרה. אם שתיהן עלו יחד, כנראה שהמנוע או הקטגוריה זזו, וזה לא שלכם. אם שתיהן ירדו יחד, חפשו סיבה רוחבית לפני שאתם משכתבים עמודים.

מה שזה לא יכול לעשות הוא לייחס את השינוי לפעולה מסוימת. שיניתם שבעה דברים באותו חודש, והביקורת תגיד לכם רק שהשינוי לא רוחבי. איזה מהשבעה עבד נשאר לא ידוע, ולכן יש ערך אמיתי בלשנות פחות דברים בכל פעם.

וגם אז נדרשת זהירות בגודל. כשההפרש בין שתי הקבוצות הוא שאלה אחת מתוך עשר, זה בתוך הרעש הרגיל של הערוץ, ואין שם ממצא. ראו מובהקות סטטיסטית.

המתחרה כתחליף זול

השיטה המעשית ביותר היא לרשום בכל הרצה לא רק אם הופעתם, אלא גם מי עוד הופיע. אחרי כמה חודשים יש לכם סדרה מקבילה לשניים או שלושה שמות, והיא עולה בדקה עבודה נוספת לכל שאלה.

כשהמספר שלכם ירד, השאלה הראשונה היא אם גם שלהם ירד. ירידה משותפת מצביעה על שינוי בקטגוריה או במנוע. ירידה בודדת מצביעה עליכם. זו ההבחנה שחוסכת את רוב הפאניקה בתחום.

המגבלה חייבת להיאמר: הם לא עומדים במקום. מתחרה שהשקיע באותו חודש בתוכן חדש הוא לא ביקורת אלא שחקן. מה שהשיטה נותנת הוא אינדיקציה לכיוון הרוח, ולא הוכחה. ראו איך בודקים מתחרים.

זוויות שונות

שאלות נפוצות

מונחים קשורים

להרחבה

• איך מודדים נראות ב-AI
• מתחרים שמופיעים ואתם לא
• טעויות נפוצות