סט שאלות קבוע
רשימת השאלות שבודקים מולה שוב ושוב, באותו נוסח, כדי למדוד נראות.
Answer consistency
כמה מהפעמים שאותה שאלה נשאלת מחזירות את אותו מקור. מקור שמופיע פעם אחת מתוך עשר אינו "נמצא בתשובה"; הוא נמצא בהגרלה.
עודכן:
עקביות התשובה היא מספר הפעמים שאותה שאלה, באותם תנאים, מחזירה את המקור שלכם, מתוך מספר ההרצות. לא אם הופעתם. כמה פעמים הופעתם כשניסו שוב.
ההבחנה הזו נשמעת קטנה, והיא משנה את כל הקריאה של דוח נראות. מקור שחוזר בארבע מתוך חמש הרצות הוא ברירת מחדל של המנוע לשאלה הזו. מקור שהופיע פעם אחת מתוך חמש נמצא בסל, וברוב הפעמים המנוע בוחר מישהו אחר מתוכו. שניהם ייראו זהים בטבלה שמתעדת הרצה אחת.
מנועי תשובות אינם דטרמיניסטיים. אותה שאלה, באותו יום, בחלון נקי, יכולה להחזיר רשימת מקורות שונה בכל פעם. חלק מזה נובע מאקראיות מכוונת בייצור הטקסט, שמוסברת במונח הטמפרטורה, וחלק מזה נובע מכך שהחיפוש החי שמאחורי התשובה מחזיר תוצאות שזזות.
מי שמריץ סט שאלות פעם אחת בחודש מודד לוטו. הוא יראה חודש אחד שבע הופעות ובחודש הבא ארבע, יסיק שמשהו התדרדר, ולא יידע שהטווח הטבעי של אותו סט הוא בין שלוש לשמונה. עקביות היא הדרך היחידה לדעת מה הרעש, ולכן היא תנאי מקדים לכל דיווח על מגמה.
יש לה תפקיד שני, מעשי יותר. היא אומרת לכם איפה אתם עומדים מול המתחרים בכל שאלה בנפרד: מי ברירת המחדל, מי בהגרלה, ומי לא בסל בכלל. שלושת המצבים דורשים עבודה שונה.
לוקחים שאלה מתוך סט השאלות הקבוע. פותחים חלון חדש, בלי היסטוריה ובלי חשבון שמכיר אתכם. שואלים. סוגרים. חוזרים על זה שלוש עד חמש פעמים באותו יום, ורושמים בכל פעם אם המקור שלכם הופיע, ואם הופיע כאזכור בלבד או עם קישור.
התוצאה נרשמת כשבר: שלוש מתוך חמש. לא אחוז. בסטים קטנים אחוז מנפח ומסתיר את גודל המדגם, וזה בדיוק המספר שמישהו יצטט אחר כך בלי ההקשר.
עושים את זה לכל מנוע בנפרד. אין טעם לחבר עקביות ב-ChatGPT עם עקביות במצב ה-AI של גוגל, כי מנגנוני הבחירה שונים והמקורות שונים. ואין צורך לעשות את זה לכל שאלה בסט בכל חודש. מספיק לבחור חמש עד שמונה שאלות מרכזיות, כאלה שבאמת מייצגות לקוח שמחפש ספק, ולמדוד עליהן לעומק. בחירת חמש עד שמונה השאלות האלה נעשית בהגדרת סט המדידה.
עקביות נמוכה כמעט תמיד אומרת שהמנוע מחזיק כמה מקורות שנראים לו שקולים לשאלה הזו, ובוחר ביניהם. אתם אחד מהם. זה מצב טוב יותר מלא להופיע, ופחות טוב ממה שהוא נראה בדוח של הרצה אחת.
העבודה במצב כזה היא לא לכתוב עוד עמודים. היא להסתכל על ההרצות שבהן לא הופעתם ולשאול מי כן. אם באותן הרצות חוזר אתר השוואה או מדריך קטגוריה, המנוע מעדיף מקור ניטרלי על פני אתר ספק, ולהיכנס אליו שווה יותר מכל שיפור בעמוד שלכם. ההיגיון הזה מפורט במדריך האזכורים.
אם באותן הרצות חוזר מתחרה ישיר, השאלה היא מה יש בעמוד שלו שאין אצלכם: מחיר גלוי, תשובה ישירה בפסקה הראשונה, תאריך עדכון. ראו פסקה שנשלפת.
עקביות אינה מיקום. מקור שחוזר בכל הרצה יכול להיות תמיד האחרון ברשימה, ומקור שחוזר לסירוגין יכול להיות ראשון כשהוא מופיע. שני הדברים נמדדים בנפרד, והשני מוסבר במיקום בתשובה.
היא גם אינה מגמה. חמש הרצות ביום אחד מתארות את היום הזה. כדי לומר שמשהו השתנה צריך שתי מדידות עקביות במרחק חודש לפחות, ופער שגדול מהטווח שראיתם בתוך יום אחד.
תרחיש מומצא: מרפאת שיניים בתל אביב שמתמחה בהשתלות. בסט השאלות שלה יש את השאלה כמה עולה השתלת שן בתל אביב ואיפה כדאי לעשות אותה. בדוח החודשי של הסבב הקודם היא סומנה כמוזכרת. הצוות היה מרוצה.
בסבב הנוכחי הריצו את השאלה חמש פעמים, בחלון נקי, באותו בוקר. המרפאה הופיעה פעמיים. מרפאה מתחרה הופיעה בכל החמש, תמיד ראשונה. אתר השוואת מחירים הופיע בארבע מתוך חמש.
התמונה התהפכה. המרפאה לא הייתה במקום טוב, היא הייתה בהגרלה, והמתחרה היה ברירת המחדל. כשפתחו את אתר ההשוואה התברר שהמתחרה מופיע בו עם מחיר ועם תאריך עדכון מהחודש, והמרפאה שלנו מופיעה בו עם מחיר משנתיים קודם. העבודה לחודש הבא לא הייתה באתר המרפאה בכלל.
בסבב שאחרי, שלוש מתוך חמש. עדיין לא ברירת מחדל, וכבר לא לוטו. וזה נרשם כך, כשבר, ליד תאריך.
בשאלות עם שם עיר המנוע נשען הרבה על מקורות מקומיים: מדריכים אזוריים, דפי ביקורות, פורומים. העקביות שלכם תלויה יותר בכמה מהמקורות האלה מזכירים אתכם מאשר באתר שלכם. מדדו את השאלות שכוללות מיקום בנפרד מהשאלות הכלליות, כי הן מתנהגות אחרת.
כאן הרעש גדול במיוחד, כי שאלות מוצר מחזירות רשימות ארוכות והרכב הרשימה זז בכל הרצה. עקביות של שתיים מתוך חמש בשאלת מוצר אינה כישלון. מה שכן שווה מעקב הוא אם המנוע חוזר לאותו עמוד אצלכם, כי זה העמוד שהוא למד לסמוך עליו.
בקטגוריות מקצועיות סל המקורות קטן, ולכן העקביות נוטה להיות קיצונית: או שאתם כמעט תמיד, או שכמעט אף פעם. זה מצב נוח למדידה. סבב אחד של חמש הרצות על שש שאלות אומר לכם בבירור אם אתם בסל.
הוסיפו לטבלת המדידה עמודה אחת: מתוך כמה. במקום סימון של כן או לא לכל שאלה, רשמו שבר. עשו את זה רק לשאלות המרכזיות, ורק במנועים שהקהל שלכם באמת משתמש בהם. ואז שנו את שפת הדיווח: לא הופענו או לא הופענו, אלא ברירת מחדל, בהגרלה, או מחוץ לסל. שלוש המילים האלה מובילות לשלוש תוכניות עבודה שונות, וזה כל מה שדוח נראות אמור לעשות.
המלכודת היא לדווח על הרצה אחת כאילו היא מצב. חודש אחד יוצא טוב, מציגים אותו להנהלה, ובחודש הבא מסבירים ירידה שלא הייתה. הכיוון ההפוך מסוכן באותה מידה: הרצה אחת גרועה, ומישהו מחליט לשכתב עמוד שעבד. מלכודת שנייה היא להריץ את חמש הפעמים באותו חלון שיחה. המנוע זוכר מה שאלתם, והתשובה השנייה כבר מוטה. חמש הרצות בחלון אחד הן הרצה אחת עם ארבעה הדים.
אם עוד לא הרצתם את הסט אפילו פעם אחת, עקביות היא שלב מוקדם מדי. קודם צריך בדיקת נראות ראשונה שתראה אם יש בכלל מה למדוד לעומק. היא גם מיותרת למי שמופיע באפס מתוך שלושים שאלות: שם אין הגרלה, יש דלת סגורה, ובודקים קודם אם הסורק חסום. ומי שהקהל שלו לא שואל מנועים שאלות מסחריות בתחום שלו, יבזבז שעות על מדידה של שיחה שלא קורית.
אין סף רשמי, כי אף מנוע לא פרסם מה טווח השונות שלו. שלוש הרצות מבחינות בין ברירת מחדל להגרלה. חמש נותנות תחושה של הטווח. יותר מזה בשאלה אחת מתחיל לעלות יותר ממה שהוא מחזיר.
אולי. ההפרש בין שתי מדידות של חמש הרצות יכול להיות רעש. בדקו מי תפס את המקום בהרצות החסרות. אם זה מקור חדש שלא היה קודם, יש סיפור. אם זה ערבוב של אותם שמות, כנראה תנודה.
לא כמספר. מנוע שמציג חמישה מקורות לכל תשובה ייתן עקביות גבוהה יותר ממנוע שמציג אחד, בלי שום קשר לאיכות שלכם. כל מנוע נמדד מול עצמו לאורך זמן.
חלק מהכלים מריצים כל שאלה כמה פעמים ומציגים טווח, וחלק מריצים פעם אחת ומציירים גרף. זו שאלה ששווה לשאול לפני שקונים, ומרחיבים עליה במונח כלי הניטור.
רשימת השאלות שבודקים מולה שוב ושוב, באותו נוסח, כדי למדוד נראות.
החלק מהשאלות בסט שבהן העסק מוזכר בתשובה.
החלק מהשאלות שבהן האתר מופיע כמקור מצוטט, להבדיל מאזכור בשם בלבד.
איפה בתוך התשובה העסק מופיע: ראשון ברשימה, באמצע, או בהערה בסוף.
מדידה של תופעה גדולה דרך חזרה מבוקרת על סט קטן ומייצג.
פרמטר שקובע כמה הניסוח של המודל אקראי לעומת צפוי.
הערך נבדק מול המקורות הרשמיים של הפלטפורמות. כשמשהו אינו ידוע, כתוב כאן שהוא אינו ידוע. שינויים מתועדים בארכיון העדכונים.
בלי מצגת, בלי התחייבות ובלי שיחת מכירה. עשרים דקות שבסופן תדעו אם יש כאן משהו בשבילכם.
לא בקטע של טפסים? [email protected]