גרסת מודל

מה יושב מאחורי השם המסחרי

השם שאתם מכירים הוא שם של מוצר. מאחוריו יושבת בכל רגע נתון תוכנה ספציפית, עם משקלים שנקבעו באימון מסוים, עם כיול התנהגות מסוים ועם הוראות מערכת שהחברה כתבה לה. כשמשחררים גרסה חדשה לא מחליפים רק את מהירות התשובה או את עלות ההרצה. מחליפים את מי שעונה.

ההבדל בין גרסאות אינו תיאורטי, והוא נוגע בדיוק בדברים שמעניינים עסק. גרסה אחת פותחת חיפוש חי בשאלה מסוימת, גרסה אחרת עונה על אותה שאלה מהזיכרון הפנימי ולא מביאה אף מקור. אחת נוקבת בשמות של ספקים, אחת מנסחת תשובה כללית שנמנעת משמות. אחת מביאה שלוש הפניות, אחת מביאה שבע. בשבילכם הפער הזה הוא הפער בין להופיע לבין להיעדר, והוא נוצר בלי שנגעתם באתר ובלי שקיבלתם הודעה.

ניתוב בין גרסאות, בלי שאף אחד מודיע

מוצרי צריכה מנתבים בקשות בין כמה מודלים. שאלה קצרה עשויה להישלח למודל קטן וזול, שאלה שנראית למערכת מורכבת עשויה להישלח למודל גדול, ומשתמש בחשבון בתשלום עשוי לקבל מודל אחר מזה שמקבל משתמש חינמי באותה שנייה ועל אותה שאלה בדיוק. לפעמים משפיע עומס. לפעמים משפיעה המדינה שממנה נשלחה הבקשה. הממשק לא מציג דבר מזה, ולכן שתי בדיקות שנראות לכם זהות יכולות להיות בדיקות של שתי מערכות שונות, ואתם תפרשו את הפער ביניהן כשינוי בנראות שלכם.

למה זה שובר כל השוואה שלא תועדה

מדידת נראות היא תמיד השוואה בין שתי נקודות בזמן: מה חזר לפני שעשיתם משהו, ומה חזר אחרי. ההשוואה תקפה רק אם כל מה שאינו התוכן שלכם נשאר קבוע. גרסת המודל היא בדיוק הדבר שלא נשאר קבוע, והיא גם הדבר שאין לכם עליו שליטה ואין עליו התראה.

נניח שכתבתם עמוד חדש, ושלושה שבועות אחר כך התשובה מזכירה אתכם. זה יכול להיות העמוד. זו יכולה להיות גם גרסה חדשה שנוטה יותר לפתוח חיפוש חי, ואז אותו עמוד היה עובד גם קודם, או לחלופין לא תרם דבר והקרדיט שייך למקור אחר לגמרי. בלי רישום של הגרסה והממשק אין שום דרך להפריד בין האפשרויות, ואתם עלולים להסיק מסקנה יקרה מצירוף מקרים.

פרוטוקול סביר רושם בכל הרצה ארבעה דברים לפחות: מתי, באיזה מוצר, באיזו גרסה אם המוצר חושף אותה, ובאיזה סוג חשבון. כשהמוצר לא חושף גרסה, רושמים שהגרסה אינה ידועה. תיעוד של אי ידיעה שווה הרבה יותר מהנחה שקטה שהכול נשאר אותו דבר.

מה לא זז כשהגרסה מתחלפת

יש שכבה שנשארת יציבה יחסית מעבר לגרסאות, והיא זו שאפשר לעבוד עליה. מה כתוב עליכם ברשת, האם קיים עמוד שעונה ישירות על השאלה שנשאלת, והאם המקורות שמדברים עליכם אומרים אותו דבר. גרסה חדשה משנה ניסוח, סגנון ציטוט ונטייה לחפש. היא לא ממציאה לכם עמוד שלא קיים, והיא לא מיישבת סתירה שהשארתם ברשת. זו הסיבה שהעבודה עצמה כמעט לא משתנה בין גרסה לגרסה, גם כשהמספרים המדודים קופצים. על השכבה היציבה הזו נעשית העבודה השוטפת על הנראות.

מתי כן נכון להגיב לשחרור גרסה

התגובה הנכונה לגרסה חדשה היא לא לשכתב תוכן. היא למדוד בסיס מחדש. אם הגרסה החליפה את ברירת המחדל במוצר שאתם עוקבים אחריו, כל המספרים שאספתם לפניה שייכים לסדרה אחרת, ומתחילים סדרה חדשה במקום למתוח קו בין השתיים.

יש מקרה אחד שמצדיק תגובה מהירה: אם אחרי מעבר גרסה מופיע עליכם פרט שגוי שלא הופיע קודם. זו כבר לא תנודה של ניסוח, אלא סימן לכך שהמערכת נשענת עכשיו על מקור אחר, ושווה לברר איזה. הטיפול בזה נמצא בתיקון מידע שגוי.

זוויות שונות

שאלות נפוצות

מונחים קשורים

להרחבה

• שיטת המדידה
• איך נבנית תשובה של מנוע AI