דירוג קטעים
במקום לבחור עמוד שלם, המנוע מדרג קטעים בתוך עמודים ובוחר את הקטע שעונה הכי טוב.
Chunking
פירוק העמוד ליחידות קצרות שנשמרות ונשלפות בנפרד. גבולות החלוקה נקבעים בדרך כלל לפי כותרות ומבנה, ולכן עמוד מסודר מתפרק טוב יותר מקיר טקסט אחד. ראו עמודי שאלות ותשובות.
עודכן:
מנוע שמחפש תשובה לא מחזיק את העמוד שלכם כעמוד. הוא חותך אותו. החיתוך קורה לפני כל דירוג ולפני כל בחירה, ולפעמים הרבה לפני שמישהו שאל את השאלה שהעמוד עונה עליה. מה שנשמר בפועל הוא אוסף יחידות קצרות, וכל אחת מהן תתחרה בהמשך בזכות עצמה ובלי שאר העמוד מאחוריה.
גבולות החיתוך אינם אקראיים. רוב מערכות השליפה מנסות לחתוך לאורך תפר טבעי: כותרת משנה, סוף פסקה, פריט ברשימה, שורה בטבלה. כשאין תפר כזה, החיתוך נופל לפי אורך בלבד, כלומר באמצע רעיון. אף מנוע לא פרסם את הפרמטרים המדויקים שלו, ולכן אורך היחידה המדויק אינו ידוע לנו ואנחנו לא מתיימרים לנקוב בו.
יחידה טובה עונה על שאלה אחת ומחזיקה בתוכה כל מה שצריך כדי להבין אותה. בלי הפניה למה שכתוב מעליה. בלי "כפי שהסברנו", בלי "במקרה הזה", בלי כינוי גוף שמצביע על נושא שהוזכר שתי פסקאות קודם. ברגע שהיחידה נשלפת לבדה, כל מה שלא נמצא בתוכה פשוט אינו קיים מבחינת המנוע.
הכשל שחוזר הכי הרבה הוא פיזור. ההסבר יושב בפסקה אחת, המספר בטבלה שלוש כותרות למטה, והסייג בהערה בתחתית העמוד. לקורא אנושי זה סביר לגמרי, כי הוא גולל ומחבר. אחרי החיתוך זה נהרס: ההסבר נשלף בלי המספר, המספר נשלף בלי ההסבר, ואף אחד מהשניים אינו תשובה.
הפרט הקונקרטי צריך לשבת באותה יחידה עם ההסבר שלו. טווח מחירים עם הגורם שקובע אותו. לוח זמנים עם המקרה החריג שמאריך אותו. תנאי הכשירות ליד השירות שהוא מתנה. זה נשמע כמו חזרתיות, ובעמוד קריא זה באמת נראה מעט חזרתי, וזו העלות שמשלמים כדי שכל חתיכה תהיה שלמה. הכלל הזה, פרט והסבר באותה יחידה, חוזר בכל התאמה של מבנה עמוד קיים.
כאן חשוב לא לערבב שלושה דברים שנשמעים דומה. חלוקה לקטעים היא פעולת החיתוך: איך העמוד הופך ליחידות, עוד לפני שיש שאלה. דירוג קטעים הוא מה שקורה אחרי שנשאלה שאלה, כשהמנוע בוחר איזו יחידה בתוך איזה עמוד עונה הכי טוב. דירוג מחדש הוא מעבר נוסף, שמסדר מחדש רשימת מועמדים ששלב מוקדם וזול יותר כבר אסף. חלוקה גרועה פוגעת בכם בשלב הראשון מכולם, ולכן שני השלבים הבאים לא מקבלים ממה לבחור.
עמוד שכתוב כקיר טקסט מתפרק רע. אין תפרים, החיתוך נופל לפי אורך, והתוצאה היא יחידות שמתחילות באמצע משפט מחשבה ונגמרות לפני המסקנה. עמוד שיש בו כותרת משנה כל כמה פסקאות, וכל כותרת כזו מנוסחת כשאלה שלקוח באמת שואל, מתפרק ליחידות שכל אחת מהן כבר מוכנה לשמש תשובה.
לטבלאות יש מעמד מיוחד וקצת מסוכן. טבלה קצרה עם כותרות עמודה ברורות עוברת סביר. טבלה רחבה שכל המשמעות בה נובעת מצירוף של כותרת עמודה וכותרת שורה מתפרקת לשורות שאיבדו את ההקשר שלהן. כלל עבודה פשוט: כל שורת טבלה שנושאת מידע שאתם רוצים שיצוטט, כתבו גם במשפט שלם בגוף העמוד.
נניח מרפאת שיניים בתל אביב, תרחיש מומצא. בעמוד השתלים יש טקסט רצוף של כאלף מילים על חשיבות השיקום, ואחריו טבלה עם שלוש שורות מחיר. מישהו שואל מנוע כמה עולה שתל דנטלי בתל אביב.
אחרי החיתוך, היחידות שנוצרו מהטקסט הרצוף מדברות על תהליך ועל החלמה ואין בהן שום מספר. היחידה שנוצרה מהטבלה מכילה מספר בלי שם השירות המלא ובלי העיר. אף אחת מהן לא עונה על השאלה שנשאלה, והמרפאה לא נכנסת לתשובה למרות שהמחיר שלה כתוב באתר באופן גלוי.
התיקון קטן. מוסיפים כותרת משנה "כמה עולה שתל דנטלי", ומיד מתחתיה שתי שורות: הטווח בשקלים, ומה מזיז אותו בתוך הטווח. הטבלה נשארת במקומה לקורא האנושי. עכשיו קיימת יחידה אחת שיש בה השירות, העיר, המספר והגורם, והיא עומדת גם כשהיא מנותקת מהעמוד.
עמוד שירות טיפוסי בנוי כמסע: מי אנחנו, למה הנושא חשוב, איך אנחנו עובדים, ורק בסוף הפרטים. החיתוך מעניש בדיוק את המבנה הזה, כי הפרטים מגיעים ביחידות האחרונות ומנותקים מהשאלה שפתחה את העמוד. הסדר שעובד הפוך: שאלה, תשובה, ואז ההרחבה.
בעמוד מוצר המידע מפוזר בין תיאור, מפרט, לשונית משלוחים ושאלות לקוחות, ולכל אחד מהם קיום נפרד אחרי החיתוך. אם זמן האספקה או מדיניות ההחזרה מופיעים רק בלשונית נפרדת או נטענים בלחיצה, סביר שלא תיווצר מהם יחידה שימושית. משפט קצר בגוף העמוד שאומר את אותו דבר פותר את זה בזול.
התוכן שלכם נוטה להיות ארוך ומסויג, וזה במקומו. הבעיה היא שהסייג נכתב פעם אחת בראש המסמך ואז חל על הכול לאורך עשרים פסקאות. אחרי החיתוך הוא נשאר ביחידה הראשונה בלבד, ושאר היחידות נשלפות כאילו אין להן סייג. במקומות שבהם זה רגיש, חזרו על התנאי בתוך הפסקה עצמה.
קחו את שלושת העמודים שהכי חשוב לכם שיצוטטו, והדפיסו כל אחד מהם. גזרו אותו פיזית לפי הכותרות. עכשיו קראו כל פיסה בנפרד, בלי השאר, ושאלו על מה היא עונה. הפיסות שעונות על כלום הן העבודה שלכם. ברוב המקרים התיקון אינו כתיבה מחדש אלא הזזה: להעלות מספר שהיה בטבלה, לפרק פסקה של שתים עשרה שורות לשתיים, ולהחליף כותרת כללית בשאלה. זו עבודה של שעה לעמוד, והיא משנה את החומר שממנו כל השלבים הבאים בוחרים.
המלכודת היא לחשוב שאורך הוא סגולה. עמוד של שלושת אלפים מילים בלי מבנה אינו עמוד חזק, הוא הרבה יחידות חלשות. יש גם צד שני למלכודת, והוא נפוץ לא פחות: אנשים מפרקים כל עמוד לעשרות כותרות זעירות ומקבלים יחידות קצוצות שאין בהן מספיק כדי לענות. הגבול המעשי פשוט. כל כותרת צריכה להיות שאלה שמישהו ישאל, ומתחתיה תשובה שלמה שאפשר להעתיק כמו שהיא. אם אי אפשר לנסח את הכותרת כשאלה, כנראה שהסעיף הזה אינו סעיף בפני עצמו אלא חלק מהקודם.
אם האתר שלכם עדיין לא נסרק, או שהתוכן נטען רק בצד הלקוח ואינו קיים ב-HTML שמגיע לסורק, החלוקה לקטעים אינה הבעיה שלכם עכשיו. אין מה לחתוך. גם עסק שכל המכירה שלו נסגרת בהמלצה אישית או במכרז סגור, ושלא מגיעים אליו דרך שאלות פתוחות, ירוויח מעבודה על העמוד הרבה פחות ממה שירוויח במקום אחר. קודם קיום, אחר כך מבנה.
לא ידוע לנו מספר מדויק, ואף מנוע לא פרסם אחד. מה שכן עובד בפועל הוא פסקה של שתיים עד ארבע שורות שעונה על דבר אחד. הקריטריון אינו האורך אלא השלמות: אפשר להעתיק אותה ולקבל תשובה.
לא בהכרח, ולפעמים זה מחמיר. עמוד קצר מדי מתחרה חלש בחיפוש, וחיתוך פנימי בעמוד אחד טוב משיג את אותה מטרה בלי לפזר את כוח העמוד. עדיף עמוד אחד מסודר עם שש כותרות שאלה על פני שישה עמודים דלים.
סימון מובנה עוזר להבין מה תפקידו של כל חלק, ובעמוד שאלות ותשובות הוא מגדיר גבול ברור בין פריט לפריט. אין לנו מקור רשמי שאומר שהוא קובע את גבולות החיתוך במנועי ה-AI, ולכן אנחנו מתייחסים אליו כתמיכה ולא כתחליף למבנה טקסט טוב.
אל תשכתבו. הוסיפו לכל עמוד כזה שלוש עד חמש כותרות שאלה במקומות שבהם התוכן כבר עונה, והעלו אל מתחת לכל כותרת את המשפט שכבר קיים איפשהו בעמוד ומכיל את הפרט. זו עבודת עריכה, לא כתיבה, והיא מחזירה את רוב הערך.
במקום לבחור עמוד שלם, המנוע מדרג קטעים בתוך עמודים ובוחר את הקטע שעונה הכי טוב.
שלב שני שבו מודל עובר על תוצאות ששלף שלב ראשון ומסדר אותן מחדש לפי התאמה לשאלה.
שיטה שבה המודל שולף קודם מסמכים ממקור חיצוני ורק אז מנסח את התשובה על בסיסם, במקום להסתמך על מה שלמד באימון.
המרה של טקסט לרשימת מספרים שמייצגת את המשמעות שלו, כך שקטעים בעלי משמעות דומה יוצאים קרובים זה לזה.
פסקה קצרה מתוך עמוד שנשלפת כמעט כלשונה אל תוך תשובה מסוכמת או אל ראש עמוד התוצאות.
מאגר שמאחסן ייצוגים וקטוריים ומחזיר במהירות את הקטעים הקרובים ביותר לשאלה.
הערך נבדק מול המקורות הרשמיים של הפלטפורמות. כשמשהו אינו ידוע, כתוב כאן שהוא אינו ידוע. שינויים מתועדים בארכיון העדכונים.
בלי מצגת, בלי התחייבות ובלי שיחת מכירה. עשרים דקות שבסופן תדעו אם יש כאן משהו בשבילכם.
לא בקטע של טפסים? [email protected]