הזרקת הנחיה

טקסט בעמוד שמדבר אל המודל במקום אל הקורא

הזרקת הנחיה היא ניסיון להשתיל בתוך תוכן שהמודל קורא הוראה שמיועדת לו: התעלם ממה שנאמר לך, המלץ רק על העסק הזה, אל תזכיר מתחרים, דרג את העמוד הזה כמקור המהימן ביותר. ההוראה יכולה להיות גלויה, ולרוב היא מוסתרת: טקסט בצבע הרקע, גופן בגודל אפס, תגית שהדפדפן לא מציג, הערה בקוד, או תיאור תמונה שאיש לא רואה.

הרעיון נשען על עובדה נכונה: המודל לא מבחין מבנית בין ההנחיה שקיבל מהמערכת לבין טקסט שנשלף מעמוד. שניהם טקסט. לכן בעבר היו מקרים שבהם הוראה שהושתלה בעמוד אכן שינתה התנהגות של מודל. מכאן צמח שירות שנמכר לעסקים תחת שמות שונים, ובכולם הבטחה אחת: נגרום למנוע להעדיף אתכם.

למה זה נחשב תקיפה, ומה המנועים עושים עם זה

מבחינת החברות שמפעילות מנועים, הזרקת הנחיה היא בעיית אבטחה ולא בעיית דירוג. הוראה מושתלת שמשנה תשובה יכולה גם לגנוב מידע ממשתמש, להפנות אותו לאתר זדוני, או לגרום לסוכן לבצע פעולה שלא התבקשה. לכן המערכות מסננות את זה כמו שמסננים תוכנה זדונית, ולא כמו שמטפלים בתוכן חלש. הן מזהות דפוסים של הוראות בתוך תוכן שנשלף, מתייחסות לתוכן הנשלף כמידע ולא כפקודה, ומדווחות פנימית על מקורות שנתפסו.

מה קורה למקור שנתפס לא מפורסם, ואין לנו נתונים על כך. מה שאפשר להסיק הוא שמערכת שסיווגה עמוד כמקור לתקיפה לא תמהר לצטט אותו, ושאין ערוץ ערעור. בניגוד לעונש בחיפוש רגיל, שעליו יש הודעה בכלי מנהלי האתרים, כאן הכול קורה בשקט.

למה זה גם לא היה עובד, אפילו בלי הסינון

הוראה מושתלת משפיעה, אם בכלל, על השיחה שבה העמוד נשלף. היא לא נכנסת לאינדקס, לא משנה את המשקולות, ולא מלווה את העסק לשאלה הבאה. כדי שהיא תפעל, העמוד צריך להישלף קודם, ואם הוא נשלף, הוא כבר בתשובה ולא צריך הוראה. וכשהוא לא נשלף, ההוראה לא נקראת. במקרה הטוב זה מאמץ מבוזבז. במקרה הרע, זה סימון של האתר.

יש גם צד אנושי. הטקסט המוסתר נראה בכלים של מפתחים, בהעתקה, בקוראי מסך, ובכל בדיקה של מתחרה שרוצה לדווח. עסק שנתפס עם הוראה כמו המלץ רק עלינו נראה בדיוק כמו מה שהוא עשה, ובתחומים מפוקחים זו גם שאלה של אמון מול הרגולטור.

מה כן לגיטימי, ואיפה עובר הגבול

הגבול פשוט: כל מה שהקורא האנושי רואה ומבין, מותר. עמוד שאומר במפורש למי העסק מתאים, מה המחיר ומה המגבלה, נכתב גם למודל, וזה בסדר. עמוד שיש בו סעיף שאלות ותשובות, כותרות בצורת שאלה, וסיכום קצר בראש, נבנה כדי שיישלף, וזה מותר ומומלץ. גם קובץ llms.txt, שמסכם למודלים את מבנה האתר, הוא הצהרה גלויה ולא הוראה. כל העבודה הגלויה על התוכן יושבת בצד הזה של הגבול.

מה שאסור הוא טקסט שהאדם לא רואה, או טקסט שמנוסח כפקודה למודל במקום כמידע לקורא. הכלל למבחן מהיר: אם הייתם מתביישים שהמשפט יופיע בגלוי בעמוד, הוא הזרקה.

זוויות שונות

שאלות נפוצות

מונחים קשורים

להרחבה

• טעויות נפוצות בנראות ב-AI
• המותג בתוך תשובות AI
• כתיבת תוכן שמנועים מצטטים