קובץ llms.txt

מה הקובץ מציע להיות

llms.txt הוא קובץ טקסט יחיד בשורש הדומיין, כתוב בפורמט Markdown, שנועד להציג למודל שפה מפה מילולית של האתר: מי אתם, מה אתם עושים, ואילו עמודים חשובים באמת. הרעיון נולד בקהילת המפתחים בסוף 2024 כהצעה לתקן. הוא לא מפרט של אף מנוע, ואף חברה לא הייתה שותפה לניסוחו.

המניע מאחוריו סביר לגמרי. עמוד אינטרנט טיפוסי בנוי מתפריטים, מבאנרים, מחלונות הסכמה ומסקריפטים, והתוכן עצמו הוא אולי עשירית ממה שהסורק מוריד. מודל שמנסה לשלוף מכאן תשובה משלם על כל הרעש הזה מתוך תקציב מוגבל של טקסט שהוא מסוגל להחזיק. קובץ תמצית אחד, נקי, עם קישורים לגרסאות טקסט של העמודים המרכזיים, מציע קיצור דרך.

המבנה פשוט עד כדי כך שאפשר לכתוב אותו ביד: כותרת עם שם העסק, פסקה שמסבירה מה אתם מוכרים ולמי, ואחריהן רשימות קישורים מקובצות לפי נושא, לעיתים עם משפט הסבר קצר ליד כל קישור. אין בו קוד, אין בו סימון ואין בו שדות חובה. מי שיודע לערוך קובץ טקסט יודע לכתוב אותו.

מה שלא קרה מאז, וצריך להגיד אותו ישירות

אף מנוע AI גדול לא תיעד שהוא קורא את הקובץ הזה. לא OpenAI, לא גוגל, לא אנתרופיק, לא מיקרוסופט. אין מסמך תמיכה, אין שורה בתיעוד למפתחים, ואין הודעה שאומרת שהקובץ נלקח בחשבון בשלב כלשהו של בניית תשובה. זו לא פרשנות שלנו אלא מצב התיעוד הפומבי נכון להיום.

ההשוואה ל-robots.txt מבהירה כמה הפער גדול. robots.txt הוא מוסכמה בת עשרות שנים, שכל הסורקים המרכזיים מצהירים שהם מכבדים, ושחסימה בו מבטלת בפועל כל עבודה אחרת שתעשו. llms.txt הוא הצעה שאפשר לפרסם, ואין מי שהתחייב לקרוא. שני הקבצים יושבים באותו מקום בדיוק, נראים דומה, ונקראים בשם דומה. מכאן חלק גדול מהבלבול.

אפשר לטעון שאולי מישהו קורא בלי להודיע. זו טענה שאי אפשר להפריך ואי אפשר לאשש, וגם לוגים של השרת לא יכריעו אותה: בקשה שהגיעה לכתובת של הקובץ מוכיחה שמישהו ביקש אותו, ולא מוכיחה שמשהו נעשה עם מה שהוא קיבל. כשאין דרך לאמת, ההצהרה הנכונה היא שלא ידוע. לא שזה עובד ולא שזה לא עובד.

למה הוא בכל זאת התפשט

הסיבה הראשונה היא שהתחום צעיר ואנשים מחפשים משהו לעשות. פעולה טכנית שאפשר לסמן כבוצעה תוך חצי שעה מספקת הרבה יותר מעבודה שנמשכת חודשים ולא רואים את קצה שלה. יש בזה משהו אנושי לגמרי, וגם מסוכן, כי התחושה שטיפלנו בנושא נוצרת בלי שקרה דבר.

הסיבה השנייה היא מסחרית. סעיף בשם התקנת הקובץ שמנועי ה-AI קוראים נשמע מעודכן, הוא זול לספק, והלקוח לא יכול לאמת בעצמו אם הוא עשה משהו. ספק שמציג אותו כליבת השירות בדרך כלל אין לו הרבה מעבר לו, וזה סימן שכדאי לזהות מוקדם.

השלישית היא הבלבול השמי. עסקים ששמעו שיש קובץ שקובע איך מנועי AI מתייחסים לאתר ניסו לפתור דרכו בעיה של סריקה חסומה. התוצאה היא אתר עם llms.txt יפה וסורק חיפוש שעדיין נחסם ב-robots.txt, כלומר שום נראות.

החשבון הכן

העלות של הקובץ קרובה לאפס. הסיכון קרוב לאפס. התועלת אינה ידועה. שלוש האמירות האלה נכונות במקביל, והן כל מה שאפשר לומר עליו בלי להמציא. מי שמוכר אותו כתנאי להופעה בתשובות אומר משהו שאין לו מקור, ומי שקורא למחוק אותו מגזים באותה מידה.

יש שימוש אחד שבו התועלת גלויה כבר היום, והוא לא נוגע למנועי חיפוש. מוצר טכנולוגי עם תיעוד למפתחים, שאנשים קוראים בעזרת עוזרי AI, נהנה מקובץ שמפנה לגרסאות טקסט נקיות של הדפים. הרווח שם ישיר: אדם או סוכן שמצביע על הדומיין מקבל דרך אחת מסודרת פנימה, במקום לנחש איפה מתחיל התיעוד.

מחוץ למקרה הזה, ההחלטה הנכונה היא החלטה על סדר. אם התשתית מייצרת את הקובץ אוטומטית ואף אחד לא צריך לתחזק אותו, אין סיבה להתנגד. אם מישהו מבקש עליו שעות עבודה בזמן שהסורקים חסומים ואין באתר פסקה אחת שעונה על שאלה, ההצעה הזו לוקחת מקום בתור ממשהו שכן ידוע שהוא תנאי. סדר העדיפויות הזה הוא בדיוק מה שנקבע בתוכנית העבודה של הקידום במנועים.

זוויות שונות

שאלות נפוצות

מונחים קשורים

להרחבה

• האם אני צריך קובץ llms.txt
• הצד הטכני של הנראות