מה זה חלון הקשר בבינה מלאכותית?

יש לי אתגר קטן בשבילכם: נסו להיזכר מה אכלתם לארוחת בוקר לפני יומיים בדיוק. קחו כמה שניות.

נזכרתם? אולי כן, ואולי הייתם צריכים לשחזר איפה הייתם ומה עשיתם באותו הבוקר. עכשיו תחשבו על שיחה עם חברים שעברה מנושא לנושא, עד שלרגע עצרתם ושאלתם: ״רגע, איך בכלל הגענו לזה?״ לפעמים חוט המחשבה של תחילת השיחה כבר לא נמצא מולנו.

גם כשעובדים עם בינה מלאכותית אפשר לאבד את חוט המחשבה: שיחה מתארכת, מצרפים חומרים, מנסים כיוונים, ופתאום התשובה מתעלמת מהנחיה חשובה שנתנו בהתחלה. כדי להבין למה זה יכול לקרות, צריך להכיר את חלון ההקשר.

רצף הודעות מתמשך עובר דרך מסגרת שקופה שמקיפה חלק מהשיחה

מה נמצא על שולחן העבודה?

חלון הקשר הוא כמות המידע שהמודל יכול לעבוד איתה בבקשה נתונה. אפשר לחשוב עליו כעל שולחן עבודה: כדי לענות, המודל צריך שהחומרים הרלוונטיים יהיו פרושים מולו. ההודעות, ההוראות, חלקים ממסמכים, תוצאות של כלים וגם מקום לתשובה הבאה חולקים תקציב מוגבל. את הגודל מודדים בטוקנים, יחידות העיבוד של המודל.

בואו נראה את זה בשיחה
אותו צ׳אט. שתי נקודות בזמן.
01
מתחילים עם הנחיה
✦ חלון ההקשר — מה שהמודל מקבל עכשיו
אנחנו כותבים הזמנה לאירוע.
הקהל הוא מנהלות משאבי אנוש.
הבנתי. נכתוב למנהלות משאבי אנוש.
הקהל נמצא מול המודל, והוא יכול להתאים אליו את התשובה.
↓ עשרות הודעות, רעיונות וטיוטות אחר כך
02
ההנחיה נשארה בתחילת הצ׳אט
הקהל הוא מנהלות משאבי אנוש מחוץ להקשר הזמין
⋮
✦ חלון ההקשר — מה שהמודל מקבל עכשיו
בוא נחדד את הנוסח האחרון.
עכשיו כתוב פתיח להזמנה.
הצ׳אט עדיין מציג את ההנחיה הישנה. אבל אם היא לא נשלחה למודל עם הבקשה הנוכחית, הוא לא יכול להסתמך עליה בתשובה.
השיחה שאתם רואים ≠ המידע שהמודל מקבל בכל רגע

הדימוי של שולחן עבודה עוזר להבין את המגבלה, אבל הוא לא תיאור של זיכרון אנושי. גם אין בהכרח חלון שזז תמיד באותה צורה ומוחק הודעה ישנה בכל פעם שנכנסת חדשה. המוצר יכול לקצר את ההיסטוריה, לסכם חלק ממנה או לבחור אילו קטעים לשלוח למודל. מה שנשאר גלוי לנו בצ׳אט אינו בהכרח כל מה שנמצא מול המודל בתשובה הנוכחית.

חלון גדול יותר. לא הבטחה לזיכרון מושלם.

קל להתרשם מהמספרים בפרסומות: עוד טוקנים, עוד מסמכים, עוד ספרים שאפשר להכניס בבת אחת. הקיבולת הזו שימושית, אבל היא לא מבטיחה שהמודל ייתן לכל פרט את המשקל הנכון. יש הבדל בין היכולת להכניס הרבה מידע לבין היכולת למצוא בתוכו את מה שחשוב למשימה.

וגם כשיש מספיק מקום, אפשר ליצור בלבול. שלוש גרסאות של אותו בריף, החלטה ישנה שכבר בוטלה, דוגמה שאהבנו רק בחלקה. כל אלה עלולים להישאר בשיחה לצד ההנחיה העדכנית. המודל צריך להבין מה בתוקף, ומה הוזכר רק בדרך. לפעמים הבעיה היא פחות ״הוא שכח״ ויותר ״לא ברור מה סיכמנו״.

ככה הייתי עובד על פרויקט ארוך

נניח שאתם מפתחים מסר למותג. בתחילת השיחה הגדרתם קהל, אופי ומטרה. אחרי עשרות הודעות כבר ניסיתם כמה כיוונים, חלקם נפסלו וחלקם התערבבו. במקום לבקש עוד ניסוח ולכעוס שהתוצאה התרחקה, כדאי לעצור ולרכז את מצב הפרויקט.

מה המטרה עכשיו? למי אנחנו מדברים? אילו החלטות התקבלו? מה נפסל? ומה צריך לקרות בשלב הבא? זה יכול להיות מסמך קצר, לא ארכיון של כל ההתלבטויות. לפני שממשיכים, קוראים אותו בעצמנו ובודקים שהסיכום באמת מייצג את מה שהחלטנו. גם סיכום של AI יכול להחסיר החלטה חשובה.

את ההנחיות הקבועות כדאי לשמור במקום מסודר שאפשר לצרף מחדש. כשעוברים לשלב אחר, אפשר לפתוח שיחה חדשה עם הבריף העדכני והחומרים הנחוצים לשלב הזה. לא מתחילים מאפס. מתחילים מהחלטות נקיות.

ומה עם הזיכרון של הכלי?

חלק מהמוצרים מציעים זיכרון בין שיחות, פרויקטים או גישה לקבצים. אלה מנגנונים שיכולים לעזור להביא מידע לתשובה הבאה. הם אינם אותו דבר כמו חלון ההקשר, ולא מבטיחים שכל פרט מכל שיחה ייכנס אליו. צריך להכיר את ההתנהגות של הכלי שבו עובדים.

מה כדאי להשאיר בסיכום שממשיכים איתו?

סיכום מועיל שומר את מצב העבודה, לא רק את הסיפור של השיחה. למשל: ״אנחנו מנסחים עמוד שירות למנהלי משאבי אנוש. המטרה היא לקבוע שיחת היכרות. החלטנו להוביל בבעיה ארגונית ולא בשמות של כלים. פסלנו הבטחות לחיסכון מספרי כי אין לנו נתון מבוסס. השלב הבא הוא לנסח שתי חלופות לפתיח, עד שתי פסקאות כל אחת״.

הסיכום הקטן הזה מכיל מטרה, קהל, החלטה, גבול ומשימה. הוא נותן למודל תמונה ברורה של המצב גם אם הוא לא קרא את כל הדרך שעברנו. אם נשאיר רק ״דיברנו על עמוד השירות ועל קהלי יעד״, נאבד בדיוק את ההחלטות שחסכו לנו את הדיון החוזר.

ואיך יודעים שמשהו חשוב הלך לאיבוד?

אפשר לבקש מהמודל לפרט בקצרה את ההנחות שעליהן הוא עומד לעבוד: הקהל, המטרה, המגבלות וההחלטה האחרונה. משווים אותן לבריף שלנו לפני שמייצרים עוד עשרה עמודים. זה לא מבחן שמוכיח שכל ההקשר נשמר. זו נקודת בדיקה שימושית שמאפשרת לגלות סטייה מוקדם.

כשאנחנו רואים כיוון שהתיישן, כדאי לתקן גם את ההנחה ולא רק את המשפט האחרון. ״אל תשתמש יותר בנתון הזה. הוא לא מאושר״ מועיל יותר מעוד בקשה כללית לדיוק. התיעוד שלנו הוא מה שמאפשר לחזור לעניין, גם כשהמערכת קיצרה את ההיסטוריה או כשאנחנו עצמנו כבר לא זוכרים מה עבר בדרך.

מבחינתי, זו עוד סיבה לחשוב על עבודה עם AI כמו על עבודה מקצועית: בריף ברור, החלטות מתועדות וסדר בחומרים. לפני ששואלים כמה גדול החלון, כדאי לשאול מה אנחנו באמת צריכים שיהיה בתוכו.

אז לסיכום,

מה חשוב לדעת על חלון הקשר?

חלון ההקשר הוא כמות המידע שמודל הבינה המלאכותית יכול להביא בחשבון בכל בקשה. כשהשיחה מתארכת, מידע מתחילתה עלול לא להיכלל במידע שהמודל מקבל. לכן, כשמשהו חשוב להמשך העבודה, כדאי לוודא שהוא מופיע בהקשר הרלוונטי.

איתן ושדי־לוי
איתן ושדי־לוי

מרצה ומומחה לבינה מלאכותית, עם ניסיון של יותר משני עשורים באסטרטגיה, מיתוג ושיווק. בהרצאות, בסדנאות ובליווי ארגונים אני מחבר בין הבנת הטכנולוגיה לבין השימוש המעשי בה, כדי לעזור לאנשים ולעסקים לחשוב, ליצור ולעבוד טוב יותר.

קצת יותר עליי

אני

כאן

לשאול, לחקור, להתלבט או פשוט להכיר? מוזמנים.ות להשאיר לי הודעה כאן – ואני מבטיח לחזור :)

איתן ושדי-לוי – יעוץ אסטרטגי, בינה מלאכותית וחדשנות | כל הזכויות שמורות ©

איתן ושדי-לוי – יעוץ אסטרטגי, בינה מלאכותית וחדשנות
כל הזכויות שמורות ©