מה זה טוקנים בבינה מלאכותית?

ביקשתם מכלי שבונה לכם אתר להזיז כפתור קצת שמאלה. שינוי קטן, שתי שורות בצ׳אט, ובכל זאת פתאום מופיעה הודעה שהגעתם למגבלת השימוש. איך בקשה כל כך קצרה יכולה לצרוך כל כך הרבה?

כדי לענות על זה צריך להסתכל מעבר למה שהקלדנו. חלק גדול מהעבודה מתרחש מאחורי הקלעים, והיחידות שמשמשות את המודל לעיבוד הטקסט נקראות טוקנים. בואו נעקוב אחרי הכפתור ונראה לאן הן נכנסות לתמונה.

קודם כול, מה זה טוקן?

לפני שמודל שפה מעבד טקסט, הוא מחלק אותו ליחידות קטנות שנקראות טוקנים. טוקן יכול לייצג מילה שלמה, חלק ממילה או סימן. החלוקה תלויה במודל ובשפה, ולכן אין כלל פשוט שאומר שמילה אחת תמיד שווה טוקן אחד.

ניקח דוגמה קצרה: ״חתול וכלב״. מבחינתנו אלה שתי מילים. כשבדקתי את הביטוי בכלי הטוקניזציה של OpenAI בהגדרת GPT-5, הוא חולק לארבע יחידות:

חתול וכלב ← 4 טוקנים
חתול וכלב
חלוקה לדוגמה לפי הטוקנייזר של OpenAI. כלים ומודלים אחרים עשויים לחלק אחרת.

אפשר לראות שהחלוקה לא נעצרת בגבולות המילים. ״חתול״ התפצל לשניים, וגם ״וכלב״ התפצל. אות החיבור ו׳ לא בהכרח מקבלת טוקן משלה. זו חלוקה של טקסט רציף, כולל הרווח שלפני ״וכל״.

באותו אופן, גם ההודעה על הכפתור עוברת חלוקה לטוקנים. אבל היא לא בהכרח הטקסט היחיד שמגיע למודל. כדי להבין מה עוד נכנס לתמונה, נחזור לאתר שביקשנו לשנות.

פתק ורוד קטן ולצדו מניפה של דפים, הממחישים את המידע שיכול לעמוד מאחורי בקשה קצרה
בקשה אחת, והרבה מידע שעשוי לעמוד מאחוריה.

מה קורה כשמבקשים להזיז כפתור?

המערכת צריכה לדעת באיזה כפתור מדובר, איך העמוד בנוי ואיפה משנים את המיקום שלו. לצורך המשימה היא עשויה לקרוא קטעי קוד וקבצים רלוונטיים, נוסף על הבקשה עצמה. אחרי העיבוד היא מחזירה שינוי או תשובה. גם טקסט הקלט וגם טקסט הפלט נספרים בטוקנים.

נעקוב אחרי הבקשה
מה נכנס, ומה יוצא?
הבקשה שלכם״תזיז את הכפתור שמאלה״
←
מידע שעשוי להצטרףקטעי קוד והקשר רלוונטי
←
התוצאהקוד מעודכן ותשובה
טוקנים משמשים למדידת הטקסט שנכנס ויוצא, לא רק את הבקשה שהקלדנו.

זו הסיבה שאורך ההודעה שלכם לבדו לא מספר את כל הסיפור. הכפתור אמנם קטן, אבל כדי לשנות אותו ייתכן שצריך להתייחס גם לקוד שסביבו. כמה חומר בדיוק נטען משתנה מכלי לכלי וממשימה למשימה.

אז הטוקנים הם מה שגמר את המכסה?

אולי. אבל לא כדאי לקפוץ למסקנה. בממשקי תכנות, ספקים עשויים לתמחר טוקנים של קלט ופלט בנפרד. בכלי עם מנוי, לעומת זאת, המגבלה שמוצגת יכולה להתחשב גם בסוג הפעולה, במודל, בזמן חישוב או במדיניות השירות. אם הכלי מודיע שהגעתם למכסה, כדאי לבדוק מה הוא עצמו מודד.

יש גם מגבלה נפרדת שנקראת חלון הקשר. היא קובעת כמה מידע המודל יכול להביא בחשבון בבקשה אחת. הטוקנים הם יחידת מדידה שמשמשת גם שם, אבל גודל החלון ומכסת השימוש אינם אותו הדבר.

מה עושים עם זה בפועל?

לא צריך להתחיל לספור כל מילה. כן כדאי לתת למערכת את מה שנחוץ למשימה, ולנסח את התוצאה המבוקשת בצורה ברורה. בדוגמת הכפתור אפשר לציין באיזה עמוד הוא נמצא, באיזה מסך הבעיה מופיעה ומה התוצאה שרוצים לראות. כך נותנים כיוון לבדיקה, במקום לבקש שינוי כללי ואז לתקן שוב ושוב.

מצד שני, לא כדאי לקצר על חשבון מידע חשוב. בריף קצת יותר מפורט עשוי לחסוך סבבי תיקון. השאלה היא לא כמה מילים כתבנו, אלא כמה מהן עוזרות לבצע את המשימה.

טוקנים עוזרים לנו להבין חלק ממה שקורה מאחורי הקלעים. אבל בעבודה עצמה אני מסתכל גם על התוצאה: האם הגענו לשינוי הנכון, כמה תיקונים נדרשו והאם התהליך באמת חסך עבודה.

אז לסיכום,

מה חשוב לדעת על טוקנים?

טוקנים הם היחידות שבהן מודל שפה מעבד טקסט. מספרם מושפע גם מהבקשה וגם ממידע נוסף שנשלח למודל ומהתשובה שהוא מפיק. מילה לא תמיד שווה טוקן אחד, ומגבלת שימוש אינה בהכרח זהה למגבלת טוקנים.

איתן ושדי־לוי
איתן ושדי־לוי

מרצה ומומחה לבינה מלאכותית, עם ניסיון של יותר משני עשורים באסטרטגיה, מיתוג ושיווק. בהרצאות, בסדנאות ובליווי ארגונים אני מחבר בין הבנת הטכנולוגיה לבין השימוש המעשי בה, כדי לעזור לאנשים ולעסקים לחשוב, ליצור ולעבוד טוב יותר.

קצת יותר עליי

אני

כאן

לשאול, לחקור, להתלבט או פשוט להכיר? מוזמנים.ות להשאיר לי הודעה כאן – ואני מבטיח לחזור :)

איתן ושדי-לוי – יעוץ אסטרטגי, בינה מלאכותית וחדשנות | כל הזכויות שמורות ©

איתן ושדי-לוי – יעוץ אסטרטגי, בינה מלאכותית וחדשנות
כל הזכויות שמורות ©