מה זה GPT?

כולם כבר מכירים את ChatGPT, אבל אם נעצור רגע על שלוש האותיות שבסוף השם, נגלה סיפור מעניין. GPT נשמע קצת כמו דגם של שואב אבק, אבל ראשי התיבות האלה מתארים שלושה רעיונות שונים על הדרך שבה המודל נבנה ופועל.

השם המלא הוא Generative Pre-trained Transformer. בעברית אפשר לתאר אותו כך: מודל יוצר, שאומן מראש ומבוסס על ארכיטקטורת טרנספורמר. בואו נפרק אותו ונראה איך כל חלק עוזר להבין את השיחה שלנו עם הבינה המלאכותית.

GGenerativeיוצר
PPre-trainedמאומן מראש
TTransformerטרנספורמר

G כמו Generative: יוצר

נניח שביקשתי מהצ׳אט רעיון לפתיחה של הרצאה. במקום לבחור תשובה מוכנה מתוך רשימה, הוא מייצר עבורי טקסט בתגובה לבקשה. אפשר לבקש ממנו גם להציע כותרת, לסכם חומר או לכתוב קוד. זו המשמעות של ״יוצר״ בשם: המודל מפיק תוכן חדש על בסיס מה שלמד וההקשר שקיבל.

זה לא אומר שהוא יודע רק ליצור טקסט. הוא יכול לעזור גם במיון מידע, בניתוח ובמשימות נוספות. וגם כשקיבלנו פתיחה מבריקה להרצאה, עדיין כדאי לבדוק אם היא מתאימה לקהל ואם העובדות שבתוכה נכונות. ניסוח חדש אינו הוכחה לתוכן מבוסס.

P כמו Pre-trained: מאומן מראש

כשביקשתי את הפתיחה, לא התחלתי ללמד את המודל עברית או להסביר לו מהי הרצאה. חלק גדול מהלמידה כבר קרה לפני השיחה שלנו. באימון מוקדם המודל נחשף לכמויות גדולות של מידע ולומד דפוסים וקשרים. לאחר מכן עשויים להגיע גם שלבי אימון והתאמה נוספים.

אפשר לחשוב על זה כמו על אדם שמגיע ליום הראשון בעבודה עם רקע קודם. לא צריך ללמד אותו הכול מאפס, אבל הוא עדיין לא מכיר את הארגון, את הקהל או את מטרת ההרצאה שלנו. בשביל זה צריך לתת לו הקשר. והדימוי מוגבל: מודל לא למד בהכרח את כל מה שנכתב, והאימון לא מבטיח שכל פרט שיפיק יהיה נכון.

אם תיקנתי אותו במהלך השיחה, הוא עשוי להשתמש בתיקון בהמשך אותה שיחה. זה לא אומר שהתיקון שינה באותו רגע את המודל עבור כולם. שמירת שיחה, זיכרון ואימון נוסף הם מנגנונים שונים, והתנהגותם תלויה בכלי ובהגדרות שלו.

T כמו Transformer: להבין את הקשר בין המילים

ועכשיו לחלק שאני אוהב במיוחד. נסתכל על המשפט ״לקחתי כדור לכאב ראש״. ברור לנו שמדובר בתרופה. אבל אם אגיד ״בעטתי בכדור״, נדמיין כדור משחק. אותה מילה, משמעות אחרת. מה שעוזר לנו לבחור ביניהן הוא המילים שסביבה.

כדור משחק וכדור תרופה בשני הקשרים שונים
אותה מילה, שני עולמות. ההקשר עוזר להבחין ביניהם.

טרנספורמר הוא סוג של ארכיטקטורה למודלים, שהוצגה במחקר ב־2017. בין הרעיונות המרכזיים שלה נמצא מנגנון הקשב, שמאפשר למודל לשקלל קשרים בין חלקים שונים ברצף. כך המילה ״כדור״ אינה עומדת לבדה. המילים ״בעטתי״ או ״כאב ראש״ מספקות מידע שעוזר למודל לפרש את המשפט בהקשר.

זה לא אומר שהמודל תמיד יבחר נכון. לפעמים המשפט עצמו לא מספק מספיק מידע, ולפעמים הוא יפספס רמז חשוב. הקשב עוזר לעבד קשרים, אבל הוא לא תעודת אחריות להבנה מושלמת.

אז הוא קורא את הכול בבת אחת?

כדאי להבחין בין שני שלבים. טרנספורמרים מאפשרים עיבוד מקבילי בחלקים משמעותיים של האימון. בשיחה, לעומת זאת, מודלי שפה יוצרים נפוצים מייצרים את התשובה בהדרגה, ביחידות שנקראות טוקנים. כל המשך נשען בין השאר על מה שכבר נוצר. התשובה לא בהכרח מוכנה בשלמותה ברגע שהתחילה להיכתב.

ומה ההבדל בין GPT ל־ChatGPT?

GPT הוא שם שמזוהה עם משפחת המודלים של OpenAI. ChatGPT הוא מוצר שבו אפשר לשוחח ולהיעזר במודלים וביכולות נוספות. גם כלים אחרים משתמשים ברעיונות דומים, אבל לא צריך לקרוא לכולם GPT. קלוד וג׳מיני, למשל, הם שמות אחרים של מוצרים ומשפחות מודלים.

כשמחברים את שלוש האותיות, מקבלים תמונה ברורה יותר של מה עומד מאחורי השיחה. אבל העבודה המעניינת מתחילה כשאנחנו מביאים את החלק שלנו: מגדירים מטרה, מספקים הקשר ובוחנים את התוצאה. בדיוק כמו בדוגמת הכדור, ההקשר יכול לשנות את כל המשמעות.

אז לסיכום,

מה חשוב לדעת על GPT?

GPT הם ראשי התיבות של Generative Pre-trained Transformer: מודל יוצר, מאומן מראש ומבוסס על ארכיטקטורת טרנספורמר. שלוש האותיות מתארות איך המודל נבנה ופועל, אבל ההקשר שניתן לו והבדיקה שלנו עדיין משפיעים על איכות השימוש בו.

איתן ושדי־לוי
איתן ושדי־לוי

מרצה ומומחה לבינה מלאכותית, עם ניסיון של יותר משני עשורים באסטרטגיה, מיתוג ושיווק. בהרצאות, בסדנאות ובליווי ארגונים אני מחבר בין הבנת הטכנולוגיה לבין השימוש המעשי בה, כדי לעזור לאנשים ולעסקים לחשוב, ליצור ולעבוד טוב יותר.

קצת יותר עליי

אני

כאן

לשאול, לחקור, להתלבט או פשוט להכיר? מוזמנים.ות להשאיר לי הודעה כאן – ואני מבטיח לחזור :)

איתן ושדי-לוי – יעוץ אסטרטגי, בינה מלאכותית וחדשנות | כל הזכויות שמורות ©

איתן ושדי-לוי – יעוץ אסטרטגי, בינה מלאכותית וחדשנות
כל הזכויות שמורות ©