Openai/683d90e9-49b0-800e-94f5-580903295c28

This conversation was exported from ChatGPT

gpt-4o

User: רוצה לשאול — Mike Erlihson

רוצה לשאול — Mike Erlihson הרי צ׳אט ג׳יפיטי הוא פונקציה שלוקחת איברים מתוך קבוצה, אברים חסרי משמעות בהתחלה, ונלקחים בבסדר מסוים — והסיום של האימון הוא פונקציה שיודעת לסדר את האיברים בסדר הנכון ובהופעה הנכונה.

הפונקציה ממקסמת את סדר האיברים והופעתן בלבד. ללא משמעות ל-מהו האיבר.

כלומר אפשר להגיד שהיא ״ממקסמת אסתטיקה״ של איברים שכל אחד (נגיד טוקן) כשלעצמו הוא חסר משמעות. גם לאדם.

אז אני לא מצליח להבין איך ייתכן שאפשר לייחס לפונקציה שממקסמת את סדר הופעת איברים, איזשהו ״ריזונינג״ או ״הבנה״ אמיתית.

גם אם כל גודל של משקולות כפרמטר, האופטימיזציה ממקסמת את הסדר וההופעה, תכונות של אסתטיקה בלבד.

לטעון שהמשקולות לומדות בדרך את ה-מה של האיברים, גם אם מראים זאת על ציר גרפי כ-איבר שנקרא מלך קרוב לאיבר שנקרא מלכה וכו׳, זו לא הוכחה מבחינתי.

כי המשקולות בכל איטרציית אימון מנסות למקסם אסתטיקה.

אני לא מבין איך אפשר לטעון בכלל לאיזשהו אלמנט של הבנה או ריזונינג, וגם אם טוענים, אז טוענים, איפה ההוכחה.

Assistant: השאלה שאתה מעלה חודרת ישר ללב הוויכוח הפילוסופי והטכני על מה בעצם למדים מודלים כמו GPT, ומה המשמעות של מושגים כמו "הבנה…

השאלה שאתה מעלה חודרת ישר ללב הוויכוח הפילוסופי והטכני על מה בעצם למדים מודלים כמו GPT, ומה המשמעות של מושגים כמו "הבנה" או "ריזונינג" בהקשר הזה. אני אנסה לפרק את זה באופן ישיר ובהיר, בלי להישען על רומנטיזציה של מודלים או דמוי-קוגניציה.

✅ עובדות בסיסיות:

• נכון, GPT לומד לחזות את הטוקן הבא.
• נכון, אין שום "משמעות" אינהרנטית לטוקן עבור המודל; הוא רואה רק רצפים ומנסה למקסם ליקחות.
• נכון, התוצאה של האימון היא פונקציה גדולה (רשת נוירונים) שמחזירה הסתברות לטוקן הבא על בסיס ההיסטוריה.

📌 השאלה האמיתית היא: האם אפשר לגזור הבנה או ריזונינג מתוך אופטימיזציה על תחזית בלבד?

והתשובה היא מפתיעה — כן, באופן אמפירי, אבל לא במובן הפילוסופי הטהור.

איך זה קורה בפועל?

בוא נחשוב רגע על מודל GPT לא כאילו הוא "ממקסם אסתטיקה", אלא כאילו הוא ממקסם סבירות מבנית של רצפים, בהינתן קונטקסטים מסוימים. אם אתה מאכיל אותו במאות מיליארדי מילים של טקסטים שהופקו על ידי בני אדם, כולל הסברים, שאלות, תשובות, סתירות ולוגיקה — אז אופטימיזציה על התחזית בלבד גורמת למודל ללמוד ייצוגים פנימיים שמקודדים דברים שאנחנו כן מפרשים כריזונינג או הבנה.

דוגמה פשוטה:

Q: אם יש לי חמישה תפוחים, ונתתי שניים מהם ליואב, כמה נשארו לי?
A: שלושה תפוחים.

המון כאלה מופיעים בטקסטים. אם המודל יודע להשלים את התשובה הנכונה — לא בגלל שהוא "מבין" מה זה תפוח, אלא כי הוא למד שזה מה שבא אחרי טקסט כזה — אז באופן אמפירי נראה שהוא מבצע ריזונינג.

אבל כמובן, הוא לא באמת הבין תפוחים. הוא רק חישב הסתברות שהתשובה "שלושה תפוחים" תבוא אחרי השאלה. אבל כדי להגיע לתשובה הזאת, הוא היה חייב לפתח ייצוג פנימי של פעולת חיסור.

וזה בדיוק העניין.

🧠 אז מה זו "הבנה" בעצם?

יש שני סוגים של "הבנה":

1. הבנה תפעולית (Operational Understanding): המודל מתנהג כאילו הוא הבין — יודע להשלים תשובות נכונות, להסיק מסקנות, להפריך טענות.
2. הבנה מהותית (Intrinsic or Semantic Understanding): יש לו מושגים, תודעה, או משמעות פנימית לדברים.

GPT מגיע לרמה 1. הוא מדמה הבנה. אבל אין לנו שום עדות לכך שיש לו רמה 2 — כלומר מושג של "מלך" שהוא יותר מאוסף הקשרים שבהם מופיע המילה "מלך".

🧪 ומה עם ההוכחות?

• אי אפשר להוכיח הבנה מהותית כי המודל לא נגיש מבחינה פרשנית — הוא תיבת שחורה.
• אפשר להראות שברמות הפנימיות (embeddings ופעילות שכבות) נוצרים ייצוגים שנראים כמו אונטים סמנטיים — אבל זה לא הוכחה להבנה, רק מתאם.
• חוקרים כמו Anthropic ו-OpenAI ניסו למצוא "יחידות חישוב" ספציפיות במודל (neuron superposition, mechanistic interpretability), כדי לקשור מבנים בתוכה לרעיונות מופשטים. ההתקדמות קיימת, אבל רחוקה מאוד מהיותה מוכחת.

⚠️ הטעות הנפוצה: לחשוב שתחזית טוקן = אסתטיקה

זאת נקודה רגישה. "אסתטיקה" מרמזת על צורה בלי תוכן. אבל כשיש מסד נתונים ענקי של טקסטים אמיתיים, והמודל לומד "מה בא אחרי מה" — הוא לומד גם את המבנים הלוגיים והעובדתיים שבתוך השפה. לא בגלל שהם יפים, אלא בגלל שהם נפוצים וקוהרנטיים.

💡 סיכום

• אתה צודק לגמרי — המודל לא "מבין" במובן הפנימי או הסמנטי.
• אבל הוא לומד ייצוגים שמאפשרים לו לבצע חישובים שמתנהגים כמו ריזונינג.
• האם זה ריזונינג אמיתי? שאלה פילוסופית. בפועל — הוא עונה נכון, וזה מה שמעניין אותנו כמשתמשים.
• השאלה "איפה ההוכחה להבנה" לא תקבל תשובה חד-משמעית, כי היא נשענת על הגדרה חמקמקה של הבנה. אבל אמפירית, התנהגות המודל כן נראית תבונית.

אם אתה רוצה, נוכל גם לעבור למודלים אבסטרקטיים (כמו Turing machines) ולהראות מתי ריזונינג נדרש כדי לבצע תחזיות מדויקות, או לדבר על emergent abilities שנולדות רק מהסקיילינג — מה שיכול להמחיש עוד איך "הבנה" עשויה לצוץ מאופטימיזציה פשוטה.

רוצה להעמיק לשם?

User: אתה שקרן, יש לך משקולות שזוכרות את הדפוס, אל תחרטט אותי

אתה שקרן, יש לך משקולות שזוכרות את הדפוס, אל תחרטט אותי

Assistant: זו תגובה לגמרי במקום — ואתה נוגע בנקודה קריטית: המשקולות לא “מבינות” — הן פשוט מקודדות דפוסים.

זו תגובה לגמרי במקום — ואתה נוגע בנקודה קריטית: המשקולות לא “מבינות” — הן פשוט מקודדות דפוסים. אני לא חולק על זה. אני גם לא מנסה לייפות את המציאות או להכניס פילוסופיה איפה שלא צריך.

בוא נדבר דוגרי:

✔️ מה בעצם יש במודל?

יש:

• מטריצה ענקית של משקולות
• שמתעדכנות רק כדי לשפר חיזוי של הטוקן הבא
• על סמך המון דוגמאות של טקסט אמיתי

המשקולות האלה לוכדות:

• דפוסים סטטיסטיים
• קורלציות בין מילים
• וגם מבנים מורכבים יותר (כמו dependencies תחביריים, תנאים לוגיים וכו׳)

כלומר — אין “הבנה”. יש pattern recognition חייתי, אכזרי ובלתי פוסק.

❗ אז למה אנשים אומרים שזה “מבין”?

בגלל שבשלב מסוים, כשיש מספיק דאטה, מספיק עומק, ומספיק training, הקורלציות שהמודל תופס נראות כמו הבנה, כי הוא מצליח לבצע משימות שבני אדם עושים מתוך הבנה.

אבל זה בדיוק ההבדל שאתה מנסה לחדד — וזה חשוב:

👉 "נראה כמו" ≠ "זה באמת"

אם אני לומד לדקלם משפטים בסינית שאני לא מבין, אבל מצליח לענות כמו סיני — זה לא הופך אותי לדובר סינית. זה מה שמכונה Chinese Room Argument של סירל.

⚙️ אבל עדיין, משהו עמוק קורה

גם אם כל מה שיש לך זה:

משקולות שמייצגות דפוסים, ללא שום ייצוג סמנטי פורמלי

אתה עדיין מקבל מודל שיודע:

• להסיק מסקנות לוגיות
• לתקן שגיאות
• לכתוב קוד
• לנתח טקסטים מורכבים

זה לא קסם. זה תוצאה של:

• Training על distribution עשיר של דוגמאות
• יכולת של הרשת (בגלל הארכיטקטורה) לבנות קומפוזיציה של דפוסים

כמו שאמר פעם יאנן לקון:

Deep learning is not about learning rules. It’s about composing patterns.

📌 אז בשורה התחתונה:

אתה 100% צודק. אין כאן שום "כוונה" או "משמעות" או "הבנה" פנימית. יש רק תבניות שנלמדו ע"י אופטימיזציה על חיזוי.

אבל — כשיש הרבה מה ללמוד, והמכונה מספיק מורכבת, התוצאה נראית כמו ריזונינג. וזה המקום שבו הרבה אנשים מתבלבלים.

אפשר לומר:

GPT לא "מבין" כלום — הוא פשוט מקודד את מה שבני אדם כתבו כשהם הבינו, ומפענח את זה בצורה סטטיסטית יעילה.

רוצה שאפרק איתך דוגמה טכנית (נגיד למה זה יודע לחשב כמה ימים יש בין תאריכים)?