ברוכים הבאים לפרק החדש בפודקאסט מכונות

למדות. איתנו היום בזום פרופסור רוני קציר

מאוניברסיטת תל אביב. הוא ראש המעבדה

בשנות חישובית. ואם אני יכול לסכם את

המחקר שלו במשפט, הוא מסתכל על הדמיון בין

איך רשתות נוירונים אלמז בין השער חושבות

לבין איך בני אדם חושבים דמיון והבדלים. א

התחום הזה של קוגניציה הוא לא זר לך

אלישי. אז אני אתן לך לפתוח ולהרים לרוני.

בשאלה הראשונה.

>> האמת שאני חושב שרוני זה אחד האנשים שהכי

קל להרים להם בדס.

ודווקא כשאני חושב על ה בכלל על תחום בין

קוגניציה

ולשלות נורונים ותמיד מחזירו אותי לספר של

אשר גדל ובך אתה מכיר אותו

>> קראתי

>> זה ספר שנכתב באמת לפני לפני כמה עשורים

>> כן

>> ו

זה פשוט מדהים לראות גם עכשיו אחרי פשוט

כמה סורים אחרי שהוא נכתב עד כמה כמה

דברים שנאמרו שם הם עדיין רלוונטים אחד

הדברים שכשהם אוורים שהם עורים שם אגב לקח

המון זמן לתרגם אותו או לעברית

>> אני קראתי באנגלית לפני איזה 20 שנה

>> כן אז הוא ממש לקח הרבה זמן לתרגם אותו

ואחד הדברים שאומרים שם זה שככל שאנחנו

מתקדמים המלאכותית ולפיתוח של המודלים

החישובים אנחנו יותר מבינים מה היא לא

הקוגניציה האנושית כלומר שאנחנו מסתכלים

עכשיו על רשנות ניורונים א

אלללמים וכולי תוך כדי כך אנחנו גם

מתכננים אותם עובדים עליהם מאמנים אותם

אנחנו בעצם סוג של מבינים מה אנחנו לא

יותר מאשר שר מה אנחנו כן אבל יש משהו

מאוד מעניין בעבודות של פרופסור קציר שאני

מוצא בהם איזשהו איזשהו ניסיון קצת א

לחזור קצת

למעמד האנושי על אופן שבו אנחנו חושבים על

שפה וככה אני דווקא ארים לאחת מהבות

האחרונות של פרופסור קציר וזה הפיתוח של

אותו דבר שנקרא minimal description

length שבו אם אני ככה מרדד את כל הטזה

המתמטית הארוכה הזאת למשפט אחד. בסוף זה

בא ואומר אה אנחנו לא רק רוצים לאמן את

הרשת על אהרים

של נתונים, אנחנו גם רוצים להשאיר שמה

איזשהו מקום להפשטות.

והיכולת שלנו לבטא משהו מאוד מורכב.

באמצעות איזשהו דבר נורא קצר ושאני יכול

להכיל אותו.

יכול לייצר איזשהו מודל שיכול להיות

ההכללה שלו היא יותר משמעותית. אז אני לא

יודע אם עשיתי צדק עם העבודה שלך. א

אבל בוא תשתף אותנו קצת מה מה הוביל אותך

לכיוון הזה

ותספר לנו קצת על מה עשיתם שם.

אז אותי מעניין במיוחד איך אנחנו חושבים,

איך המערכת הקוגניטיבית שלנו עובדת וך

הידע הלשוני שלנו נראה, איך אנחנו לומדים

אותו. ו אה הידע הזה הוא בעצמו באופן מאוד

מהותי משהו חישובי. אז ב בשנות ה50 של

המאה הקודמת כלומר א העבודות המוקדמות של

נועם חומסקי שאנחנו

נולדים עם משהו שהוא שהוא במהותו חישובי א

כשאנחנו יודעים שפה כשאנחנו יודעים עברית

או אנגלית או גרמנית או כל שפה אחרת אנחנו

יושבת אצלנו איזשהיא תוכנית מחשב שהיא

הידע הזה הדקדוק ו ואז אנחנו יכולים לשאול

איך התוכניות האלה נראות ואיך נראית שפת

התכנות שהתוכניות האלה כתובות ואיך אנחנו

לומדים לומדים את התוכניות ואיך אנחנו

מבצאים אותם. כל מיני שאלות שהן באמת

באופן מאוד בסיסי ומהותי חישוביות.

והעבודה

הבלשנית, העבודה הקוגניטיבית בכלל היא

מןורס אנגרנ כזה. מנסים להבין את המערכת,

את שפת התכנות, את הרכישה, את התוכניות

עצמן. אמ ועם הללמים האלה עכשיו יש לנו

מין יצור אחר לידינו שאנחנו גם יכולים

לשאול לגביו שאלות כאלה. וזה עוזר לפעמים

לחדד את השאלות שאנחנו שואלים לגבי עצמנו.

אז מה שפת התכנות שהללמים האלה א מגיעים

איתה ואיך הם לומדים את התוכניות ואיך

נראות את התוכניות האלה אמ

ובאמת המinמום description link שהזכרת זה

איזשהו משהו שבו הלמים מאוד שונים מאיתנו.

אז א כשרשתות נוירונים מתאמנות על לפעמים

באמת כמו שהזכרת אה אה כמויות מידע עצומות

הם לומדים באיזשהיא דרך ש אה לא באמת

מביעה בחשבון את הפשטות של ה של התוכנית

אז הם האימון של הרשתות הוא כזה שהוא מנסה

להבין את קורפוס האימון מאוד מאוד טוב שהם

מנסות להיות מסוגלות לנבא אותו בצורה ממש

מוצלחת אה אבל אם הן מנבות אותו בצורה

מוצלחת בזה שהן שומרות מערכות נורא נורא

מסובכות של בשקולות, זה בסדר מבחינת

האימון הזה. ואנחנו כבני אדם לא בדיוק

עובדים ככה. אנחנו כן מנסים, אנחנו מביאים

בחשבון את היכולת שלנו לנבא את הקורפוס

הרבה פעמים עם קורפוסים הרבה הרבה יותר

קטנים אבל אנחנו לומדים וזה אפשר להראות

באופן שמביא בחשבון גם את המורכבות של

התוכנית עצמה. אנחנו אוהבים פשטות. אנחנו

אוהבים שהשערות שלנו גם כמדענים בוגרים

וגם כילדים קטנים אה אנחנו אוהבים שהשרות

שלנו הן פשוטות ואלגנטיות וזה בעצם המרות

של מינימום description הרעיון הזה של אתר

של אוקם א וזה משהו שאין לרשתות א

>> כן

>> אז יש פה אז יש פה באמת כמה דברים א כי

מצד אחד אנחנו אומרים יש משהו מאוד מאוד

מוצלח

בדבר הזה שנקרא שפה. בסוף שפה זה המצאה

קוגניטיבית

והיכולת שלנו לבטא את העולם באמצעות שפה

זו מהפכה עצומה. מהפכה קוגניטיבית עצובה.

ואנחנו היום רואים שאם ניקח הדבר הזה את

ההמצאה הזאת של השפה ונזין

אותה לתוך רשת עצומה כזאת אנחנו מבינים

שאנחנו יכולים ממש לייצג את העולם עם

מילים. אני לא חושב שאנחנו הרבה פעמים

מתייחסים לזה כמובן מאליו. אבל זה אחד

הדברים הכי לא מובנים מאליהם שאפשר לחשוב

עליהם כי לעובדה שאנחנו יכולים לתאר את

המציאות על שלל המורכבות שלה באמצעות

מילים ואז לקחת את המילים האלה

להכניס אותם לתוך מכונה ותשתמשי במילים

האלה בשביל לתאר את העולם לפורס אנגנירנג

של העולם מתוך השפה זה איזשהו תהליך שהוא

קודם כל הוא הוא מדהים זה ממש פלא הנדסי

אני כשאני מסתכל היום ואני גם עכשיו שאני

עובד עם המודלים גם המודלים אתה יודעת GPT

וכולי.

המהנדס שבי בא ואומר זה פשוט מדהים שזה

עובד ככה. זה פשוט מדהים שהיצוג

של המציאות באמצעות השפה, ההמצאה

הקוגניטיבית הזאת, הצליחה להגיע למכונה

בצורה כזאת שאפשר לעשות ממש רוורס

אנגינירנג למציאות מתוך השפה. אני אגב אני

לא בטוח בכלל שרוני יסכים איתך שזה מה

שקורה שם כי אתה יודע ישית תענו שזה פשוט

משלימים באופן הסתברותי את המילה הבאה פה

אתה מייחס המון סוכנות

>> אני מייחס הרבה סוכנות לסיפור אז שאלה

הייתי שמח לשמוע מהרון אני חושב על זה

>> אה אז אני חושב שה קודם כל מבחינת ההמצאה

הקוגניטיבית זאת המצאה של האבולוציה

הביולוגית כלומר אנחנו בני אדם מגיעים ל

לעולם כבר עם איזשהו משהו ש שנוצר באיזשהו

תהליך שאנחנו לא מבינים אותו ואנחנו לא

יודעים בדיוק מתי הוא קרה ואיך. אנחנו

מגיעים מוכנים ל אה להתנהלות הזאת הלשונית

שלנו. הידע הלשוני שלנו א התשתית הזאת שפת

התכנות זה משהו שאנחנו מגיעים איתו. אנחנו

לא צריכים להמציא אותו. ה אנחנו פשוט

בנויים ככה. ואז את השפות עצמן,

התוכניות עצמן זה משהו שמשתנה לו לאורך

זמן ובין תרבויות

וחברות והכל, אבל התשתית עצמה, המחשב

שעליו הדברים רצים, מספר התכנות ומנגנון

הלמידה, כל זה מגיע מראש

ומאוד יכול להיות שהוא מעורב באופן מאוד

עמוק באיך שאנחנו חושבים ובמה שמבחין

בינינו לבין בעלי חיים אחרים,

אה, שלאף אחד מהם אין משהו דומה לזה. א

אנחנו חולקים כל מיני דברים במערכת

הקוגניטיבית אבל לא אבל פה יש בשפה יש

איזשהו משהו שלמיתב ידיעתנו יש רק לנו

ואין אין לאחרים א שפת התכנות שלנו היא

באמת משהו כנראה ייחודי בעולם הטבע אמ

ווהוא שונה גם מהאלמים וכן הללמים מסוגלים

לעשות עבודה מאוד מאוד מרשימה

ודרך זה שכמו שעידי אמר הניבוי הזה של ה

של התו הבא הם איכשהו מצליחים דרך הדבר

הזה לעשות דברים די די מדהימים אבל בלי

בהכרח לחלוק איתנו שום דבר מעניין ויש

סיבות טובות לחשוב שהם הן באמת המכונות

האלה לא חולקות איתנו את הדבר הזה המהותי

שלנו ואפשר להסתכל זה גם הדברים שאנחנו

עושים במעבדה להסתכל מקרוב על איך איך

רשתות לומדות איך הללמים האלה לומדים

לעומת איך אנחנו לומדים

והן לא מסוגלות ללמוד הרבה פעמים עם חוקים

שכל ילד ילמד מאיזה חמש דוגמאות ו עניין

הפשטות המינימום דקפtion הוא אני חושב

מאוד מהותי כאן הן לא לומדות ככה ואז הן

ממש מפספסות את החוקיות אבל מסוגלות לקרב

את זה באופן שנראה פשוט מדהים הם מתנהגות

באופן שיכול לעבוד על כולנו עד שלא דוחפים

אותן מספיק רחוק מעבר לקורפוס האימון ואז

רואים שהן באמת לא הבינו את החוק הנכון

וכשאתה מוסיף את האלמנט הזה של המinמimal

description lה כן רואה אותן מתקרבות

לצורת חשיבה שלנו

>> אז כן באופנים מסוימים אז א אז כשהתחלנו

לאמן רשתות עם מינימום length פתאום

קיבלנו רשתות קטנות יפות כאלה שאתה ממש

יכול להסתכל פנימה ולראות את הסיפור שהן

מספות אתה נותן להם איזשהו דפוס

ומלא יותר מידי דוגמאות הן מתאמנות

ומגיעות למשהו שאתה יכול לראות שהן הבינו

בדיוק פה צריך איזה מונה פה צריך איזשהו

חוק פה צריך להשלים איזשהו משהו והן

לומדות את זה לבד רק מזה שהוספת את את

הפשטות את המinמum descriptפtion link

במקום שיטת האיבון המקובלת הן עדיין שונות

מאיתנו בדרכים אחרות כי עדיין שפת התכנות

שלהן אחרת היצוגים נראים אחרת אבל הן כן

מסוגלות לבטע אינדוקציה מן קפיצות כאלה של

הכללה שנראות הרבה הרבה יותר אנשיות כן

אז אני זאת אומרת חוזר לשאלה הזו של האלהם

שחוזה את המילה הבאה אם אם בצורה כל כך

פשוטה אפשר לשחזר את הדבר המיוחד שרוני

מדבר עליו האם באמת כל כך מיוחד מה שיש

לנו אם אפשר להעתיק אותו עם כלי כזה פשוט

>> אמ אז מה שיש לנו הוא אה א

הוא משהו שאי אפשר באמת להעתיק אותו עם

משהו כל כך פשוט. כלומר, האלמים כשהם

מתנהגים, כשההתנהגות האלהמית נראית נורא

אנושית, זה רק קירוב. כלומר, הם הם

מסוגלים לעשות משהו א א שנראה אנושי, אבל

הוא באמת לא. ושוב אפשר לדחוף אותן אפשר

לדחוף את האלה להם מעבר לקורפוס האימון

ולראות שהם באמת לא הצליחו לעשות את מה

שאנחנו עושים. לפעמים מהרבה הרבה פחות

דוגמאות. גמרא ללמוד חוק ללמוד חוק של

חיבור פשוט או של א אה דפוס כזה של העתקה

או פלינדרומים או כל מיני דברים נורא נורא

נורא פשוטים ששוב כל ילד יכול לעשות בקלות

א האליללמים מסוגלים רק להעמיד פנים שהם

עשו אותו אז זה לא א עכשיו הבעיה היא לא

באמת בניבוי של הטב הבא כשלעצמו כי וזה

משהו שהולך אחורה גם המון בעצם לאותן שנים

של ההתחלה של

העבודה הבלשנית הגנרטיבית. אז באותן שנים

רי סולומונוף א

הסתכל על ניסה לחשוב על איך מדענים מסיקים

מסקנות ואיך מתמטיקאים עובדים ובכלל איך

אינטליגנציה עובדת והגיע למסקנה שאפשר

לבנות ניבוי אופטימלי דרך ניסיון לחזות את

התו הבא אבל באופן הרבה יותר הרבה יותר

מבוסס מתמטית ועם עיקרון פשטות בעצם

עיקרון הפשטות בגרסה

פורמלית המתמטית שלו זה ההמצאה שלו זה אצל

רי סולמונוף או הגילוי של הדבר הזה הוא

אצל רי סולמונוף בסוף שנות ה-50 תחילת

שנות ה-60 ו ואפשר לבנות מכונה עקרונית

יש שמה בעיות א זה לא זה לא משהו שהוא

פרקטי אבל אפשר לבנות מכונה עקרונית

שעובדת לפי ניבוי התו הבא ומגיעה לידע ממש

נכון אמיתי של החוקים אה הללמים עושים

איזשה איזשהו קירוב לדבר הזה, אבל הוא

קירוב מאוד מאוד מאוד חלקי והן לא באמת

לומדות את החוקים והן לא מגיעות למה שיש

אצלנו מה שצנו זה אחרת והוא דורש גם את

עיקרון הפשטות הזה שיש לנו מסולומונוף

ואלך וגם אבל את ה את מערכת היצוג המתאימה

את שפת התכנות המתאימה ושפת התכנות

האלהמית היא לא הספה הנכונה הם מגיעות

לעולם המכונות האלה עם ספת תכנות שהיא

לגמרי לגמרי אחרת משלנו

>> כן אז תראה בס אני דיברנו על זה בדיוק

לפני שהתחלנו את הפודקאסט

וזה שיש לך עמדת א הייתה לך עמדת כניסה

אה מאוד נכונה נגיד ככה לעולם הזה שאלים

עשית את הראשון למתמטיקה ואחרי זה המשכת

לבלשנות

והנה נדמה פתאום נראה שאולי שפה זה כל מה

שצריך אבל אחד הדברים שאנחנו דווקא רואים

בחוץ היום בפיתוחים האחרונים שנסים בעסים

בעולמות של ai זה ששפה יש לזה יש לה כוח

אדיר כן בלפתח את ה בלבנות איזשהיא

בינה מלאכותית אבל שזה לא מספיק

שחוץ מהLM אנחנו צריכים גם VL כלומר אנחנו

צריכים איזשה VLM הוא המודלים שהם איזשהו

קורפוס ויזואלי וצריך לדבר גם על איזשהו

רפרטואר של רפרטואר מוטורי ובסוף אם אנחנו

לא מוסיפים את המוטוריקה ואת הויזואל אז

האלה

לא יוכל לפרוץ מעבר למה שהוא כבר למה שהוא

כבר פרץ. זה נשמע לך כמו הכיוון המולטי

מודלי הזה. זה נשמע לך ששמה דברים הולכים.

>> אה

זה נשמע לי א הגיוני ש שהטקסט לבדו לא

יספיק. א אבל כן אבל אה אבל אני לא אני לא

יודע באמת מה צריך בשביל אה בשביל שה

המודלים למטרות ההנדסיות שלהם יצליחו כמו

שצריך כי פה מדובר על איזשהו פרויקט אחר

כלומר הפרויקט של הרוורס אנגineרנג של

המדע הקוגניטיבי והפרויקט ההנדסי הישיר

שלבנות מכונות שטובות לנו ומתנהלות בעולם

באופן הגיוני הם הם פרויקטים נפרדים מה

שמה שנכון להתמקד בו באחד זה לא בהכרח מה

שנכון להתמקד בו בשני. כן.

>> אחת מהשאלות גם ש ככה שואלים הרבה בתחום

שלנו זה האם

ההשקה בין מדעי המוח והקוגניציה

להנדסה למדעי המחשב ולמינה מלאכותית האם

מה שהקוטי כבר מצתה את עצמה? כלומר, האם

עכשיו זה שאנחנו לומדים בלשנות תיאורטית

לבני אדם ואיך הם רוכשים שפה עם חומסקי מה

הכללים הסינטקטיים שמאפשרים למידה של

סוגים שונים של שפות עם מערכת חישובית אחת

וכל הדברים האלה, האם ההבנה שלנו על

הקוגניציה מצתה את עצמה מבחינת היכולת שלה

לתרום לדור הבא של הללם

או שלא?

>> אני לא חושב שהיא מצטה את עצמה. לא א אני

חושב ש אה ככל שאנחנו אה מסתכלים יותר על

הקוגניציה אנחנו למרות ששוב הפרויקטים

מאוד מאוד נפרדים ובעיקרון יש דברים שאפשר

לעשות למטרות הנדסיות שיהיו מצוינים ולא

יהיה להם שום קשר לקוגניציה עדיין כשאנחנו

מסתכלים על מי אנחנו וחוקרים את השאלות

הקוגניטיביות אנחנו מקבלים לאורך הדרך כל

מיני תובנות שהן מאוד מועילות גם לעבודה

ההנדסית אה אני חושב שמimמום

descriptioning זה בדיוק מסוג הדברים

שאנחנו מקבלים מהכיוון הזה. אנחנו מסתכלים

על איך אנשים מבצאים קפיצות אינדוקטיביות

כילדים או כמדענים בוגרים ומקבלים מזה

משהו שיכול מאוד לשפר את רשתות.

>> תסביר תסביר רגע קפיצות אינדוקטיביות.

תסביר למה הכוונה.

אוקיי, אז אנחנו רואים כמה דוגמאות של

איזה משהו, נניח מחרוזות

כמו AB, AABB, AA BBB, משהו נורא נורא

פשוט ואנחנו ישר מבינים טוב ההמשך הולך

להיות עוד מהסוג הזה של איזה רצף Aים ואז

רצף Bם באותו אורך משהו בסגנון שאלות

פסיכומטרי שאתה אמור להבין את הכלל כן

>> נכון בדיוק יש איזה כלל והוא יכול להיות

נורא נורא פשוט עכשיו עכשיו אנחנו גם

כולנו יודעים שאחרי איזשהו רצף כזה התחלתי

יש אינסוף דרכים להמשיך את ה את הסדרה

הזאת ואם

אם מקשים אלינו אנחנו יכולים להמציא

איזשהו סיפור לפעמים משוגע בשביל להצדיק

את ה את הסדרה אבל אנחנו נוטים לבצע

קפיצות

שנראות די דומות בינינו לבין עצמנו לכן

אפשר לשאול את השאלות האלה בפסיכומטרי כי

אנחנו כולנו

יודעים איך נראות קפיצות טובות

מהחמש דוגמאות הראשונות לדוגמה השישית או

לדוגמה ה-20

אנחנו מגיעים מוכנים לקפיצות כאלה מעבר

לאיזשהיא התחלה אנחנו רואים איזשהן כמה

דוגמאות ואנחנו מכלילים והכללה הזאת היא

החללה שאנחנו א יכולים לנסות לאפיין

וההתקדמות המדעית היא תמיד דרך קפיצות

כאלה אנחנו רואים כמה תצפיות לגבי העולם

וכמו בפסיכומטרי אנחנו יכולים להסכים לגבי

איך הגיוני להכליל כאן וילדים יודעים

להכליל ובין תרבויות מכלילים באותו אופן

בהרבה מהמקרים האלה א אנחנו מכונות הכללה

מאוד טובות ומאוד דומות אנחנו יש אחידות

גדולה בהכללות האלה שלנו לא תמיד אנחנו

רואים את זה ישר אבל אנחנו יכולים להסכים

אם מישהו מזהה את את הדפוס והוא מספר לנו

אנחנו יכולים להסכים שזאת ההחללה הנכונה

או להתעקש שזה לא החללה

הללם ממכלילים אחרת

אה באופן שנראה גם שהיינו מופתעים לראות

אותו ממדען גם משבט אחר או מילדים

או אפילו מדען ממעדים לא היינו מצפים שהוא

יחליל כמו האלהמים

זה מעניין כאילו אתה מזכיר לי את הדטהסט

שפרנסוא שולה עובד עליו אתה בטח מכיר הrkg

שזה בודק בדיוק את יכולת ההכללה של הל

מקבלים משימות נורא קשות ש א ואמנו גם בני

אדם לא מסוגלים להחליל כלומר נניח לצבוע

בפנים רק צורות שהן סגורות או צורות שהשפה

שלהם נורודה וכאלה דברים

ולאחרונה אלה אלם עם מהדור האחרון הם

מצליחים לא רע

עם האתגרים האלה אז זה עושה רושם שיכול

להיות ההחללה הזו

>> קיימת עובדת

>> לעבור פסיכומטרי הם מסוגלים או גם את זה

אתה אומר גם את זה הם מזעייפים

>> אני חושב שבכל המקרים האלה יש לא מעט

העמדת פנים מצד האלה אליהם בלי לדעת שהוא

מעמיד פנים כמובן א אבל אה כשהרשתות

מתאמנות על כל כך הרבה מידע עבירות כל כך

הרבה דוגמאות של בעיות הכללה כי הן כבר

מתאמנות על קורפוסים כל כך גדולים ש שזה

כולל גם דוגמאות כאלה של בעיות הכללה וזה

מאפשר להן אז לעבור את המבחנים האלה

בהצלחה שנחשבת מספיק טובה היא לא מושלמת

אבל היא נחשבת מספיק טובה כי כי זה מספיק

קרוב להן לקורפוס האימון, אבל הן לא באמת

לומדות א כמו שצריך.

אפילו אם ניתן להן קורפוס שהוא עוד יותר

גדול והוא כולו בעיות הכללה כאלה עדיין

נכון להיום עם שיטות האימון הקיימות הן

אלה שלא כוללות מינימום desפiption actן

או משהו שהוא מאוד קרוב לזה הם יחלילו

באופן שלא יראה אנושי רק שיהיה לנו נורא

קשה לתפוס אותן כי אם על דוגמאות עד אורך

אלף או מיליון או כמה שלא יהיה זה יראה

מספיק דומה להכללה אנושית לנו יהיה מאוד

קשה לראות שאם נדחוף את זה עוד הרבה והלאה

אה זה כבר יפסיק להראות אנושי.

>> השאלה שעולה לי בעקבות זה אני כשאני יושב

לפתור פסיכומטרי איך אתה יודע שאני לא

מעמיד פנים? איך אני יודע שאני לא מעמיד

פנים שאני יודע את הכללים האלה? איך אני

יודע שאם אני אפתור את ה בעיית ההכללה

מיליון ואחת גם אני לא אכליל בצורה שהיא

לא אנושית? אז א

>> אז

אז אני יכול לשאול אותך מה הכלל ואתה תוכל

לנסח אותו בצורה ממש מדוייקת? תוכל לכתוב

תוכנית ש א תגלם את ה את הכלל הזה אה ו

ואם שואלים אנשים ש

שלא יודעים לכתוב תוכנית אז אז גם איתם

אפשר לבדוק את זה כי אפשר לתת להם פשוט אז

נניח הם מצליחים לפתור את זה עד איזשהו

אורך מסוים ואז כבר מתחיל להיות להם קשה

אבל אז נשים אותם באיזה חדר שקט ניתן להם

לטון לישון טוב בלילה לפני ניתן להם דף

ועת כדי שהם יוכלו לעבוד יותר בצורה

מסודרת והם יוכלו להחליל את זה הלאה.

האלהמים לא, הם הם באמת למדו את הכלל הלא

נכון ואפשר אפילו להסתכל על מה הם מנסים

ללמוד בחלק מהמקרים בדוגמאות מספיק קטנות

ולראות ש שהם ממש מנסים להגיע לאיזשהיא

פינה לא נכונה במרחב ההשרות להכללה לא

טובה. זה זה מתקשר לעבודה שבעקבותיה

הזמנתי אותך לדבר איתנו פה וגם בפורום של

התואר ש

עבדתם על GPT2

וראיתם שהוא נגיד קל לו ללמוד דברים

מזויים באותה מידה שקל לו ללמוד דברים

אמיתיים בעוד שלי

>> אני הולך ללמוד עברית כנראה קל יותר

מללמוד שפה שהיא מומצת באופן א א מוכבון

להטל אנשים נכון אז תספר לנו קצת על

העבודה הזו

>> כן אז זאת עבודה שבאמת משלימה את העבודה

על על מינימום דcפtionים רשתות זה הצד

השני של ה א של סוג ההכללה שאנחנו עושים

אז ההכללות שלנו הן איזשהו שילוב של

הקריטריון הזה של איזה השרות אנחנו

מעדיפים שזה ממודפני או קריטריונים אחרים

א שינתן שתי השרות אנחנו איך אנחנו יכולים

להגיד זאת יותר טובה מזאת. אה, החלק השני

של עיקרון ההכללה הוא מערכת היצוגים וזאת

בעצם שפת התכנות הזאת שאנחנו נולדים איתה.

ואז אנחנו יכולים לשאול כשבני אדם מנסים

להתמודד עם איזשהו א עם איזשהו דפוס למשל

דפוס של ספה אמיתית או דפוס מסוג שאין לנו

בכל מיני שפות האם אנחנו יכולים

ללמוד להסתכל על איך אנשים מכלילים אה

ולהסיק מזה כל מיני מסקנות לגבי שפת

התכנות שלנו ובאמת אפשר לראות שגם

ילדים שנחספים לאיזשהו קורפוס מסוים על

פני כמה שנות שנות חיים מבצאים קפיצה

אינדוקטיבית כזאת הכללה א באופן שיטתי

שהולך לכיוון מסוים וזה הולך לכיוונים

האלה של הדברים שאנחנו מוציאים בשפה אחרי

שפה ולא מוציאים בהרבה שפות דמיוניות

שהיינו יכולים להמציא לעצמנו

>> אתה יכול לתת דוגמה ספציפית למה מה אמיתי

ומה מומצע בשפה

>> כן אז יש כל מיני דברים שאנחנו יודעים שהם

שאנחנו מוצאים בהמון המון נוספות אה

ולמשל שיש לנו הכללות שמבוססות על מבנה

היררכי. אז בכל השפות שאנחנו מכירים

המבנים שלנו אנחנו לא סתם עובדים ברמה של

מחרוזות אלא מאחורי הקלים. המחרוזות האלה

משקפות לנו איזשהו מבנה עם הרבה יותר

מורכבות מבנית. דברים שאפשר לחשוב עליהם

כעצים או כגרפים אחרים. וזה משהו שיש לנו

בכל בכל השפות. עכשיו המבנים האלה משמשים

אותנו גם לכל מיני תהליכים. יש תהליכים

תחביריים למשל שמאוד מאוד רגישים למבנה

הזה, למבנה הגרפי הזה. ו תלויות שמבוססות

על המבנה הגרפי הזה הן תלויות שבחלקן

הן מאוד טבעיות לנו ואנחדים לומדים את זה

מאוד בקלות ואנחנו מוצאים את זה בשפה אחרי

שפה. תלויות שהן ליניאריות ברמת המחרוזת

זה משהו שהוא מאוד נדיר ואולי לא קיים

בכלל בתלויות תחביריות ואם ננסה ללמוד את

זה יהיה לנו יותר קשה א ויש טענות שזה גם

כשאנחנו כן לומדים דברים כאלה אז א זה

אפשר לזהות שחלקים אחרים במוח מטפלים בזה

יש ניסיונות להבין איך איך ואיפה זה מטופל

ברמת הפעילות המוחית אמ וזה הכללות שאפשר

היה לדמיין מכונות אחרות, לא אנחנו, שזה

היה להן מאוד טבעי, מכונות שאולי יש להם

מבנה גרפי כזה, אולי אפילו כמו אצלנו, אבל

התלויות יכולות להיות מנוסחות ברמה

הליניארית של המחרוזת. זה פשוט לא אנחנו.

>> מהמם? זה כמו שבסוף, כשחומסקי בא ותייר את

הכללים הסטינטקטיים ככה הבסיסיים, אני לא

חושב שהוא קישר את זה ישירות לרשות

ניורונים. כן? בסוף אנחנו לא נולדים עם

איזשהו לוחלק. אנחנו כן יש איזשהי מערכת

עצבית ש שמגלמת את החוקים התחבירים האלה

באופן שמאפשר למי שגדל בסין לרכוש את השפה

הסינית ומי שגדל בישראל לרכוש את השפה את

השפה העברית ואז שאנחנו מתחילים עם רשת

ניירורונים כזאת שהיא עצומה אז כן יש שמה

איזשהו סוג של לוח הלק והלוח ה חלק הזה

יכול גם ללמוד א שפות שהם שפות לא

מציאותיות שפות לא אמיתיות שפות שאנחנו

כבני בני אדם לא היינו יודעים לרכוש אותם

ופה זה הדבר הזה מעלה לי את השאלה זה האם

אנחנו הניסיון שלנו להלץ את המכונה להתנהג

כמונו לחשוב בכללים שיותר מזוהים עם

הקוגניציה שלנו אם אנחנו לא מגבילים את

המכונות האלה בצורה בצורה כלשהיא

>> אז כן כשאנחנו מענים אותן על אה על

הטקסטים שלנו שזה מה שאנחנו בדרך כלל ל

עושים אז אנחנו דוחפים אותן ל לקרב את ה

את סוג הדברים שאנחנו עושים זה לא צריך

להיות בדיוק אבל זה לקרב את סוג הדברים

שאנחנו עושים אין מבחינתן אין לא בדיוק

לוח חלק כי אין אי אפשר באמת ללמוד עם לוח

חלק אבל הן מגיעות הרבה יותר ניטרליות הן

יש להן הרבה הרבה פחות מההכנה הביולוגית

שלנו לסוג הדברים שאנחנו מוציאים אצלנו

בשפות א הן הרבה יותר ניטרליות מבחינה

בלשנית א ובעיקרון הן היו יכולות גם ללמוד

דברים שהם מאוד מאוד לא אנושיים ולא לא

טבעיים לנו וין לא עשות את זה כי אנחנו לא

מאמנים אותן על על קורפוסים כאלה כן

>> אז אז מה לדעתך הצעד הבא מה הבאלנק שלנו

היום האם אנחנו צריכים עוד דטא אם אנחנו

צריכים דטה יותר איכותי האם אנחנו צריכים

מודלים חדשים האם זה עניין של חומרה

שאנחנו צריכים עכשיו וזה מה שמגביל אותנו

מה הבדלנק איך שאתה רואה של התחום שאם

נפתור אותו נקבל את הפריצה הבאה.

את השאלה היא מה המטרה בדיוק כי לפרויקט

ההנדסי לא לפרויקט הקוגניטיבי לפרויקט אז

לפרויקט ההנדסי יש מטרות ש אה חלקן

מתממשקות באופן באופן מעניין עם הפרויקט

הקוגניטיבי אבל לפעמים גם לא וחלק מפריצות

הדרך וזה אני

יש

מומחים לתחום הזה שיוכל תוכלו בטח לספק

לכם הרבה יותר אה הרבה יותר תובנות לגבי

הצעדים הבאים ופריצות הדרך הבאות. אני

עוסק בצד הקוגניטיבי של הדברים. אמ ואני

אני בטוח שיש דברים שהם לחלוטין נפרדים

מזה ושיכולים להיות מאוד רלוונטיים

לפריצות הדרך הבאות. אני כן חושב שלפרויקט

הקוגניטיבי יש המון מה לתרום ל

לפיתוח ההללמי בין השאר בשביל להבין

ההלמים האלה הרי גם אנחנו רוצים שהם ילמדו

מפחות מידע זה לא נוח שאנחנו צריכים לאמן

אותם על כל כך הרבה מידע א ואת זה אנחנו

יכולים לשפר על ידי זה שאנחנו הופכים את

האלמים יותר דומים לנו א על ידי דברים כמו

minimמום description link על ידי זה

שמנסים להבין אם אפשר להכניס משהו

ממהיצוגים, ממערכת היצוגים האנושית לאלמים

ספק להפוך את צפת התכנות שלהם לקצת יותר

דומה לשלנו, גם אם לא לגמרי, רק בשביל שהם

יופלו ללמוד יותר טוב מפחות. א אבל גם כל

מיני דברים אחרים כמו זה שה מכיוון שהם

נכנסים לכל תחום בחיינו והם כל כך שונים

מאיתנו לנסות לזהות איפה זה יכול להיות

בעייתי. למשל לנו יש הבחנה מהותית מאוד

בין נכונות מצד אחד לבין הסתברות מצד שני

>> השאלה אח השאלה אח השאלה האחרונה שככה

הייתי רוצה ככה בדקה האחרונה שיש לנו דקות

האחרון שיש לנו

>> זה כשאתה רואה את המכונה באה ומפגינה

איזשהם יכולות קוגניטיביות כאלה ואחרות מה

זה יותר זה יותר מרגש אותך או יותר מפחיד

אותך

אז נכון לעכשיו אני לא רואה אותן מראות

באמת משהו קוגניטיבי עמוק הן כן מאוד מאוד

מרשימות ברמה ההנדסית א מה ש מה שמפחיד

אותי בעיקר לגביהן כרגע זה שהם א כלי

שיכול לבלבל אנשים בכל מיני דרכים לשמש

לכל מיני מטרות של אה התעיה ציבורית א

וודברים שכבר כבר קוראים בכל מיני מקומות

ווזה יותר מדאיג מאשר איזשהיא קוגניציה

אמיתית שמתפתחת שמה או איזשהם רצונות

אמיתיים של המכונות שנכון עכשיו הם

>> טוב א אני לא רוצה לסיים בכזו נעימה

שלילית אז אני אשאל אותך רוני

>> זה חיו זה חיובי משאיר אותנו ייחודיים

דווקא

>> לא הפחד מזה שהאלה אליהם זה יעשה לנו

נזקים יש לנו צריך לדבר על ה על הדברים

הטובים גם והייתי רוצה לשאול שאלה אחרונה

ובאמת פה נסיים איפה אתה רואה א את התחום

עוד שנה עוד שנתיים ספציפית מנקודת המבט

שלך מה כלומר נניח הטכנולוגיה ממשיכה

להתפתח בקצב הזה מה איך זה משפיע על המחקר

שלך מה אתה יכול לממש עם זה

>> אז נכון עכשיו כל עוד הפרויקט ההנדסי

מתקדם בכיוון הנוכחי שלו של להפוך את

הללמים ליותר גדולים יותר מהירים להתאמן

על יותר מידע וולהצליח לקרב דברים יותר

טוב זה זה לא באמת אז מאפשר לפרויקט הזה

להשפיע על הדברים שאנחנו חוקרים

בקוגניציה, אבל זה כן הופך לכלי יותר

ויותר טוב לכל מיני א מטרות של עומדן של

אינפורמציה בקורפוס א לזיהוי של כל מיני

תבניות. אז כלי עבודה שהוא מאוד מאוד טוב.

הוא כבר מאוד מועיל ואני חושב שהוא יהפוך

לעוד יותר מועיל. אה

>> טוב

>> אז זה אולי משהו חיובי לחיום. תודה רבה.

אז א אני אגיד תודה לאלישע על השאלות

המעניינות. תודה לרוני על התשובות

המעניינות. תודה למאזינים שלנו שהקשיבו

לנו ואנחנו ניפגש בפרק הבא.

>> מעולה. תודה רון.