החוקרים אימנו בהצלחה את AI לייצר שפה טבעית ישירות מהקלטות מוח, ומקרב אותנו לתקשורת חלקה של מוח לטקסט.
מחקר: שחזור שפה גנוצרי מהקלטות מוח. קרדיט תמונה: ג'קי ניאם / Shutterstock
תאר לעצמך להיות מסוגל לתרגם מחשבות למילים בלי לדבר או להקליד. מדענים מתקרבים להפוך את זה למציאות. מחקר שפורסם לאחרונה בכתב העת ביולוגיה של תקשורת בדק כיצד ניתן להשתמש בהקלטות מוח כדי לייצר שפה. זה מקדם את ההבנה שלנו כיצד המוח מעבד את השפה, עם יישומים פוטנציאליים בהדרכת מודלים, בינה מלאכותית (AI) מבוססת תקשורת, ואולי אפילו בטיפולי לקות דיבור.
פענוח שפה ומחשבות
המוח האנושי מסוגל לעיבוד שפה מורכב, אך פענוח מחשבות ישירות מפעילות המוח היה מזמן אתגר. מחקרים קודמים ניסו זאת על ידי שימוש במודלים של סיווג התואמים את פעילות המוח לאפשרויות שפה מוגדרות מראש. אמנם שיטות אלה הראו הצלחה מסוימת, אך הן מוגבלות בגמישות ולא מצליחות לתפוס את המורכבות המלאה של הביטוי האנושי.
ההתקדמות האחרונה במודלים גדולים בשפה (LLMS), כמו אלו המפעילים צ'אט בוטים כמו ChatGpt, חוללו מהפכה בייצור הטקסט על ידי חיזוי רצפי מילים סבירים. עם זאת, דגמים אלה לא שולבו בצורה חלקה בהקלטות מוח. האתגר הוא לקבוע אם אנו יכולים לייצר ישירות שפה טבעית מפעילות מוחית מבלי להסתמך על קבוצה מוגבלת של אפשרויות מוגדרות מראש.
על המחקר
במחקר הנוכחי, החוקרים פיתחו מערכת חדשה בשם Brainllm, המשלבת הקלטות מוח עם LLM לייצור שפה טבעית. המחקר השתמש בנתוני הדמיית תהודה מגנטית פונקציונלית לא פולשנית (FMRI) שנאספו מהמשתתפים בזמן שהם הקשיבו או קראו גירויים בשפה.
המודל הוכשר בשלושה מערכי נתונים ציבוריים המכילים הקלטות FMRI של המשתתפים שנחשפו לגירויים לשוניים שונים. החוקרים עיצבו "מתאם מוחי", רשת עצבית המתרגמת את פעילות המוח לפורמט המובן על ידי LLM. מתאם זה חילץ תכונות מאותות מוח ושילב אותם עם תשומות מבוססות טקסט מסורתיות, ומאפשר ל- LLM לייצר מילים שהתיישרו מקרוב עם המידע הלשוני המקודד בפעילות המוח.
החוקרים אספו תחילה נתוני פעילות מוח בזמן שהמשתתפים עיבדו שפה כתובה או מדוברת. הקלטות אלה הוסבו אז לייצוג מתמטי של פעילות המוח. רשת עצבית מיוחדת מיפה את הייצוגים הללו למרחב התואם להטמעת הטקסט של LLM.
לאחר מכן המודל עיבד את הכניסות המשולבות הללו ואת רצפי המילים שנוצרו על בסיס פעילות מוח וגם על הנחיות טקסט קודמות. על ידי אימון המערכת על אלפי סריקות מוח ותשומות לשוניות תואמות, החוקרים מכוונים במוח מכוונים כדי לחזות טוב יותר ולייצר מילים המתאימות לפעילות המוח.
בניגוד לשיטות קודמות, אשר דרשו בחירת מילים מסט מוגדר מראש, BrainllM יכול ליצור טקסט רציף ללא אילוצים מוגדרים מראש.
לאחר מכן העריך המחקר את הביצועים של Brainllm מול מודלים קיימים. הצוות בדק את המערכת במגוון משימות שפה, כולל חיזוי המילה הבאה ברצף, שחזור קטעים שלמים והשוואה בין טקסט שנוצר עם המשך שפה נתפסת אנושית.
ממצאים עיקריים
החוקרים הדגימו כי BrainllM היה טוב יותר באופן משמעותי ביצירת שפה המותאמת מקרוב עם פעילות המוח בהשוואה לשיטות מבוססות סיווג מסורתיות. באופן ספציפי, הוא הניב טקסט קוהרנטי יותר ומתאים בהקשר בעת עיבוד הקלטות מוח. המודל הראה את הדיוק הגבוה ביותר כאשר הוא מאומן במערכי נתונים גדולים יותר, מה שמרמז כי הגדלת כמות נתוני המוח עשויה לשפר עוד יותר את הביצועים.
אחת מפריצות הדרך העיקריות הייתה היכולת של Brainllm לייצר טקסט רציף ולא לבחור מאפשרויות מוגדרות מראש. בניגוד לשיטות קודמות שהסתמכו על סיווג-שם בחרה המערכת ממערכת מילים מוגבלת-Brainllm יכולה לייצר משפטים פתוחים המבוססים על קלט מוח. זה ייצג התקדמות משמעותית ליישומים בעולם האמיתי, כאשר תקשורת בלתי מוגבלת היא מכריעה.
יתר על כן, מעריכים אנושיים העדיפו את הטקסט שנוצר על ידי Brainllm על פני מודלים של קו הבסיס, מה שמצביע על כך שהוא תפס דפוסים לשוניים משמעותיים. ראוי לציין כי BrainllM היה יעיל במיוחד לשחזור השפה 'מפתיעה' – מילות או ביטויים ש- LLM בלבד יתאבק לחזות. זה מדגים כי אותות מוח משפרים את דוגמנות השפה בדרכים בלתי צפויות.
המערכת ביצעה בצורה הטובה ביותר בעת ניתוח פעילות מוחית מאזורים הידועים כמעורבים בעיבוד שפות, כמו אזור ברוקה וקליפת המוח השמיעתית. הדיוק הגבוה ביותר נצפה בעת שימוש באותות מאזור ברוקה, מה שמרמז על תפקידה המרכזי בשחזור שפה טבעית. זה הציע כי זיקוק מיפוי אותות מוח יכול לשפר עוד יותר את הדיוק והאמינות.
עם זאת, למרות שהמודל ביצע היטב, הדיוק שלו השתנה בין יחידים, ושחזור שפה פתוח מהקלטות מוח לא היה אופטימלי. המחקר דן גם במגבלות של FMRI, שאינו כלי מעשי ליישומים בזמן אמת בגלל העלות הגבוהה והמורכבות שלו.
מסקנות
בסך הכל, המחקר סימן צעד חשוב לעבר טכנולוגיית המוח לטקסט, והדגים כי שילוב הקלטות מוח עם מודלים בשפה גדולה יכול לשפר את ייצור השפה הטבעית. אמנם יישומים בעולם האמיתי עדיין עשויים להירחק שנים, אך מחקר זה מניח את היסודות לממשקי מחשב מוחיים שיכולים יום אחד לעזור לאנשים עם לקויות דיבור לתקשר בצורה חלקה.
החוקרים מאמינים כי מחקר עתידי יצטרך לחקור טכניקות הדמיית מוח אלטרנטיביות, כמו אלקטרואנספלוגרפיה (EEG), שיכולות לאפשר פענוח בזמן אמת של שפה מפעילות מוחית. בנוסף, הם מציעים לשלב את Brainllm עם ממשקי מחשב מוחי מבוססי מוטוריים (BCIS), אשר שימשו בהצלחה לתקשורת הקשורה לתנועה, לפיתוח מערכות נוירו-פרוסטטיות חזקות יותר. התקדמות זו בפענוח איתות מוח ולמידת מכונות עלולה לקרב אותנו לעולם בו ניתן לתרגם מחשבות ישירות למילים.
