אנשים הסובלים מאפזיה-הפרעה מוחית הפוגעים כמיליון אנשים במאבק ארה"ב כדי להפוך את מחשבותיהם למילים ולהבין בשפה מדוברת.
זוג חוקרים מאוניברסיטת טקסס באוסטין הוכיחו כלי מבוסס AI שיכול לתרגם את מחשבותיו של אדם לטקסט רציף, מבלי לדרוש מהאדם להבין מילים מדוברות. ותהליך אימון הכלי על דפוסי הפעילות הייחודיים של האדם עצמו נדרש רק כשעה. זה בונה על עבודתו הקודמת של הצוות ויוצר מפענח מוח שדרש שעות רבות של אימונים בפעילות המוח של האדם כשהאזינו לסיפורי שמע. התקדמות אחרונה זו מציעה כי יתכן וייתכן, עם עידון נוסף, עבור ממשקי מחשב מוחיים לשיפור התקשורת אצל אנשים עם אפזיה.
ג'רי טאנג, חוקר פוסט -דוקטורט ב- UT במעבדה של אלכס הות ', אמר כי "היכולת לגשת לייצוגים סמנטיים באמצעות שפה וגם חזון פותחת דלתות חדשות לנוירוטכנולוגיה, במיוחד לאנשים שנאבקים לייצר ולהבין שפה," אמר ג'רי טאנג, חוקר פוסט -דוקטורט ב- UT במעבדה של אלכס הות' וסופר ראשון על מאמר מתאר את העבודה ב ביולוגיה נוכחית. "זה נותן לנו דרך ליצור ממשקי מחשב מוחיים מבוססי שפה מבלי לדרוש כל כמות של הבנת שפה."
בעבודה קודמת, הצוות אימן מערכת, כולל מודל שנאי הדומה לסוג שמשמש את צ'טגפט, כדי לתרגם את פעילותו המוחית של האדם לטקסט רציף. המפענח הסמנטי שהתקבל יכול להפיק טקסט בין אם אדם מקשיב לסיפור שמע, חושב לספר סיפור או לצפות בסרטון שקט המספר סיפור. אבל יש מגבלות. כדי לאמן מפענח מוח זה, המשתתפים נאלצו לשכב ללא תנועה בסורק FMRI במשך כ -16 שעות תוך האזנה לפודקאסטים, תהליך לא מעשי עבור מרבית האנשים ועשוי להיות בלתי אפשרי עבור מישהו עם גירעונות בהבנת שפה מדוברת. ומפענח המוח המקורי עובד רק על אנשים שעבורם הוא הוכשר.
עם היצירה האחרונה הזו, הצוות פיתח שיטה להתאמת מפענח המוח הקיים, אימן את הדרך הקשה, לאדם חדש עם שעה של אימונים בלבד בסורק FMRI תוך כדי צפייה בסרטונים קצרים ושקטים, כמו מכנסיים קצרים של פיקסאר. החוקרים פיתחו אלגוריתם ממיר שלומד כיצד למפות את פעילות המוח של אדם חדש על מוחו של מישהו שפעילותו שימשה בעבר כדי להכשיר את מפענח המוח, מה שהוביל לפענוח דומה בשבריר מהזמן עם האדם החדש.
הות אמר כי עבודה זו חושפת משהו עמוק באופן פעולת המוח שלנו: המחשבות שלנו עוברות שפה.
זה מצביע על חפיפה עמוקה בין הדברים שקורים במוח כשאתה מקשיב למישהו מספר לך סיפור, לבין הדברים שקורים במוח כשאתה צופה בסרטון המספר סיפור. המוח שלנו מתייחס לשני סוגי הסיפור כאל זהים. זה גם אומר לנו שמה שאנחנו מפענחים זה לא בעצם שפה. זה ייצוגים של משהו מעל רמת השפה שאינם קשורים לאופני הקלט. "
אלכס הות, פרופסור חבר למדעי המחשב ומדעי המוח והסופר הבכיר
החוקרים ציינו כי ממש כמו עם מפענח המוח המקורי שלהם, המערכת המשופרת שלהם פועלת רק עם משתתפים שיתופיים המשתתפים ברצון באימונים. אם המשתתפים עליהם הוכשר המפענח אחר כך העמידו התנגדות לדוגמה, על ידי חשיבה של תוצאות מחשבות אחרות אינן שמישות. זה מצמצם את הפוטנציאל לשימוש לרעה.
בעוד שנבדקי הבדיקה האחרונים שלהם היו בריאים מבחינה נוירולוגית, החוקרים גם ניהלו ניתוחים כדי לחקות את דפוסי נגעי המוח אצל משתתפים עם אפזיה והראו כי המפענח עדיין הצליח לתרגם לטקסט רציף את הסיפור שהם תפסו. זה מצביע על כך שהגישה עשויה בסופו של דבר לעבוד עבור אנשים עם אפזיה.
כעת הם עובדים עם מאיה הנרי, פרופסור חבר בבית הספר לרפואה של Dell של UT ובמכללת התקשורת המודיה שלומדת אפאזיה, כדי לבדוק אם מפענח המוח המשופר שלהם עובד עבור אנשים עם אפזיה.
טאנג אמר כי "היה כיף ומתגמל לחשוב כיצד ליצור את הממשק השימושי ביותר ולהפוך את נוהל אימון המודל קל ככל האפשר עבור המשתתפים." "אני ממש נרגש להמשיך לחקור כיצד ניתן להשתמש במפענח שלנו כדי לעזור לאנשים."
עבודה זו נתמכה על ידי המכון הלאומי לחירשות והפרעות תקשורת אחרות של המוסדות הלאומיים לבריאות, קרן וייטהול, קרן אלפרד פ. סלואן וקרן בורוז וולקום.
