חוקרים מאוניברסיטת קליפורניה, דייוויס, פיתחו ממשק מחשב מוחי חוקר המחזיק בהבטחה להחזרת קולותיהם של אנשים שאיבדו את היכולת לדבר בגלל מצבים נוירולוגיים.
במחקר חדש שפורסם בכתב העת Scientific טֶבַע, החוקרים מדגימים כיצד טכנולוגיה חדשה זו יכולה לתרגם באופן מיידי את פעילות המוח לקול כשאדם מנסה לדבר – ביעילות ליצור מערכת ווקאלית דיגיטלית.
המערכת איפשרה למשתתף המחקר, שיש לו טרשת רוחבית אמיוטרופית (ALS), "לדבר" דרך מחשב עם משפחתו בזמן אמת, לשנות את האינטונציה שלו וללנגים פשוטים "לשיר".
תרגום פעילות עצבית לטקסט, וכך עובד ממשק מחשב המוח הקודם שלנו, דומה להודעות טקסט. זהו שיפור גדול בהשוואה לטכנולוגיות סיוע סטנדרטיות, אך זה עדיין מוביל לשיחה מעוכבת. לשם השוואה, סינתזת קולית חדשה בזמן אמת זה דומה יותר לשיחה קולית. "
סרגיי סטוויסקי, מחבר הבכיר של העיתון ועוזר פרופסור במחלקה לניתוח נוירולוגי של UC דייויס
Stavisky משותף משותף את מעבדת הנוירופרוסטטיקה של UC דייוויס.
"עם סינתזת קולית מיידית, משתמשי הנוירופרוסטזה יוכלו להיכלל יותר בשיחה. לדוגמה, הם יכולים להפריע, ואנשים פחות נוטים להפריע להם בטעות", אמר סטוויסקי.
פענוח אותות מוח בלב הטכנולוגיה החדשה
האיש נרשם לניסוי הקליני Braingate2 ב- UC Davis Health. היכולת שלו לתקשר באמצעות מחשב התאפשרה עם ממשק מחשב מוחי חוקר (BCI). זה מורכב מארבעה מערכי מיקרו -אלקטרודות המושתלים בניתוח לאזור המוח האחראי לייצור דיבור.
מכשירים אלה רושמים את פעילותם של נוירונים במוח ושולחים אותם למחשבים המפרשים את האותות כדי לשחזר את הקול.
"המחסום העיקרי לסינתזת הקול בזמן אמת לא היה לדעת בדיוק מתי ואיך האדם עם אובדן דיבור מנסה לדבר", אמר Maitreyee Wairagkar, המחבר הראשון של המחקר ומדען הפרויקטים במעבדת הנוירופרוסטטיקה ב- UC דייויס. "האלגוריתמים שלנו מרים פעילות עצבית לצלילים מיועדים בכל רגע של זמן. זה מאפשר לסנתז ניואנסים בדיבור ולתת למשתתף שליטה על קדחת הקול שלו."
נאום מיידי, אקספרסיבי עם BCI, מבטיח הבטחה
ממשק מחשב המוח הצליח לתרגם את האותות העצביים של משתתף המחקר לדיבור נשמע שהושמע באמצעות דובר מהר מאוד-אחד מהשנייה. עיכוב קצר זה דומה לעיכוב שאדם חווה כאשר הוא מדבר ושומע את צליל הקול שלו.
הטכנולוגיה אפשרה גם למשתתף לומר מילים חדשות (מילים שלא היו ידועות כבר במערכת) ולהעביר התערבות. הוא הצליח לשנות את האינטונציה של קול המחשב שנוצר כדי לשאול שאלה או להדגיש מילים ספציפיות במשפט.
המשתתף גם נקט צעדים לעבר המגרש המשתנה על ידי שירה של ניגונים פשוטים וקצרים.
קולו המונע על ידי BCI היה מובן לעתים קרובות: המאזינים יכלו להבין נכון כמעט 60% מהמילים המסונתזות בצורה נכונה (לעומת 4% כאשר הוא לא השתמש ב- BCI).
נאום בזמן אמת שנעזר באלגוריתמים
התהליך של תרגום מיידי של פעילות מוח לדיבור מסונתז נעזר באלגוריתמים של בינה מלאכותית מתקדמת.
האלגוריתמים למערכת החדשה הוכשרו עם נתונים שנאספו בזמן שהמשתתף התבקש לנסות לדבר משפטים שהוצגו בפניו על מסך מחשב. זה נתן לחוקרים מידע על מה שהוא מנסה לומר.
הפעילות העצבית הראתה את דפוסי הירי של מאות נוירונים. החוקרים יישרו את הדפוסים הללו עם צלילי הדיבור שהמשתתף ניסה להפיק באותו הרגע בזמן. זה עזר לאלגוריתם ללמוד לשחזר במדויק את קולו של המשתתף רק מהאותות העצביים שלו.
ניסוי קליני מציע תקווה
"הקול שלנו הוא חלק ממה שהופך אותנו למי שאנחנו. לאבד את היכולת לדבר הוא הרסני עבור אנשים החיים עם מצבים נוירולוגיים," אמר דייוויד ברנדמן, מנהל משותף של מעבדת הנוירופרוסטטיקה של UC דייוויס והנוירוכירורג שביצע את השתל של המשתתף.
"תוצאות המחקר הזה מספקות תקווה לאנשים שרוצים לדבר אבל לא יכולים. הראינו כיצד הוסמכה אדם משותק לדבר עם גרסה מסונתזת של קולו. טכנולוגיה מסוג זה יכולה להיות טרנספורמטיבית לאנשים החיים עם שיתוק."
Brandman הוא עוזר פרופסור במחלקה לניתוחים נוירולוגיים והוא החוקר הראשי האחראי על הניסוי הקליני Braingate2.
מגבלות
החוקרים מציינים שלמרות שהממצאים מבטיחים, נוירו-פרוזזות במוח לקול נותרו בשלב מוקדם. מגבלת מפתח היא שהמחקר בוצע עם משתתף יחיד עם ALS. יהיה זה מכריע לשכפל תוצאות אלה עם יותר משתתפים, כולל אלה שיש להם אובדן דיבור מסיבות אחרות, כמו שבץ מוחי.
ניסוי Braingate2 רושם למשתתפים. למידע נוסף על המחקר, בקרו ב- Braingate.org או צרו קשר (מוגן בדוא"ל).
