מערכת חדשה ללכידת תנועה של הגוף המלא בזמן אמת באמצעות מכשירי צריכה

מהנדסי אוניברסיטת נורת'ווסטרן פיתחו מערכת חדשה ללכידת תנועה בגוף מלא -; וזה לא דורש חדרים מיוחדים, ציוד יקר, מצלמות מגושמות או מערך של חיישנים.

במקום זאת, זה דורש מכשיר נייד פשוט.

המכונה MobilePoser, המערכת החדשה ממנפת חיישנים שכבר מוטמעים במכשירים ניידים של צרכנים, כולל סמארטפונים, שעונים חכמים ואוזניות אלחוטיות. באמצעות שילוב של נתוני חיישנים, למידת מכונה ופיזיקה, MobilePoser עוקב במדויק אחר תנוחת הגוף המלא של האדם והתרגום הגלובלי בחלל בזמן אמת.

"פועל בזמן אמת במכשירים ניידים, MobilePoser משיג דיוק מתקדם באמצעות למידת מכונה מתקדמת ואופטימיזציה מבוססת פיזיקה, ופותח אפשרויות חדשות בתחום המשחקים, הכושר והניווט הפנימי מבלי להזדקק לציוד מיוחד", אמר Karan Ahuja מ-Northwestern, מי שהוביל את המחקר.

טכנולוגיה זו מסמנת קפיצת מדרגה משמעותית לקראת לכידת תנועה ניידת, הופכת חוויות סוחפות לנגישות יותר ופותחת דלתות ליישומים חדשניים בתעשיות שונות."

קארן אהוג'ה, אוניברסיטת נורת'ווסטרן

הצוות של Ahuja יחשוף את MobilePoser ב-15 באוקטובר, בסימפוזיון ACM 2024 בנושא תוכנת ממשק משתמש וטכנולוגיה בפיטסבורג. "MobilePoser: הערכת תנוחת גוף מלאה בזמן אמת ותרגום אנושי תלת מימדי מ-IMUS במכשירי צרכנים ניידים" יתקיימו כחלק ממפגש בנושא "פוזות כקלט".

מומחה לאינטראקציה בין אדם למחשב, Ahuja הוא עוזר פרופסור למדעי המחשב ליסה ויסנר-סליבקה ובנג'מין סליבקה בבית הספר להנדסה מקורמיק של נורת'ווסטרן, שם הוא מנהל את מעבדת החישה, התפיסה, המחשוב האינטראקטיבי והתנסות (SPICE).

מגבלות המערכות הנוכחיות

רוב חובבי הסרטים מכירים טכניקות לכידת תנועה, שמתגלות לרוב בצילומים מאחורי הקלעים. כדי ליצור תווי CGI -; כמו גולום ב"שר הטבעות" או הנאווי ב"אווטאר" -; שחקנים לובשים חליפות יוצרות מכוסות בחיישנים, כשהם מסתובבים בחדרים מיוחדים. מחשב לוכד את נתוני החיישן ולאחר מכן מציג את תנועותיו והבעותיו העדינות של השחקן.

"זהו תקן הזהב של לכידת תנועה, אבל זה עולה למעלה מ-100,000 דולר להפעיל את ההגדרה הזו", אמר Ahuja. "רצינו לפתח גרסה נגישה ודמוקרטית שבעצם כל אחד יכול להשתמש בה עם ציוד שכבר יש לו".

מערכות חישת תנועה אחרות, כמו Microsoft Kinect, למשל, מסתמכות על מצלמות נייחות המציינות את תנועות הגוף. אם אדם נמצא בשדה הראייה של המצלמה, מערכות אלו פועלות היטב. אבל הם לא מעשיים עבור יישומים ניידים או בדרכים.

חיזוי תנוחות

כדי להתגבר על מגבלות אלו, הצוות של Ahuja פנה ליחידות מדידה אינרציאלית (IMUs), מערכת המשתמשת בשילוב של חיישנים -; מדי תאוצה, ג'ירוסקופים ומגנטומטרים -; למדוד את התנועה וההתמצאות של הגוף. חיישנים אלה כבר נמצאים בתוך סמארטפונים ומכשירים אחרים, אך הנאמנות נמוכה מדי עבור יישומים מדויקים של לכידת תנועה. כדי לשפר את הביצועים שלהם, הצוות של Ahuja הוסיף אלגוריתם של בינה מלאכותית רב-שלבית (AI) שנבנה בהתאמה אישית, שאותו אימנו באמצעות מערך נתונים זמין לציבור וגדול של מדידות IMU מסונתזות שנוצרו מנתוני לכידת תנועה באיכות גבוהה.

עם נתוני החיישן, MobilePoser צובר מידע על תאוצה והתמצאות הגוף. לאחר מכן, הוא מזין את הנתונים הללו באמצעות אלגוריתם AI, אשר מעריך את עמדות המפרק וסיבובי המפרק, מהירות ההליכה וכיווני ההליכה, ומגע בין רגלי המשתמש לקרקע.

לבסוף, MobilePoser משתמש במייעל מבוסס פיזיקה כדי לחדד את התנועות החזויות כדי להבטיח שהן תואמות לתנועות הגוף האמיתיות. בחיים האמיתיים, למשל, מפרקים לא יכולים להתכופף לאחור, וראש לא יכול להסתובב 360 מעלות. כלי האופטימיזציה של הפיזיקה מבטיח שגם תנועות שנקלטו לא יכולות לנוע בדרכים בלתי אפשריות מבחינה פיזית.

למערכת המתקבלת יש שגיאת מעקב של 8 עד 10 סנטימטרים בלבד. לשם השוואה, ל-Microsoft Kinect יש שגיאת מעקב של 4 עד 5 סנטימטרים, בהנחה שהמשתמש נשאר בשדה הראייה של המצלמה. עם MobilePoser, למשתמש יש חופש לשוטט.

"הדיוק טוב יותר כאשר אדם לובש יותר ממכשיר אחד, כמו שעון חכם על פרק כף היד שלו פלוס סמארטפון בכיס", אמר Ahuja. "אבל חלק מרכזי במערכת הוא שהיא מסתגלת. גם אם אין לך את השעון שלך יום אחד ויש לך רק את הטלפון שלך, הוא יכול להסתגל כדי להבין את תנוחת הגוף המלא שלך".

מקרי שימוש פוטנציאליים

בעוד MobilePoser יכול להעניק לגיימרים חוויות סוחפות יותר, האפליקציה החדשה מציגה גם אפשרויות חדשות לבריאות וכושר. זה מעבר לספירת צעדים פשוטים כדי לאפשר למשתמש לראות את תנוחת הגוף המלאה שלו, כדי שיוכל להבטיח שהצורה שלו נכונה בזמן אימון. האפליקציה החדשה גם יכולה לעזור לרופאים לנתח את הניידות, רמת הפעילות וההליכה של המטופלים. Ahuja גם מדמיין שהטכנולוגיה יכולה לשמש לניווט בתוך הבית -; חולשת זרם עבור GPS, שפועל רק בחוץ.

"כרגע, רופאים עוקבים אחר ניידות המטופלים עם מונה צעדים", אמר Ahuja. "זה די עצוב, נכון? הטלפונים שלנו יכולים לחשב את הטמפרטורה ברומא. הם יודעים יותר על העולם החיצון מאשר על הגוף שלנו. היינו רוצים שהטלפונים יהפכו ליותר מסתם מוני צעדים חכמים. טלפון צריך להיות מסוגל לזהות פעילויות שונות, לקבוע את התנוחות שלך ולהיות עוזר יותר פרואקטיבי."

כדי לעודד חוקרים אחרים להתבסס על עבודה זו, הצוות של Ahuja פרסם את המודלים שהוכשרו מראש, סקריפטים לעיבוד מוקדם של נתונים וקוד אימון מודלים כתוכנת קוד פתוח. Ahuja גם אומר שהאפליקציה תהיה זמינה בקרוב עבור iPhone, AirPods ו- Apple Watch.