עבור אנשים עם עיוורון או בעלי ראייה לקויה, להסתובב באופן עצמאי הוא אתגר יומיומי. חוקרי הרווארד פיתחו כלי חדש שיוכל לעזור לאנשים כאלה לנווט בצורה מהירה ובטוחה יותר, תוך שימוש רק במכשיר שיש להם כנראה כבר – סמארטפון.
מהנדסים בבית הספר להנדסה ולמדעים יישומיים של ג'ון א. פולסון (SEAS) המציאו אפליקציית סמארטפון חדשה בשם Mobilio המשלבת למידת מכונה; אלגוריתמים המייעלים קלט מחיישנים מרובים; ורמזי אודיו מותאמים אישית כדי לספק לאדם עיוור או לקוי ראייה הנחיות מפורטות, הנחיית נתיב והימנעות ממכשולים. את המחקר הוביל Ph.D. סטודנט ריימונד ליו בשיתוף עם פטריק סלייד, עוזר פרופסור לביו-הנדסה. המחקר מתפרסם ב טבע הנדסה ביו-רפואית.
כדי להתחיל, החוקרים סקרו מעל 100 אנשים עיוורים או לקויי ראייה כדי להבין את הצרכים שלהם. המשיבים הדגישו שלוש יכולות חיוניות עבור טכנולוגיות ניווט: כיוונים אמינים של פנייה אחר פנייה, הדרכה רציפה לאורך מדרכות ושבילים, וזיהוי והימנעות ממכשולים.
כלים קיימים כמו קנים, כלבי נחייה ועזרי נסיעה אלקטרוניים מטפלים בחלקים מהבעיות הללו, אך לעתים רחוקות שלושתם יחד, ומערכות רבות כאלה הן יקרות ובלתי נגישות. בעוד שלתוכנת מפות GPS יש ניווט מפורט, היא אינה מדויקת מספיק כדי שאדם עיוור או לקוי ישתמש בבטחה.
לעומת זאת, לרוב האנשים יש כבר סמארטפונים. צוות הרווארד ראה הזדמנות לספק עזר ניווט דרך אפליקציה עצמאית שניתן יהיה להוריד יום אחד מחנות אפליקציות ופועלת כולה בטלפון.
Mobilio משתמש בחיישנים המובנים של הטלפון, כולל המצלמה; GPS; יחידת מדידת אינרציה הרגישה לתנועה ולכיוון; ו(אם זמין) חיישן LiDAR. התקדמות טכנולוגית מרכזית היא מודל ראיית מחשב מותאם אישית המנתח את הזנת המצלמה החיה מנקודת מבטו של הולך רגל כדי למצוא שבילים הניתנים להליכה בסביבת המשתמש.
המערכת שלנו משתמשת בחיישנים בסמארטפון, במידע GPS ובתנועה האמיתית של האדם כדי ליצור מה שהיא בעצם תוכנית רכב אוטונומי קטן כיצד לנווט אותם מהמקום שבו הם נמצאים למקום שבו הם רוצים להגיע".
פטריק סלייד, עוזר פרופסור לביו-הנדסה, בית הספר להנדסה ומדעים יישומיים של ג'ון א. פולסון, אוניברסיטת הרווארד
מכיוון שרוב מערכי הנתונים הזמינים לציבור של זירות רחוב נלכדים ממכוניות, דגמים סטנדרטיים רבים מסווגים באופן שגוי תשתית רלוונטית להולכי רגל, הסביר המחבר הראשון ליו. כדי לטפל בבעיה זו, ליו אימן מודל פילוח סמנטי במיוחד על תמונות של הולכי רגל, כך שיוכל לזהות באופן אמין מדרכות, מעברי חציה, כבישים ומשטחים מרכזיים אחרים במהלך ההליכה.
"יש צורך במידע נוסף שמגיע מנקודת המבט של בני אדם שהולכים לאורך מדרכות, או הולכים בחוץ", הוסיף ליו.
ליו אמר שאתגר עיצובי גדול הוא להבטיח שכל האלגוריתמים והדגמים יוכלו לפעול בזמן אמת על סמארטפון סטנדרטי, שיש לו הרבה פחות כוח מחשוב מאשר מחשב נייד או חומרה מיוחדת.
במקום רק הנחיות מדוברות, Mobilio מספקת סימני שמע מתמשכים בצורה של צפצופים בזמן שהמשתמש הולך. הצפצופים מקורם בכיוון, כמו שמאל או ימין של המשתמש, כדי לציין היגוי, וההכוונה מותאמת אישית בזמן אמת באמצעות אופטימיזציה של האדם בלולאה. כאשר אדם הולך, המערכת מודדת באיזו מידה הוא עוקב אחר רמזי האודיו ומתאימה אוטומטית את הרמזים ודפוסי הגובה כך שיפעלו בצורה הטובה ביותר עבור אותו אדם.
כדי להעריך את האפליקציה, הצוות ערך ניסויים עם 14 משתתפים מתנדבים שגויסו ממרכז קרול לעיוורים בניוטון, מסצ'וסטס. כל משתתף השלים משימות ניווט באמצעות מצב בסיס של ניווט סיבובי של מפות Google בתוספת מקל ניידות לבן, ושוב עם אפליקציית Mobilio בתוספת המקל. הם הלכו לאורך שביל חיצוני שתוכנן מראש כמו גם מסלול מקורה עם מכשולים המחקים אתגרים סביבתיים נפוצים.
בהשוואה לשימוש בגוגל מפות ומקל, משתתפים המשתמשים במוביליו ומקל סיימו את המסלול החיצוני בכ-13% מהר יותר, והפחיתו את המגע עם מכשולים במסלול הפנימי בכ-41%. מבחינת אמינות, או באיזו צורה עקבית המערכת הנחתה את המשתמשים אל היעד ללא שגיאות גדולות, Mobilio ביצעה בהשוואה למדריך אנושי.
מעבר לתרומה הטכנית, הפרויקט מבוסס על ניסיון אישי. ליו יש אח גדול שהוא עיוור, והתמיכה בניווט העצמאי של אחיו עיצבה מאוד את מטרות העבודה.
הצוות הדגיש שמשוב כמותי ואיכותי ממשתמשים אמיתיים הוא חובה.
"לאחר שאנשים יבדקו את המכשיר שלך זה חיוני לחלוטין כי אי אפשר לחזות איך מישהו יגיב למכשיר שלך", אמר ליו. "במיוחד בתוך עיוורון ולקות ראייה, שהם מערך עצום ומגוון של לקויות."
בשלב הבא, החוקרים מתכננים לבדוק את Mobilio במגוון רחב יותר של הגדרות מציאותיות באזור בוסטון כדי להעריך עוד יותר עד כמה המערכת מכללה, וכיצד היא משתלבת עם ההרגלים היומיומיים של אנשים. החוקרים נתמכים על ידי מאיץ הרשת של הרווארד כדי לעזור לתרגם את הטכנולוגיה ולהנגיש אותה בצורה רחבה כמוצר עתידי.
מממנים של הפרויקט כללו את מלגת המחקר הלאומית למדע DGE-2140743, ה-Harvard Grid Accelerator, Amazon Greater Boston Tech Initiative, Harvard Dean's Competitive Fund for Promising Scholarship, ומכון Kempner.
המשרד לפיתוח טכנולוגי של הרווארד הגן על החידושים הקשורים למחקר זה והוא מחפש באופן פעיל הזדמנויות מסחור.
