כאשר רופאים מנתחים סריקה רפואית של איבר או אזור בגוף, יש להקצות לכל חלק מהתמונה תווית אנטומית. אם המוח נבדק למשל, יש לתייג את חלקיו השונים ככזה, פיקסל לפי פיקסל: קליפת המוח, גזע המוח, המוח הקטן וכו '. התהליך, המכונה פילוח תמונות רפואי, מדריכים אבחון, תכנון ניתוחים ומחקר.
בימים שלפני הבינה המלאכותית (AI) ולמידה מכונה (ML), הקלינאים ביצעו את המשימה הקריטית אך הקפדנית והזמן הזו ביד, אך במהלך העשור האחרון, U-Nets ⎯ סוג של ארכיטקטורת AI שתוכננה במיוחד לפילוח תמונה רפואית ⎯ היה במקום זאת. עם זאת, U-NET דורשים כמויות גדולות של נתונים ומשאבים להיות מאומנים.
"עבור תמונות גדולות ו/או תלת מימד, הדרישות הללו יקרות", אמר קושל ויאס, סטודנטית אורז חשמלית ומחשבים, סטודנטית וסופרת ראשונה על מאמר שהוצג בחברת מחשוב דימוי רפואי ומחשבים המסייעים למחשבים, או Miccai, הוועידה המובילה בתחום. "במחקר זה הצענו Metaseg, דרך חדשה לחלוטין לביצוע פילוח תמונות."
בניסויים המשתמשים בנתוני הדמיית תהודה מגנטית של דו-מימד ותלת-ממדי (MRI), הוכח כי MetaSeg משיגים את אותם ביצועי פילוח כמו U-Net תוך כדי צורך של 90% פחות פרמטרים ⎯ משתני המפתח מודלים AI/ML נובעים מנתוני אימונים ולהשתמש כדי לזהות דפוסים ולבצע חיזוי.
המחקר, שכותרתו "Fit Pixels, קבל תוויות: רשתות מרומזות מטא לומדות עבור פילוח תמונות", זכה בפרס הנייר הטוב ביותר ב- Miccai, והוכר ממאגר של למעלה מ -1,000 הגשות מקובלות.
במקום רשתות U, MetaSeg ממנפת ייצוגים עצביים מרומזים ⎯ מסגרת רשת עצבית שעד כה לא נחשבה מועילה או נחקרה לצורך פילוח תמונות. "
קושל ויאס, סטודנט וסופר ראשון באורז חשמל ומחשבים
ייצוג עצבי מרומז (INR) הוא רשת AI המפרשת תמונה רפואית כנוסחה מתמטית המהווה את ערך האות (צבע, בהירות וכו ') של כל פיקסל בתמונה דו -ממדית או כל ווקסל בתלת מימד.
בעוד ש- INRs מציעים דרך מפורטת מאוד ועם זאת קומפקטית לייצג מידע, הם גם ספציפיים מאוד, כלומר בדרך כלל הם עובדים רק טוב עבור האות/התמונה היחידה עליהם הם אימנו: INR שהוכשר על MRI מוחי אינו יכול בדרך כלל להכליל כללים לגבי איך נראים חלקים שונים במוח, כך שאם מסופק עם דימוי של מוח אחר, ה- INR היה מקרטוב בדרך כלל.
ויאס אמר כי "INRs שימשו בראיית המחשבים ובקהילות ההדמיה הרפואית למשימות כמו שחזור סצינות תלת ממדי ודחיסת אות, הדורשים רק דוגמנות אות אחד בכל פעם", אמר ויאס. "עם זאת, זה לא היה ברור לפני MetaSeg כיצד להשתמש בהם למשימות כמו פילוח, הדורשות דפוסי למידה על פני אותות רבים."
כדי להפוך את זה שימושי לפילוח תמונות רפואיות, החוקרים לימדו את ה- INRs לחזות הן את ערכי האותות והן את תוויות הפילוח הספציפיות לתמונה נתונה. לשם כך הם השתמשו במטא-לימוד, אסטרטגיית אימונים של AI שתרגום המילולי שלה הוא "ללמוד ללמוד" המסייע למודלים להסתגל במהירות למידע חדש.
ויאס אמר כי "אנו מעדיפים את הפרמטרים של מודל ה- INR בצורה כזו כך שהם מותאמים עוד יותר על תמונה בלתי נראית בזמן הבדיקה, המאפשרת לדגם לפענח את תכונות התמונה לתוויות מדויקות".
הכשרה מיוחדת זו מאפשרת ל- INRs לא רק להתאים את עצמם במהירות להתאים את הפיקסלים או הווקסלים של תמונה רפואית שלא נראתה בעבר, אלא גם לפענח גם את התוויות שלה, ולחזות מיד לאן מתארים לאזורים אנטומיים שונים.
"MetaSeg מציע נקודת מבט רעננה וניתנת להרחבה לתחום פילוח התמונות הרפואיות שנשלט במשך עשור על ידי U-Net", אמר גואה בלקרישנן, עוזר פרופסור להנדסת חשמל ומחשבים ברייס וחבר במכון קן קנדי באוניברסיטה. "תוצאות המחקר שלנו מבטיחות להפוך את פילוח הדימוי הרפואי לחסכוני בהרבה תוך כדי ביצוע ביצועים מובילים."
Balakrishnan, הסופר המקביל למחקר, הוא חלק ממערכת אקולוגית משגשגת של חוקרי אורז בחזית החידוש הבריאותי הדיגיטלי, הכוללת את יוזמת הבריאות הדיגיטלית והמכון המשותף למתודיסטים רייס-יוסטון. Ashok Veeraraghavan, יו"ר המחלקה להנדסת חשמל ומחשבים ופרופסור להנדסת חשמל ומחשבים ומדעי המחשב ברייס, הוא גם מחבר במחקר.
אמנם ניתן ליישם MetaSeg על מגוון של הקשרים להדמיה, אך הפוטנציאל המוכיח שלו לשפר את הדמיה המוחית ממחיש את סוג הצעת המחקר 14 ⎯ בקלפי בטקסס 4 בנובמבר ⎯ יכול לעזור בהרחבת המדינה.
המחקר נתמך על ידי מכוני הבריאות הלאומיים של ארה"ב (R01DE032051), הסוכנות המתקדמת לפרויקטים של פרויקטים לבריאות (D24AC00296) והקרן הלאומית למדע (2107313, 1648449). התוכן כאן הוא אך ורק באחריות הכותבים ואינו בהכרח מייצג את השקפותיהם הרשמיות של ארגוני המימון והמוסדות.
