הערת אזורים המעניינים בתמונות רפואיות, תהליך המכונה פילוח, הוא לרוב אחד הצעדים הראשונים חוקרים קליניים נוקטים בעת ניהול מחקר חדש הכולל תמונות ביו -רפואיות.
לדוגמה, כדי לקבוע כיצד גודל ההיפוקמפוס של המוח משתנה ככל שמתבגרים החולים, המדען מתאר תחילה כל היפוקמפוס בסדרה של סריקות מוח. עבור מבנים רבים וסוגי תמונות, לרוב מדובר בתהליך ידני שיכול להיות גוזל זמן רב, במיוחד אם האזורים הנלמדים מאתגרים לתאר.
כדי לייעל את התהליך, חוקרי MIT פיתחו מערכת מבוססת בינה מלאכותית המאפשרת לחוקר לפלח במהירות מערכי נתונים הדמיה ביו-רפואית חדשה על ידי לחיצה, שרבטות וציור תיבות על התמונות. מודל AI חדש זה משתמש באינטראקציות אלה כדי לחזות את הפילוח.
ככל שהמשתמש מסמן תמונות נוספות, מספר האינטראקציות הדרושות לו כדי לבצע יורה, ובסופו של דבר יורד לאפס. לאחר מכן המודל יכול לפלח כל תמונה חדשה במדויק ללא קלט משתמש.
זה יכול לעשות זאת מכיוון שהארכיטקטורה של הדגם תוכננה במיוחד להשתמש במידע מתמונות שהיא כבר פילחתה כדי לחזות תחזיות חדשות.
בניגוד למודלים אחרים של פילוח תמונות רפואיות, מערכת זו מאפשרת למשתמש לפלח מערך נתונים שלם מבלי לחזור על עבודתו עבור כל תמונה.
בנוסף, הכלי האינטראקטיבי אינו דורש מערך תמונות תמונות המופקד לצורך הכשרה, כך שמשתמשים אינם זקוקים למומחיות למידת מכונה או למשאבים חישוביים נרחבים. הם יכולים להשתמש במערכת למשימת פילוח חדשה מבלי לאימון מחדש של המודל.
בטווח הרחוק, כלי זה יכול להאיץ מחקרים על שיטות טיפול חדשות ולהפחית את עלות הניסויים הקליניים ומחקר רפואי. זה יכול לשמש גם רופאים כדי לשפר את היעילות של יישומים קליניים, כמו תכנון לטיפול בקרינה.
מדענים רבים עשויים להספיק רק לפלח כמה תמונות ביום לצורך המחקר שלהם מכיוון שפילוח תמונות ידני כל כך גוזל זמן. תקוותנו היא שמערכת זו תאפשר למדע חדש בכך שתאפשר לחוקרים קליניים לערוך מחקרים שאסור להם לעשות בעבר בגלל היעדר כלי יעיל. "
האלי וונג, הנדסת חשמל ומדעי המחשב סטודנט לתואר שני ומחבר מוביל של מאמר על הכלי החדש
היא מצטרפת לעיתון על ידי חוזה חאבייר גונזלס אורטיז PhD '24; ג'ון גוטג, הפרופסור לדוגלד סי ג'קסון למדעי המחשב והנדסת חשמל; והסופר הבכיר אדריאן דלקה, פרופסור עוזר בבית הספר לרפואה של הרווארד ו- MGH, ומדען מחקר במעבדת מדעי המחשב והבינה המלאכותית של MIT (CSAIL). המחקר יוצג בוועידה הבינלאומית לחזון מחשב.
ישנן בעיקר שתי שיטות שחוקרים משתמשים בהם כדי לפלח קבוצות חדשות של תמונות רפואיות. בעזרת פילוח אינטראקטיבי הם מזיזים תמונה למערכת AI ומשתמשים בממשק כדי לסמן אזורי עניין. המודל מנבא את הפילוח על סמך אינטראקציות אלה.
כלי שפותח בעבר על ידי חוקרי ה- MIT, ScribblePrompt, מאפשר למשתמשים לעשות זאת, אך עליהם לחזור על התהליך עבור כל תמונה חדשה.
גישה נוספת היא לפתח מודל AI ספציפי למשימות כדי לפלח את התמונות באופן אוטומטי. גישה זו מחייבת את המשתמש לפלח יד ידנית מאות תמונות כדי ליצור מערך נתונים ואז להכשיר מודל למידת מכונה. מודל זה מנבא את הפילוח לתמונה חדשה. אך על המשתמש להתחיל את התהליך המורכב, המבוסס על לימוד מכונה, מאפס עבור כל משימה חדשה, ואין דרך לתקן את המודל אם הוא טועה.
מערכת חדשה זו, Multiverseg, משלבת את הטוב ביותר מכל גישה. הוא מנבא פילוח לתמונה חדשה המבוססת על אינטראקציות משתמשים, כמו שרבילים, אך גם שומר על כל תמונה מפולחת במערכת הקשר שהיא מתייחסת אליו מאוחר יותר.
כאשר המשתמש מעלה תמונה חדשה ומסמן אזורים מעניינים, המודל שואב את הדוגמאות בהקשר שלה שנקבע כדי לחזות תחזית מדויקת יותר, עם פחות קלט משתמש.
החוקרים עיצבו את הארכיטקטורה של המודל כדי להשתמש במערכת הקשר בכל גודל, כך שלמשתמש לא צריך להיות מספר מסוים של תמונות. זה נותן ל- Multiverseg את הגמישות שישמשו במגוון יישומים.
"בשלב מסוים, עבור משימות רבות, אתה לא צריך לספק אינטראקציות כלשהן. אם יש לך מספיק דוגמאות בקבוצת ההקשר, המודל יכול לחזות במדויק את הפילוח בפני עצמו", אומר וונג.
החוקרים הונחו בקפידה והכשירו את המודל על אוסף מגוון של נתוני הדמיה ביו -רפואית כדי להבטיח שיש לו את היכולת לשפר באופן מצטבר את תחזיותיו על סמך קלט המשתמש.
המשתמש לא צריך להתאמן או להתאים אישית את המודל עבור הנתונים שלו. כדי להשתמש ב- Multiverseg למשימה חדשה, ניתן להעלות תמונה רפואית חדשה ולהתחיל לסמן אותה.
כאשר החוקרים השוו בין ריבוי-סגרים לכלים חדישים לפילוח תמונות בהקשר ואינטראקטיבי, הוא ביצע את כל קו הבסיס.
פחות קליקים, תוצאות טובות יותר
בניגוד לכלים אחרים אלה, Multiverseg דורש פחות קלט משתמש עם כל תמונה. לפי התמונה החדשה התשיעית, היא הייתה זקוקה רק לשני לחיצות מהמשתמש כדי ליצור פילוח מדויק יותר מאשר דגם שתוכנן במיוחד למשימה.
עבור סוגי תמונות מסוימים, כמו צילומי רנטגן, ייתכן שהמשתמש יצטרך לפלח תמונה אחת או שתיים ידנית לפני שהדגם יהיה מדויק מספיק כדי לחזות בפני עצמו.
האינטראקטיביות של הכלי מאפשרת גם למשתמש לבצע תיקונים לחיזוי המודל, תוך איטרציה עד שהוא מגיע לרמת הדיוק הרצויה. בהשוואה למערכת הקודמת של החוקרים, Multiverseg הגיע ל 90 אחוז דיוק עם בערך 2/3 מספר השרבוטים ו -3/4 מספר הקליקים.
"עם Multiverseg, המשתמשים תמיד יכולים לספק אינטראקציות רבות יותר כדי לשכלל את תחזיות ה- AI. זה עדיין מאיץ באופן דרמטי את התהליך מכיוון שלרוב זה מהיר יותר לתקן משהו שקיים מאשר להתחיל מאפס", אומר וונג.
להתקדם, החוקרים רוצים לבדוק כלי זה במצבים בעולם האמיתי עם משתפי פעולה קליניים ולשפר אותו על סמך משוב של משתמשים. הם גם רוצים לאפשר ל- Multiverseg לפלח תמונות ביו -רפואיות תלת -ממדיות.
עבודה זו נתמכת, בחלקה, על ידי Quanta Computer, Inc. והמכון הלאומי לבריאות, עם תמיכה בחומרה ממרכז מדעי החיים של מסצ'וסטס.
