גלה כיצד BiomedParse מגדיר מחדש ניתוח תמונה ביו-רפואי, מתמודד עם צורות מורכבות ומדרג גבהים חדשים בדייקנות ויעילות על פני תשעה שיטות הדמיה!
מחקר: מודל יסוד לפילוח משותף, איתור וזיהוי של אובייקטים ביו-רפואיים על פני תשעה אופנים. קרדיט תמונה: Microsoft Research
במחקר שפורסם לאחרונה בכתב העת שיטות טבעחוקרים ב-Microsoft Research, Providence Genomics, Earle A. Chiles Research Institute, Providence Cancer Institute ובית הספר למדעי המחשב והנדסה של פול ג'י אלן, אוניברסיטת וושינגטון פיתחו את "BiomedParse", מודל יסוד ביו-רפואי פורץ דרך לניתוח תמונות יכולים לבצע ביחד פילוח תמונה, זיהוי אובייקטים וזיהוי אובייקטים על פני תשעה אופני הדמיה עיקריים. הם גילו ש-BiomedParse עלתה על השיטות הקיימות, במיוחד על אובייקטים בעלי צורה לא סדירה, ואפשרה יכולות חדשות כמו פילוח ותווית של כל האובייקטים בתמונה באמצעות תיאורים טקסטואליים.
רֶקַע
ניתוח תמונה ביו-רפואי חיוני להבנת הפיזיולוגיה והאנטומיה במספר קנה מידה, אך גישות מסורתיות מטפלות בפילוח תמונה (חלוקת התמונה כדי להפריד את הרקע מהאובייקט) וזיהוי וזיהוי עצמים (זיהוי עצמים ומיקומם בתמונה) בנפרד. מתודולוגיה מפורקת זו עלולה להוביל להחמצת הזדמנויות ללמידה משותפת בין משימות, ובכך להגביל את היעילות והדיוק.
פילוח מצריך לעתים קרובות תיבות תוחמות שצוירו על ידי המשתמש כדי לאתר אובייקטים, מה שמציג שלושה אתגרים מרכזיים. ראשית, הוא דורש מומחיות בתחום לזהות אובייקטים במדויק. שנית, תיבות תוחמות מלבניות מייצגות בצורה גרועה אובייקטים בעלי צורות לא סדירות או מורכבות. שלישית, שיטות אלו אינן ניתנות להרחבה עבור תמונות עם אובייקטים רבים, כגון תאים בתמונות פתולוגיות של שקף שלמות, כאשר תיאור ידני של כל אובייקט אינו מעשי. יתרה מכך, על ידי התמקדות אך ורק בפילוח, שיטות מסורתיות מזניחות מידע סמנטי ממשימות קשורות, כגון סוגי אובייקטים או מטא נתונים, מה שמפחית עוד יותר את איכות הפילוח. לכן, במחקר הנוכחי, החוקרים פיתחו את BiomedParse, מודל ביו-רפואי מאוחד המשלב פילוח תמונה, זיהוי אובייקטים וזיהוי מבלי להסתמך על תיבות תוחמות כדי להתגבר על האתגרים של שיטות ניתוח תמונה קונבנציונליות.
על המחקר
כדי ליצור מודל המסוגל לפילוח, זיהוי וזיהוי משותפים, החוקרים פיתחו משאב בקנה מידה גדול בשם BiomedParseData, המשלב 45 מערכי נתונים של פילוח ביו-רפואי. מידע סמנטי ממערכי נתונים אלה, שלעתים קרובות הוא רועש ובלתי עקבי, עבר הרמוניה לאונטולוגיה של אובייקט ביו-רפואי מאוחד באמצעות GPT-4 ותהליכי סקירה ידניים. אונטולוגיה זו כללה שלוש קטגוריות (היסטולוגיה, איברים ואנומליות), 15 סוגי מטא-אובייקטים ו-82 סוגי אובייקטים ספציפיים. כדי לתמוך בהדרכה, נעשה שימוש ב-GPT-4 ליצירת תיאורים נרדפים עבור תוויות סמנטיות, והרחיב את מערך הנתונים ל-6.8 מיליון תיאורים של תמונה-מסכה.
BiomedParse משתמש בעיצוב מודולרי המבוסס על ארכיטקטורת SEEM (Segment Everything Everywhere All in Once). הוא כולל מקודד תמונה, מקודד טקסט, מפענח מסכה ומסווג מטא-אובייקטים לאימון משותף עם מידע סמנטי. המערכת פועלת ללא תיבות תוחמות, בניגוד לשיטות מתקדמות כמו MedSAM. במקום זאת, BiomedParse משתמש בהודעות טקסט לפילוח וזיהוי, מה שמאפשר מדרגיות רחבה יותר. מדדי הערכה כללו ציוני קוביות לדיוק פילוח וציוני צללית לאיכות הטבעה. בדיקות שימשו גם למדידת יכולתה של BiomedParse לזהות הודעות טקסט לא חוקיות באמצעות שיטות סטטיסטיות, כולל מבחן Kolmogorov–Smirnov. ביצועי המערכת אומתו על פני תשעה שיטות הדמיה, כולל פתולוגיה, טומוגרפיה ממוחשבת (CT), הדמיית תהודה מגנטית (MRI), אולטרסאונד, רנטגן, מיקרוסקופיה פלואורסצנטית, מיקרוסקופיה אלקטרונית, מיקרוסקופ ניגודיות פאזה ומיקרוסקופיה של שדה בהיר. התוצאות הושוו לאלו של מודלים פילוחיים אחרים, כמו מודל ה-Segment Anything (SAM) ו- Medical SAM (MedSAM).
תוצאות ודיון
נמצא כי BiomedParse משיג תוצאות מתקדמות בכל משימות פילוח תמונה, זיהוי אובייקטים וזיהוי. במערך מבחנים של 102,855 מקרים המשתרעים על פני תשעה אופנים, BiomedParse השיגה את ציוני הקוביות הטובים ביותר, תוך ביצועים טובים יותר מ-MedSAM גם כאשר ל-MedSAM סופקו תיבות תוחמות של אורקל. כאשר נבדק על תרחישים מציאותיים יותר עם תיבות תוחמות שנוצרו על ידי Grounding DINO, העליונות של BiomedParse הפכה ברורה עוד יותר, במיוחד עבור אופנים מאתגרים כמו פתולוגיה ו-CT.
BiomedParse הראה יתרונות משמעותיים בפילוח אובייקטים בעלי צורה לא סדירה, ששיטות מסורתיות מבוססות תיבות תוחמות נאבקו בהן. באמצעות הנחיות טקסט כגון "מבנה בלוטות בפתולוגיה של המעי הגס", BiomedParse השיגה ציון Dice חציוני של 0.942, בהשוואה מתחת ל-0.75 עבור SAM ו-MedSAM ללא תיבות תוחמות. השיפור נמצא בקורלציה רבה עם אי-סדירות של אובייקט, והדגיש את היכולת של BiomedParse להתמודד עם צורות מורכבות. לדוגמה, BiomedParse השיגה ציון קוביות גבוה ב-39.6% מהשיטה המתחרה הטובה ביותר על אובייקטים לא סדירים.
לצורך זיהוי אובייקטים, BiomedParse זיהה וסימן את כל האובייקטים בתמונה ללא הנחיות שסופקו על ידי המשתמש. בהשוואה ל-Grounding DINO, BiomedParse השיגה ציוני דיוק, זכירה וציוני F1 גבוהים יותר. הביצועים שלו השתפרו עוד יותר ככל שמספר האובייקטים בתמונה גדל. אימות בעולם האמיתי הראה ש-BiomedParse סידר בהצלחה תאי חיסון וסרטן בשקופיות פתולוגיות, תואמות היטב את ההערות של פתולוגים. בעוד שפתולוגים אנושיים עשויים לספק הערות גסות, BiomedParse מציע תיוג מדויק ומקיף, המצביע על הפוטנציאל שלה להפחית את עומסי העבודה של הרופא ביישומים קליניים.
המגבלות של BiomedParse כוללות את הצורך שלה בעיבוד שלאחר כדי להבדיל בין מופעי אובייקט בודדים, היעדר יכולות שיחה והפחתה של אופנים תלת מימדיים (3D) לפרוסות תמונה דו-ממדיות, העלולות לפספס מידע מרחבי-זמני.
מַסְקָנָה
לסיכום, BiomedParse יכלה להתעלות על שיטות ניתוח תמונות ביו-רפואיות קודמות על פני שיטות הדמיה עיקריות והוכחה כניתנת להרחבה ומדויקת יותר, במיוחד בזיהוי ופילוח עצמים מורכבים. הכלי פותח אפיקים חדשים לתפוקה גבוהה, גילוי אוטומטי מבוסס ניתוח תמונות ביו-רפואי, הפחתת התערבות ידנית ופוטנציאלית להאיץ את המחקר. מאמצים עתידיים יכולים להתמקד בהרחבת BiomedParse לנתונים תלת מימדיים ולאפשר יכולות אינטראקטיביות שיחתיות ליישומים מותאמים יותר.
אימות חיצוני של קרן BiomedParse #AI מודל על פני 9 סוגים של תמונות רפואיות, זיהוי אוטומטי של כל האובייקטים בבת אחת וחוסך שעות של עבודה ידנית, הפחתת שגיאות https://t.co/xCv910TbOB@NatureMethods
"ההשלכות של BiomedParse הן עמוקות" https://t.co/oyb7ldAUAY pic.twitter.com/LttYR5i9kL— אריק טופול (@EricTopol) 20 בנובמבר 2024
