במחקר שפורסם לאחרונה ב-Nature Medicine, חוקרים פיתחו את מודל היסוד של המושג הרפואי (MONET), המחבר בין תמונות רפואיות לטקסט ומעריך תמונות על סמך קיומם של הרעיון, המסייע במשימות קריטיות בפיתוח בינה מלאכותית רפואית (AI). יישום.
לימוד: חיזוי של מקור הגידול בסרטן ממקור ראשוני לא ידוע עם למידה עמוקה מבוססת ציטולוגיה. קרדיט תמונה: LALAKA/Shutterstock.com
רקע כללי
בניית מערכות בינה מלאכותית רפואית מבוססות תמונה אמינות מחייבת ניתוח מידע ומודלים של רשתות עצביות בכל רמת פיתוח, משלב ההכשרה ועד לשלב שלאחר ההטמעה.
מערכי נתונים רפואיים בעלי הערות עשירות המכילים רעיונות רלוונטיים מבחינה סמנטית עלולים להפוך את טכנולוגיות 'הקופסה השחורה' למסתורין.
הבנת מושגים משמעותיים מבחינה קלינית כמו פיגמנטציה כהה יותר, רשתות פיגמנטים לא טיפוסיים וצבעים מרובים מועילה מבחינה רפואית; עם זאת, קבלת תוויות דורשת מאמץ, ורוב ערכות המידע הרפואי מספקות רק הערות אבחנתיות.
לגבי המחקר
במחקר הנוכחי, החוקרים יצרו את MONET, מודל בינה מלאכותית שיכול להעיר תמונות רפואיות עם רעיונות רלוונטיים מבחינה רפואית. הם תכננו את המודל כדי לזהות רעיונות שונים המובנים לאדם על פני שני אופני תמונה ברפואת עור: תמונות דרמוסקופיות וקליניות.
החוקרים אספו 105,550 צמדי תמונה-טקסט לרפואת עור ממאמרי PubMed וספרי לימוד רפואיים, ולאחר מכן הכשרה MONET באמצעות 105,550 תמונות הקשורות לדרמטולוגיה ונתוני שפה טבעית ממסד נתונים של ספרות רפואית בקנה מידה רחב.
MONET מקצה דירוגים לתמונות עבור כל רעיון, המצביעים על המידה שבה התמונה מציגה את הרעיון.
MONET, המבוססת על למידה מסוג ניגודיות, היא גישת בינה מלאכותית המאפשרת יישום ישיר של תיאור שפה פשוטה לתמונות.
שיטה זו מונעת תיוג ידני, ומאפשרת מידע מסיבי על צמד תמונה-טקסט בקנה מידה גדול יותר מהאפשרי עם למידה בפיקוח. לאחר הכשרת MONET, החוקרים העריכו את יעילותו בהערות ובמקרי שימוש אחרים הקשורים לשקיפות בינה מלאכותית.
החוקרים בדקו את יכולות הביאור הקונספט של MONET על ידי בחירת התמונות הקונספטואליות ביותר מתוך תמונות דרמוסקופיות וקליניות.
הם השוו את הביצועים של MONET לאסטרטגיות למידה מפוקחות הכוללות אימון מודלים של ResNet-50 עם תוויות קונספטואליות מבוססות אמת ומודל Pretraining של OpenAI (CLIP).
החוקרים השתמשו גם ב-MONET כדי להפוך את הערכת הנתונים לאוטומטית ובדקו את יעילותו בניתוח דיפרנציאלי של מושגים.
הם השתמשו ב-MONET כדי לנתח את נתוני שיתוף הפעולה הבינלאומי בהדמיית העור (ISIC), אוסף התמונות הדרמוסקופי הרחב ביותר עם למעלה מ-70,000 תמונות זמינות לציבור המשמשות באופן שגרתי לאימון מודלים דרמטולוגיים של AI.
החוקרים פיתחו אודיטינג מודלים באמצעות MONET' (MA-MONET) באמצעות MONET לזיהוי אוטומטי של מושגים רפואיים רלוונטיים מבחינה סמנטית וטעויות מודל.
חוקרים העריכו את MONET-MA במסגרות בעולם האמיתי על ידי הכשרת מודלים של CNN על נתונים ממספר אוניברסיטאות והערכת ביאור המושג האוטומטי שלהם.
הם העמידו את שיטת ניקוד הרעיונות האוטומטיים 'MONET + CBM' מול שיטת התיוג האנושי, אשר חלה בלעדית על תמונות המכילות תוויות SkinCon.
החוקרים גם חקרו את ההשפעה של בחירת מושג על ביצועי MONET+CBM, במיוחד רעיונות רלוונטיים למשימה בשכבות צוואר בקבוק. בנוסף, הם העריכו את ההשפעה של שילוב הרעיון של אדום בצוואר הבקבוק על ביצועי MONET+CBM בתרחישי העברה בין-מוסדיים.
תוצאות
MONET היא פלטפורמת בינה מלאכותית רפואית גמישה שיכולה להעיר כראוי רעיונות על פני תמונות דרמטולוגיות, כפי שאושר על ידי רופאי עור מוסמכים.
תכונת הערת הרעיון שלו מאפשרת הערכות מהימנות רלוונטיות בכל צינור הבינה המלאכותית הרפואית, כפי שהוכחה על ידי ביקורת מודלים, ביקורת נתונים ופיתוחי מודל הניתנים לפירוש.
MONET מוצא בהצלחה תמונות דרמוסקופיות וקליניות מתאימות עבור מילות מפתח דרמטולוגיות שונות, ומנצח את מודל ה-CLIP הבסיסי בשני התחומים. MONET התגבר על CLIP עבור תמונות דרמוסקופיות וקליניות, תוך שהוא נשאר שווה ערך למודלים של למידה מפוקחת עבור תמונות קליניות.
פונקציונליות ההערה האוטומטית של MONET מסייעת בזיהוי של תכונות מבדילות בין כל שתי קבוצות שרירותיות של תמונות בשפה הניתנת לקריאה על ידי אדם במהלך ניתוח דיפרנציאלי של רעיון.
החוקרים מצאו כי MONET מזהה רעיונות בעלי ביטוי דיפרנציאלי במערכים קליניים ודרמוסקופיים ויכול לסייע בביקורת מערכי נתונים בקנה מידה גדול.
השימוש ב-MA-MONET חשף תכונות הקשורות לאחוזי טעויות גבוהים, כגון מקבץ תמונות שכותרתו צעיף כחול-לבן, כחול, שחור, אפור וחלק עליון שטוח.
החוקרים זיהו את האשכול עם שיעור השגיאות הגבוה ביותר לפי אריתמה, מבנה רגרסיה, אדום, ניוון והיפרפיגמנטציה. רופאי עור בחרו עשרה רעיונות הקשורים ליעד עבור שכבות צוואר הבקבוק MONET+CBM ו-CLIP+CBM, מה שמאפשר אפשרויות תיוג גמישות.
MONET+CBM עולה על כל קווי הבסיס הנוגעים לשטח הממוצע מתחת לעקומת המאפיין ההפעלה של המקלט (AUROC) לניבוי ממאירות ומלנומה בתמונות קליניות. דגמי הקופסה השחורה מפוקחים השיגו באופן עקבי ביצועים טובים יותר במבחני חיזוי סרטן ומלנומה.
סיכום
המחקר מצא כי מודלים של טקסט תמונה יכולים להגביר את השקיפות והאמינות של AI בתחום הרפואי. MONET, פלטפורמה להערת מושגים רפואיים, יכולה לשפר את השקיפות והאמינות הדרמטולוגית של AI על ידי מתן אפשרות להערות בקנה מידה גדול של רעיונות.
מפתחי מודלים של AI עשויים לשפר את הליכי איסוף, עיבוד ואופטימיזציה של נתונים, וכתוצאה מכך מודלים של AI רפואיים אמינים יותר.
MONET יכול להשפיע על פריסה קלינית וניטור של מערכות בינה מלאכותית של תמונה רפואית על ידי מתן אפשרות לביקורת מלאה וניתוח הגינות באמצעות הערת מתארי גוון עור.
