סיוע בינה מלאכותית ברדיולוגיה מציג תוצאות מעורבות לביצועים

אחת ההבטחות הנחשבות ביותר של כלי בינה מלאכותית רפואית היא יכולתם להגביר את הביצועים של רופאים אנושיים על ידי כך שהם עוזרים להם לפרש תמונות כגון צילומי רנטגן וסריקות CT בדיוק רב יותר כדי לבצע אבחנות מדויקות יותר.

אבל נראה כי היתרונות של שימוש בכלי בינה מלאכותית על פרשנות תמונות משתנות מרופא לרופא, על פי מחקר חדש שהובילו חוקרים בבית הספר לרפואה של הרווארד, שעובדים עם עמיתים ב-MIT ובסטנפורד.

ממצאי המחקר מצביעים על כך שהבדלים בין רופאים בודדים מעצבים את האינטראקציה בין האדם למכונה בדרכים קריטיות שחוקרים עדיין לא מבינים עד הסוף. הניתוח, שפורסם ב-19 במרץ ב רפואת טבעמבוסס על נתונים מנייר עבודה קודם של אותה קבוצת מחקר שפרסמה הלשכה הלאומית למחקר כלכלי.

במקרים מסוימים, הראה המחקר, שימוש ב-AI יכול להפריע לביצועים של רדיולוג ולהפריע לדיוק הפרשנות שלהם.

אנו מוצאים שרדיולוגים שונים, אכן, מגיבים באופן שונה לסיוע בינה מלאכותית -; חלקם נעזרים בעוד אחרים נפגעים מכך".

פראנב ראג'פורקר, סופר בכיר, עוזר פרופסור לאינפורמטיקה ביו-רפואית, מכון בלווטניק ב-HMS

"משמעות הדבר היא שלא עלינו להסתכל על רדיולוגים כאוכלוסייה אחידה ולשקול רק את ההשפעה ה'ממוצעת' של AI על הביצועים שלהם", אמר. "כדי למקסם את התועלת ולמזער את הנזק, עלינו להתאים אישית מערכות AI מסייעות."

הממצאים מדגישים את החשיבות של יישום מכויל בקפידה של AI בפרקטיקה הקלינית, אך הם לא צריכים בשום אופן להרתיע את אימוץ AI במשרדים ובמרפאות של רדיולוגים, אמרו החוקרים.

במקום זאת, התוצאות צריכות לאותת על הצורך להבין טוב יותר כיצד בני אדם ובינה מלאכותית מתקשרים ולעצב גישות מכוילות בקפידה שמגבירות את הביצועים האנושיים במקום לפגוע בו.

"לרופאים יש רמות שונות של מומחיות, ניסיון וסגנונות קבלת החלטות, כך שהבטחת הבינה המלאכותית משקפת את המגוון הזה היא קריטית ליישום ממוקד", אמרה פייאנג "קאתי" יו, שניהלה את העבודה במעבדת ראג'פורקאר עם השותף הראשון. מחבר המאמר עם אלכס מורינג בבית הספר לניהול של MIT סלואן.

"גורמים בודדים ושונות יהיו המפתח בהבטחת הבינה המלאכותית מתקדמת במקום להפריע לביצועים ובסופו של דבר לאבחון", אמר יו.

כלי AI השפיעו באופן שונה על רדיולוגים שונים

בעוד מחקרים קודמים הראו שעוזרי בינה מלאכותית אכן יכולים להגביר את ביצועי האבחון של רדיולוגים, מחקרים אלה בחנו רדיולוגים כמכלול מבלי לקחת בחשבון את השונות בין רדיולוג לרדיולוג.

לעומת זאת, המחקר החדש בוחן כיצד גורמים קליניים בודדים -; תחום התמחות, שנים של תרגול, שימוש קודם בכלי AI -; לבוא לידי ביטוי בשיתוף פעולה אנושי-AI.

החוקרים בדקו כיצד כלי בינה מלאכותית השפיעו על הביצועים של 140 רדיולוגים ב-15 משימות אבחון רנטגן -; באיזו אמין הצליחו הרדיולוגים לזהות מאפיינים מובהקים בתמונה ולבצע אבחנה מדויקת. הניתוח כלל 324 מקרים של חולים עם 15 פתולוגיות -; מצבים חריגים שנלכדו בצילומי רנטגן של בית החזה.

כדי לקבוע כיצד בינה מלאכותית השפיעה על יכולת הרופאים לזהות ולזהות נכון בעיות, החוקרים השתמשו בשיטות חישוביות מתקדמות שתפסו את גודל השינוי בביצועים בעת שימוש בבינה מלאכותית וכאשר לא משתמשים בה.

ההשפעה של סיוע בינה מלאכותית הייתה לא עקבית ומגוונת בין רדיולוגים, כאשר הביצועים של חלק מהרדיולוגים השתפרו עם AI והחמירו אצל אחרים.

כלי בינה מלאכותית השפיעו באופן בלתי צפוי על הביצועים האנושיים

ההשפעות של AI על הביצועים של רדיולוגים אנושיים השתנו בדרכים מפתיעות לעתים קרובות.

לדוגמה, בניגוד למה שציפו החוקרים, גורמים כמו כמה שנות ניסיון יש לרדיולוג, בין אם הוא התמחה ברדיולוגיה חזה או חזה, והאם השתמשו בעבר בקוראי בינה מלאכותית, לא חזו בצורה מהימנה כיצד כלי בינה מלאכותית ישפיע על ביצועי הרופא.

ממצא נוסף שקרא תיגר על החוכמה הרווחת: רופאים שהיו להם ביצועים נמוכים בתחילת הדרך לא נהנו באופן עקבי מסיוע בינה מלאכותית. חלקם הרוויחו יותר, חלקם פחות וחלקם לא. עם זאת, בסך הכל, לרדיולוגים עם ביצועים נמוכים יותר בקו הבסיס היו ביצועים נמוכים יותר עם או בלי AI. אותו הדבר היה נכון בקרב רדיולוגים שהציגו ביצועים טובים יותר בתחילת המחקר. הם ביצעו ביצועים טובים באופן עקבי, בסך הכל, עם או בלי AI.

ואז הגיע ממצא לא כל כך מפתיע: כלי בינה מלאכותית מדויקים יותר הגבירו את ביצועי הרדיולוגים, בעוד שכלי בינה מלאכותית בעלי ביצועים גרועים הפחיתו את דיוק האבחון של רופאים אנושיים.

למרות שהניתוח לא נעשה בצורה שאפשרה לחוקרים לקבוע מדוע זה קרה, הממצא מצביע על החשיבות של בדיקה ואימות ביצועי כלי בינה מלאכותית לפני פריסה קלינית, אמרו החוקרים. בדיקה מוקדמת כזו יכולה להבטיח ש-AI נחות לא יפריע לביצועים של רופאים אנושיים ולפיכך לטיפול בחולים.

מה המשמעות של הממצאים הללו לגבי עתיד הבינה המלאכותית במרפאה?

החוקרים הזהירו כי הממצאים שלהם אינם מספקים הסבר מדוע וכיצד נראה כי כלי בינה מלאכותית משפיעים באופן שונה על ביצועים של רופאים אנושיים, אך שימו לב שהבנת מדוע תהיה קריטית כדי להבטיח שכלי רדיולוגיה של בינה מלאכותית מגדילים את הביצועים האנושיים במקום לפגוע בו.

לשם כך, ציין הצוות, מפתחי בינה מלאכותית צריכים לעבוד עם רופאים המשתמשים בכלים שלהם כדי להבין ולהגדיר את הגורמים המדויקים שבא לידי ביטוי באינטראקציה בין אדם ל-AI.

כמו כן, הוסיפו החוקרים, יש לבדוק את האינטראקציה בין רדיולוג ל-AI במסגרות ניסוי המחקות תרחישים מהעולם האמיתי ומשקפות את אוכלוסיית החולים האמיתית שעבורה הכלים מיועדים.

מלבד שיפור הדיוק של כלי הבינה המלאכותית, חשוב גם להכשיר רדיולוגים לזהות תחזיות בינה מלאכותיות לא מדויקות ולהטיל ספק בקריאת האבחון של כלי בינה מלאכותית, אמר צוות המחקר. כדי להשיג זאת, מפתחי AI צריכים להבטיח שהם מעצבים מודלים של AI שיכולים "להסביר" את ההחלטות שלהם.

"המחקר שלנו חושף את האופי הניואנסי והמורכב של אינטראקציה בין מכונה לאדם", אמר מחבר שותף בכיר במחקר, ניקיל אגרוואל, פרופסור לכלכלה ב-MIT. "זה מדגיש את הצורך להבין את שפע הגורמים המעורבים במשחק הגומלין הזה וכיצד הם משפיעים על האבחון והטיפול האולטימטיבי בחולים."

מחבר, מימון, גילויים

מחברים נוספים כללו את אושי בנרג'י ב-HMS ואת טוביאס זלץ ב-MIT, שהיה מחבר בכיר בעיתון.

העבודה מומנה בחלקה על ידי קרן Alfred P. Sloan (2022-17182), יוזמת ה-J-PAL Health Care Delivery, ובית הספר למדעי הרוח, האמנויות והחברה של MIT.