מחקר של חוקרים מבית הספר לרפואה איקאן בהר סיני זיהה אסטרטגיות לשימוש במודלים של שפה גדולה (LLMs), סוג של בינה מלאכותית (AI), במערכות בריאות תוך שמירה על יעילות עלות וביצועים.
הממצאים, שפורסמו בגיליון המקוון של 18 בנובמבר של npj רפואה דיגיטלית (DOI: 10.1038/s41746-024-01315-1), מספקים תובנות כיצד מערכות בריאות יכולות למנף כלי AI מתקדמים לאוטומציה של משימות ביעילות, חיסכון בזמן והפחתת עלויות תפעול תוך הבטחת מודלים אלה להישאר אמינים גם תחת עומס משימות גבוה.
"הממצאים שלנו מספקים מפת דרכים למערכות בריאות לשילוב כלי בינה מלאכותית מתקדמים לאוטומציה של משימות בצורה יעילה, פוטנציאלית לקצץ בעלויות עבור קריאות לממשקי תכנות יישומים (API) ללימודי LLM עד פי 17 והבטחת ביצועים יציבים בעומסים כבדים", אומר שותף. -הסופר הבכיר גיריש נ. נדקרני, MD, MPH, איירין וד"ר ארתור מ. פישברג פרופסור לרפואה באיכאן הר סיני, מנהל מכון צ'ארלס ברונפמן לרפואה מותאמת אישית, וראש החטיבה לרפואה מונעת נתונים ודיגיטלית (D3M) במערכת הבריאות הר סיני.
בתי חולים ומערכות בריאות מייצרים כמויות אדירות של נתונים מדי יום. LLMs, כגון GPT-4 של OpenAI, מציעים דרכים מעודדות לבצע אוטומציה ולייעל זרימות עבודה על ידי סיוע במשימות שונות. עם זאת, הפעלה מתמשכת של מודלים אלה בינה מלאכותית היא יקרה, ויוצרת חסם פיננסי לשימוש נרחב, אומרים החוקרים.
המחקר שלנו הונע מהצורך למצוא דרכים מעשיות להפחתת עלויות תוך שמירה על ביצועים כך שמערכות הבריאות יוכלו להשתמש בביטחון ב-LLM בקנה מידה רחב. יצאנו ל"בדיקת מאמץ" של מודלים אלה, להעריך עד כמה הם מתמודדים עם משימות מרובות בו-זמנית, ולמצוא אסטרטגיות ששומרות על ביצועים גבוהים ועלויות ניתנות לניהול".
אייל קלנג, MD, סופר ראשון, מנהל תכנית מחקר בינה מלאכותית ב-D3M ב-Icahn הר סיני
המחקר כלל בדיקת 10 LLMs עם נתוני מטופלים אמיתיים, תוך בחינת כיצד כל מודל הגיב לסוגים שונים של שאלות קליניות. הצוות הפעיל יותר מ-300,000 ניסויים, והגדיל בהדרגה את עומסי המשימות כדי להעריך כיצד המודלים ניהלו את הדרישות הגוברת.
יחד עם מדידת הדיוק, הצוות העריך את עמידתם של המודלים בהוראות הקליניות. לאחר מכן בוצע ניתוח כלכלי, שחשף כי משימות קיבוץ עשויות לסייע לבתי חולים לצמצם עלויות הקשורות לבינה מלאכותית תוך שמירה על ביצועי המודל ללא פגע.
המחקר הראה כי על ידי קיבוץ ספציפי של עד 50 משימות קליניות – כגון התאמת חולים לניסויים קליניים, בניית קבוצות מחקר, חילוץ נתונים למחקרים אפידמיולוגיים, סקירת בטיחות התרופות וזיהוי חולים המתאימים לבדיקות בריאות מונעות – יחד, LLMs יכולים לטפל בהם בו זמנית ללא ירידה משמעותית ברמת הדיוק. גישת קיבוץ משימות זו מציעה שבתי חולים יוכלו לייעל את זרימות העבודה ולהפחית את עלויות ה-API עד פי 17, חיסכון שיכול להסתכם במיליוני דולרים בשנה עבור מערכות בריאות גדולות יותר, מה שהופך את כלי הבינה המלאכותית המתקדמים לכדאיים יותר מבחינה כלכלית.
"ההכרה בנקודה שבה המודלים הללו מתחילים להיאבק תחת עומסים קוגניטיביים כבדים חיונית לשמירה על אמינות ויציבות תפעולית. הממצאים שלנו מדגישים דרך מעשית לשילוב בינה מלאכותית גנרטיבית בבתי חולים ופותחים את הדלת לחקירה נוספת של היכולות של LLMs בתוך אמיתי- מגבלות העולם", אומר ד"ר נדקרני.
ממצא בלתי צפוי אחד, אומרים החוקרים, היה כיצד אפילו מודלים מתקדמים כמו GPT-4 הראו סימני מתח כאשר נדחקו לגבולות הקוגניטיביים שלהם. במקום שגיאות קלות, ביצועי הדגמים ירדו מדי פעם באופן בלתי צפוי תחת לחץ.
"למחקר הזה יש השלכות משמעותיות על האופן שבו ניתן לשלב בינה מלאכותית במערכות בריאות. קיבוץ משימות עבור LLMs לא רק מפחית עלויות אלא גם חוסך משאבים שניתן להפנות טוב יותר לטיפול בחולים", אומר המחבר דיוויד ל. רייך, MD, קצין קליני ראשי של מערכת הבריאות הר סיני; נשיא בית החולים הר סיני ומלכות הר סיני; הוראס וו. גולדסמית פרופסור להרדמה; ופרופסור לבינה מלאכותית ובריאות האדם, ופתולוגיה, רפואה מולקולרית ותאים, באיכאן הר סיני. "ועל ידי זיהוי הגבולות הקוגניטיביים של המודלים הללו, ספקי שירותי בריאות יכולים למקסם את תועלת הבינה המלאכותית תוך הפחתת סיכונים, תוך הבטחה שהכלים הללו יישארו תמיכה אמינה במערכות בריאות קריטיות."
בשלב הבא, צוות המחקר מתכנן לחקור כיצד מודלים אלו מתפקדים בסביבות קליניות בזמן אמת, ניהול עומסי עבודה אמיתיים של מטופלים ואינטראקציה ישירה עם צוותי שירותי בריאות. בנוסף, הצוות שואף לבחון מודלים מתפתחים כדי לראות אם הספים הקוגניטיביים משתנים עם התקדמות הטכנולוגיה, תוך עבודה לקראת מסגרת אמינה לאינטגרציה של AI בתחום הבריאות. בסופו של דבר, הם אומרים, המטרה שלהם היא לצייד את מערכות הבריאות בכלים שמאזנים בין יעילות, דיוק וחסכוניות, תוך שיפור הטיפול בחולים מבלי להכניס סיכונים חדשים.
