מערך נתונים רפואי חדש עצום מסייע למודלים של AI לענות על שאלות בריאותיות מורכבות ברמת דיוק רבה יותר, ומקרב רופאים וחוקרים צעד אחד קרוב יותר ל- AI קליני מבוסס ראיות אמין.
מחקר: מיריאד: הגדלת LLMs עם מיליוני זוגות תגובת שאילתה רפואית. קרדיט תמונה: meeboonstudio/shutterstock.com
*הודעה חשובה: Arxiv מפרסם דוחות מדעיים ראשוניים שאינם בודקים עמיתים, ולכן אין לראות בהם כמשקעים, מדריכים את התנהגות הקלינית/התנהגות הקשורה לבריאות, או לטפל בהן כמידע מבוסס.
מחקר שנערך לאחרונה שפורסם בשרת Arxiv Preprinppinption ביקש להתמודד עם האתגרים של דגמי שפה גדולים קיימים (LLMS) על ידי הצגת מערך נתונים חדש בשם Miriad, התומך במיליוני זוגות תגובה של שאילתה רפואית.
התפתחות מודלים לשפה גדולה לתחום הבריאות
למרות ש- LLMs ביצעו היטב במשימות שונות לעיבוד שפות טבעיות, כגון תרגום ותשובה לשאלות, לעתים קרובות הם חסרים נכונות עובדתית והמידע העדכני ביותר. מגבלה זו משפיעה באופן משמעותי על תחום הבריאות, כאשר הדיוק העובדתי הוא קריטי.
גישת הדור המוגדלת (RAG) של אחזור פותחה כדי להתגבר על המגבלה שלמעלה, שאינה דורשת כוונון יקר של LLMS. בתחילה, מערכות אחזור מפותחות התבססו על מסדי נתונים וקטוריים מחוץ למדף. אף על פי שהשגת ביצועי אחזור גבוהים באמצעות דגמים קודמים הייתה מאתגרת, מודלים לאחזור כללי-תחום כללי מתקדמים, כמו E5, Colbert או Jina-Colbert-V2, הציגו ביצועים בולטים בגלל מערכי נתונים אימונים גדולים. בדרך כלל, מערכי נתונים כוללים דוגמאות מזווגות של שאילתות ומסמכים, כלומר, פורמט תשובת שאלה.
נכון לעכשיו, בתחום הרפואי חסר מערכי אחזור רחבי היקף, איכותיים ונגישים גלוי, שניתן היה לנצל אחרת כדי לפתח מערכות אחזור המותאמות למידע רפואי. למערכות הנתונים של תשובת השאלות הרפואיות (QA), כגון MEDMCQA, PubMedQA או MEDQA, יש מגבלות רבות. לדוגמה, PubMedQA מתמקד בקטעי מאמר ספציפיים ואינו מציע תשובות בטופס חינם, בעוד שמדקה מכילה שאלות מרובות בחירות (MCQs). מערכי הנתונים של QA הקיימים הם קטנים משמעותית, הנעים בין אלפים למאות אלפי דגימות.
מה זה מיריאד?
מיריאד מייצג מערך נתונים בקנה מידה גדול הכולל הוראות ותגובות רפואיות שנוצרו חצי סינתטית באמצעות LLMs. כל זוג תשובות שאלה מקורקע בספרות רפואית שנבדקה על ידי עמיתים.
בניגוד למשאבים קודמים, מיריאד הוא מערך נתונים ולא מודל חדש. מערך נתונים זה מספק מידע מדויק, מתגבר על המגבלות של LLMs קודמים.
שלא כמו LLMs קונבנציונליים, Miriad מספקת קישור מקור לכל זוג תשובות שאלה. מיריאד מציעה מידע רפואי וביו -רפואי מקיף, המכסה 56 נושאים ותחומים רפואיים.
פיתוח מערך נתונים של מיריאד והערכת איכות
מערך הנתונים של מיריאד פותח מאוסף גדול של שאילתות ותגובות רפואיות. בתחילה, 894,352 ניירות רפואיים שימשו לעיבוד LLM, עם אפשרות להגדיל את מערך הנתונים בעתיד.
כל מאמר חולק לקטעים, אותו עיבד מודל שפת GPT-3.5-Turbo על סמך ההנחיות הסטנדרטיות לייצר זוגות QA עצמאיים. כל השאלות הרפואיות הותאמו לתשובות המקושרות למעבר מקור. יותר מ -10 מיליון זוגות QA גולמיים נוצרו בתחילה, והניחו את הבסיס למערך הנתונים של מיריאד.
בוצעו שלבי בקרת איכות, כגון סינון מבוסס כללים, הערות מומחים אנושיים וסינון מבוסס LLM, כדי להבטיח מערך נתונים באיכות גבוהה. לדוגמה, פילטר מבוסס כללים ביטל זוגות QA שהסתמכו על אזכורים מטא-לשוניים לקטע המקור. אסטרטגיה זו הסירה כ -5 מיליון זוגות QA לא מספקים. ההערה מבוססת LLM סייעה לשמור על נתוני רלוונטיות נכונים ותחומים עובדים. כדי להעריך את ההסכם בין הערה מבוססת LLM לבין אנוש, חמישה מומחים רפואיים סקרו תת קבוצה של 56 קטעים ו -168 זוגות QA.
בעוד שמומחים אנושיים היו מעורבים באימות, מרבית בקרת האיכות נערכה באמצעות סינון אוטומטי מבוסס LLM בגלל סולם המערך. תהליך הדור הסינטטי למחצה זה, אף שהוא נרחב, עשוי לגרום לכמה אי דיוקים שנותרו. הכותבים מכירים בכך שמיריאד מייצג אבן דריכה משמעותית באוצרות ידע רפואי ליישומי AI ולא נקודת קצה מקיפה לחלוטין.
מיריאד הושקה בשתי גרסאות: מיריאד -5.8 מ 'ומיריאד -4.4 מ'. לאחר סינון מבוסס כללים, מיריאד -5.8 מ 'מאומנת עם 5,821,948 דגימות, ואילו מיריאד -4.4 מ' מאומנת עם 4,487,542 דגימות לאחר כל רצף שלבי בקרת האיכות. גישה מחדש של ספרות מחדש של ספרות אפשרה את קרקע הזוגות QA שהתקבלו בספרות הרפואית שנבדקה על ידי עמיתים.
אטלס מיריאד אינטראקטיבי וממצאים ניסויים אחרים
Miriad-Atlas, ממשק משתמש אינטראקטיבי המתארח באינטרנט, מאפשר למשתמשים לנווט ולחקור למידע מעמיק. משתמשים יכולים ללמוד על מצבים נדירים, כגון מחלת קרוצפלד-ג'קוב, פשוט על ידי איתור מידע רלוונטי בנוף הידע הרפואי. ההיבט האינטראקטיבי הפך את מיריאד מנכס סטטי לכלי חקר לחוקרים או לרופאים. כל זוג תשובות שאילתה ממופה חזותית, ומשתמשים יכולים להתחקות אחר המקור המקורי לאימות וקריאה נוספת.
המחקר הנוכחי השווה בין שלושה תנאים ניסיוניים: אחזור באמצעות זוגות ה- QA של מיריאד (Rag-Miriad), אחזור מעברים גולמיים (עובדי סמרטוט), וקו בסיס ללא הגדלת אחזור (ללא RAG), שם ה- LLM עונה ישירות על השאלה.
נתונים ניסיוניים חשפו כי ניתן להשתמש ישירות במיריאד כמקור ידע נוסף כדי לשפר את ביצועי הסמרטוטים הרפואיים ב- LLMs בעד 6.7% בהשוואה לטקסט הלא מובנה מאותו מקור במשימות מידה מסוימות. עם זאת, גודל השיפור השתנה בהתאם לבחירת מודל השפה ושיטת ההטמעה, עם הרווחים הברורים ביותר שנראו במודלים של קוד פתוח עם ידע רפואי מובנה מוגבל.
נתונים ניסיוניים גם הצביעו על כך שניתן להשתמש במיריאד ישירות להכשרת מודלים לאחזור מידע רפואי, מה שמגביר עוד יותר את איכות האחזור. יתרה מזאת, מיריאד שיפרה את הפוטנציאל של LLMs לקביעת הזיות רפואיות ב 22.5 עד 37% (ציון מדד F1), כאשר השיפורים הגדולים ביותר נצפו בתתי המשנה המנותקים האנושיים.
חשוב לציין כי בעוד ששיפורים אלה מבטיחים, הם ספציפיים למגדרות הניסוי ומערכי הנתונים המשמשים במחקר. מוזהר כי הביצועים עשויים להשתנות עם משימות, דגמים או תצורות אחזור אחרות.
מסקנות
מיריאד מאפשרת לחוקרים ורופאים רפואיים להשיג מידע מקיף ומדויק על ידי מתן אפשרות למשתמשים לחקור, לחפש ולשכלל מידע רפואי ממיליוני שאילתות ותגובות המאורגנות לפי נושא ומשמעת.
בהתבסס על ממצאי מחקר, מדענים הם אופטימיים כי מיריאד תעצים את החוקרים, המטפלים והמטופלים על ידי מתן להם מערכות אחזור רפואיות מתקדמות, יישומי סמרטוטים משופרים וממשקי צ'אט קליניים מקומניים.
עדיין יש צורך בעבודה שוטפת כדי להרחיב את הכיסוי הרפואי, לשכלל את ייצור ה- QA ולהפחית ללא הרף אי דיוקים פוטנציאליים.
הורד את עותק ה- PDF שלך עכשיו!
*הודעה חשובה: Arxiv מפרסם דוחות מדעיים ראשוניים שאינם בודקים עמיתים, ולכן אין לראות בהם כמשקעים, מדריכים את התנהגות הקלינית/התנהגות הקשורה לבריאות, או לטפל בהן כמידע מבוסס.
