בעוד שכלי בינה מלאכותית מאיצים את איסוף הנתונים, מחקר חושף אי דיוקים משמעותיים בפרשנות המדיניות, במיוחד באזורי אפריקה ומזרח הים התיכון.
לִלמוֹד: הערכת מגבלות הבינה המלאכותית הגנרטיבית בזיהוי ופרשנות של מדיניות בריאות. קרדיט תמונה: Thapana_Studio/Shutterstock.com
מדענים במרכז אוניברסיטת ג'ורג'טאון למדע וביטחון בריאות עולמי, ארה"ב, ערכו מחקר כדי להעריך את הדיוק והדיוק של כלי בינה מלאכותית גנרטיבית (GAI) בזיהוי ופרשנות של מדיניות בריאות ברחבי העולם. המחקר פורסם בכתב העת PLOS ONE.
רֶקַע
פרויקט ניתוח ומיפוי מדיניות למחלות זיהומיות מתעוררות משתמש במומחים לנושאים אנושיים כדי לשטח, לנתח ולסווג באופן שיטתי מדיניות בריאות מכל מדינות החברות באו"ם (או"ם).
טכנולוגיית הבינה המלאכותית הגנרטיבית (GAI) שהתפתחה לאחרונה פיתחה כלים לסינון ובחינה מהירה של כמויות עצומות של מידע רפואי.
ההתפשטות האחרונה של טכנולוגיית GAI עודדה את שילוב הכלים הללו בפרויקט ניתוח ומיפוי מדיניות למחלות זיהומיות מתעוררות כדי לצמצם את המשאב האנושי הנדרש להשלמת העבודה.
במחקר זה, מדענים העריכו את היעילות והדיוק של כלי GAI בזיהוי ופרשנות של מדיניות בריאות רלוונטית.
באופן ספציפי, הם השתמשו בשתי מדיניות מאומתת (מדיניות חירום וחיסוני ילדים ומדיניות הסגר ובידוד) בכל מדינה חברה באו"ם. הם העריכו והשוו באופן שיטתי את התגובות שהופקו על ידי כלי GAI ומומחה לנושא.
תצפיות חשובות
כלי ה-GAI ששימש במחקר הגדיל באופן משמעותי את יעילות איסוף הנתונים הן עבור חיסונים והן עבור מערכי נתונים של מדיניות בידוד והסגר. הכלי הפחית את הזמן הנדרש לאיסוף נתוני החיסון ב-88% והעלה את היעילות ב-90%.
ניתוח מערך הנתונים של מדיניות החיסונים
עבור מערך החיסונים, נעשה שימוש בכלי ה-GAI כדי להעריך את נוכחותו של מנדט חיסון שגרתי לילדות הניתן לאכיפה משפטית או סמכויות חירום לחיסון חובה של האוכלוסייה המקומית במהלך משבר.
שיעור התאמה של 78% נצפה בין הכלי למומחה לנושא האנושי בהערכה הספציפית הזו. עם זאת, שיעור הקונקורדנציה הופחת ל-63% לאחר סינון המדינות שעבורן הן המומחה והן הכלי לא מצאו מנדט חוקי אוניברסלי לחיסון.
נצפתה שונות בשיעור הקונקורדנציה בין אזורי ארגון הבריאות העולמי (WHO). הקונקורדנציה הגבוהה ביותר בין המומחה לכלי נצפתה עבור מדינות במערב האוקיינוס השקט ואירופה, והקונקורדנציה הנמוכה ביותר נצפתה עבור מדינות באזור דרום מזרח אסיה ומזרח הים התיכון.
המחקר מצא אי דיוקים שיטתיים משמעותיים ואי דיוק של כלי ה-GAI לאחר סינון התגובות על היעדר דרישות חיסון חוקיות שהיו בהתאמה בין המומחה לכלי.
נמצא כי הכלי GAI מייצר תגובות לא מדויקות על חיסון עבור יותר מ-50% מהמדינות באזורי אפריקה, דרום מזרח אסיה ומזרח הים התיכון. עם זאת, האזורים המערביים של האוקיינוס השקט, האירופים והאמריקאים נותרו האזורים המיוצגים בצורה המדויקת ביותר של ארגון הבריאות העולמי לפי הכלי.
עבור חמש מדינות, נמצא שהכלי GAI מזהה מדיניות שהמומחה לא זיהה קודם לכן.
ניתוח של מערך נתונים של מדיניות הסגר ובידוד
עבור מערך ההסגר והבידוד, נעשה שימוש בכלי ה-GAI כדי לזהות ולפרש מדיניות קיימת הקשורה לבידוד של אנשים נגועים ולהסגר של אנשי קשר באוכלוסייה המקומית.
בהערכה זו, המומחה והכלי היו בהסכמה על 67%. בדומה לתגובות החיסון, נצפתה שונות בהתאמה לגבי תגובות הסגר ובידוד באזורי ארגון הבריאות העולמי.
הקונקורדנציה הגבוהה ביותר בין המומחה לכלי נצפתה עבור מדינות באזורי מערב האוקיינוס השקט, והקונקורדנציה הנמוכה ביותר נצפתה עבור אזורי אפריקה ומזרח הים התיכון. נצפתה התאמה מתונה עבור מדינות באזור דרום מזרח אסיה, אירופה ואמריקה.
כפי שציינו המדענים, הקונקורדנציה הגבוהה ביותר שנצפתה עבור אזורי מערב האוקיינוס השקט נבעה מהעובדה שמדינות באזורים אלה משתמשות באנגלית כשפה רשמית ובכך מייצרות באופן שגרתי מסמכים ממשלתיים באנגלית.
בהתאם להשערה זו, המחקר מצא שכלי ה-GAI תואם בדיוק את תגובות המומחים או מספק מידע נוסף 81% מהמקרים עבור 61 מדינות שבהן מדיניות כתובה באנגלית.
עם זאת, עבור 133 מדינות עם מדיניות שאינה כתובה באנגלית, כלי ה-GAI תואם בדיוק את תגובות המומחים או מספק מידע נוסף ב-63%% מהמקרים.
לגבי אי התאמה כללית בין המומחה לכלי, המחקר מצא שהכלי החמיץ מידע שמצא המומחה עבור 21% מסך התגובות וסיפק מידע שגוי בהשוואה למידע שסיפק המומחה עבור 8.8% מסך התגובות . עבור 2% מסך התגובות, הכלי סיפק מידע שהמומחה החמיץ.
משמעות המחקר
המחקר מוצא GAI ככלי שימושי להבטחת איכות ותהליכי בקרת איכות בזיהוי מדיניות בריאות.
עם זאת, הכלי זקוק לשיפורים נוספים כדי לזהות במדויק מדיניות באזורים ובשפות גלובליות שונות ולפרש מידע ספציפי להקשר.
בהתחשב בממצאי המחקר, המדענים מציעים שאין להשתמש בכלי GAI כבודקים ראשוניים בזיהוי או פרשנות של מדיניות בריאות. במקום זאת, ניתן להשתמש בכלים אלה ביעילות כסוקר שני או שלישי בזיהוי מדיניות בריאות.
