חוקרים מאוניברסיטת פנסילבניה השיקו את Observer, מערך הנתונים הרפואי הרב-מודאלי הראשון ללכוד אינטראקציות אנונימיות בזמן אמת בין מטופלים לרופאים. ממש כמו הדרמה הרפואית הפיטשמתאר את החיים בחדר המיון, אובזרבר מאפשר לאנשים מבחוץ להציץ בתוך מרפאות טיפול ראשוני – רק שבמקרה זה, אף אחת מהאינטראקציות המצולמות אינה בדיונית.
עד כה, הנתונים הזמינים לחוקרים בתחום הבריאות הוגבלו לעקבות שנותרו אחרי ביקור: מידע איכותי כמו הערות רופא ומדידות כמותיות כמו סימנים חיוניים של המטופל. אף אחד מהמקורות הללו לא לוכד דקויות כמו שפת גוף וטון קולי, או גורמים סביבתיים, כולל שימוש במחשב, המשפיעים על האופן שבו ספקים ומטופלים מתקשרים זה עם זה.
"כל כך הרבה ממה שמעצב את הביקורים הרפואיים ואת התוצאות שלהם היה בלתי נראה לחוקרים", אומר קווין ב. ג'ונסון, פרופסור באוניברסיטת דיוויד ל. כהן והמחבר הראשי של מאמר חדש המתאר את Observer ב- כתב העת של האיגוד האמריקאי לאינפורמטיקה רפואית. "הודות לטכנולוגיה שמאפנת את ההקלטות שלנו אנונימיות, ומאפשרת תאימות ל-HIPAA, Observer מאפשרת לנו לצפות בטיפול מתפתח. ראיות מסוג זה אינן רק הבסיס לשיפור הפרקטיקה הקלינית, היא חיונית לפיתוח כלי בינה מלאכותית אחראית להגברת הטיפול".
החוקרים כבר העניקו מענקי פיילוט לצוותים אחרים כדי להתחיל להשתמש ב-Observer, במטרה להרחיב את מערך הנתונים למשאב לאומי לשיפור שירותי הבריאות. "הפרויקטים המוקדמים האלה הם ההתחלה של גלגל תנופה", אומר ג'ונסון. "ככל שהחוקרים מייצרים תובנות והקלטות חדשות, מערך הנתונים יגדל, ויאפשר לנו לשאול שאלות שאפתניות עוד יותר."
למה הנתונים הקליניים חשובים
במשך עשרות שנים, חוקרים מינפו נתונים על ביקורים רפואיים כדי ללמוד כיצד לשפר את שירותי הבריאות. ה- Medical Information Mart for Intensive Care, פרויקט הקשור ל-MIT שהחל בשנות ה-90, מכיל כעת עשרות אלפי רישומים של ביקורי טיפול נמרץ, והוא צוטט באלפי מאמרי מחקר המכסים נושאים כמו קבלת החלטות קליניות ופעולות בבתי חולים.
לאחרונה, נתונים כאלה מילאו תפקיד מרכזי גם באימון בינה מלאכותית, מכיוון שהם מאפשרים למודלים של בינה מלאכותית לזהות דפוסים המחברים בין אבחנות, טיפולים ותוצאות על פני אוכלוסיות מטופלים גדולות. "למדנו כמות עצומה ממה שמתועד בתיק הרפואי", אומר ג'ונסון. "אבל אם אנחנו רוצים להבין את החוויה המלאה של הטיפול, אנחנו צריכים נתונים שמראים מה קורה בחדר".
עם Observer שמקשר בין וידאו, אודיו ותמלילים לנתונים קליניים ורשומות בריאות אלקטרוניות (EHR), חוקרים יכולים כעת לשאול שאלות חדשות: מתי צחוק מופיע במהלך ביקור והאם הוא משפיע על התוצאות; באיזו תדירות רופאים מסתכלים על מטופלים מול מסכי המחשב שלהם; כיצד פריסת החדר או טכנולוגיית הכתיבה הדיגיטלית משנה את התקשורת; וכיצד המטופלים מגיבים להסברים של אבחנות.
סוג זה של ראיות רב-מודאליות – המשלבות וידאו, אודיו ותיעוד רפואי – יוצרת הזדמנויות בכל כך הרבה תחומים. על ידי הפיכת הנתונים הללו לזמינים, אנו עושים דמוקרטיזציה של המחקר הרפואי ופותחים נתיבים חדשים לשיפור הטיפול".
קארן אוקונור, מנהלת שותפה של מעבדת הבינה המלאכותית של ג'ונסון לחדשנות טיפול אמבולטורי (AI-4-AI)
הבטחת פרטיות המטופל
בארצות הברית, מידע בריאותי של חולים מוגן על ידי חוק הניידות והאחריות של ביטוח הבריאות (HIPAA), המחייב כי כל מידע המשמש למחקר יוסר מפרטים מזהים.
עבור וידאו ואודיו, סטנדרט זה היה היסטורי כמעט בלתי אפשרי לעמוד בו. עד לאחרונה, יצירת מערך נתונים של מפגשים קליניים אמיתיים הייתה דורשת סקירה ועריכה ידנית של כל שנייה של צילומים וקול, תהליך עתיר עבודה ונוטה לשגיאות.
היכנסו ל-MedVidDeID, כלי שפיתחו החוקרים של פן כדי להפוך אוטומטית לאנונימיות של הקלטות וידאו ואודיו מהגדרות קליניות, אותן הם מתארים במאמר נפרד ב-Journal of Biomedical Informatics. בבדיקות, MedVidDeID הצליח לבטל את הזיהוי של יותר מ-90% מפריימים של וידאו ללא התערבות אנושית והפחית את זמן הסקירה הכולל ביותר מ-60%.
המערכת הרב-שלבית מחלצת תמלילים, מסירה טקסט מזהה, מקרצפת אודיו, הופכת קולות ומזהה ומטשטשת אוטומטית פרצופים ומזהים חזותיים אחרים באמצעות מודלים חדישים של ראיית מחשב. סוקר אנושי מבצע בקרת איכות סופית כדי להבטיח הסרה מוחלטת של מידע בריאותי מוגן.
"בנינו צינור מודולרי שממכן את רוב תהליך ביטול הזיהוי של אודיו-וידאו. על ידי שמירת אדם במעגל, אנחנו מסוגלים להגן על פרטיות המטופל תוך מתן אפשרות למחקר מיודע בווידאו בקנה מידה גדול", אומר Sriharsha Mopidevi, מפתח יישומים בכיר במעבדת AI-4-AI ומחבר שותף של שני המאמרים.
לפני איסוף הנתונים, החוקרים הבטיחו שלמטופלים, למשפחות של מטופלים ולרופאים תהיה הזדמנות להצטרף ובהמשך לספק משוב על התהליך. כתוצאה מכך, הצוות פרס מספר מצלמות במרפאות המשתתפות: מצלמת חדר קבועה כדי לתעד את הביקור הכולל, מצלמה מותקנת על ראשו של הרופא כדי להראות את נקודת המבט שלהם, וכאשר המשתתפים בחרו בכך – מצלמה מותקנת על ידי מטופל כדי לתעד את הביקור מנקודת מבטו של המטופל.
כיוונים עתידיים
עם השלמת השלב הראשון של איסוף הנתונים ומחקרי פיילוט בעיצומם, צוות Observer מתכונן להרחיב את מערך הנתונים ולהפוך אותו לזמין לקהילת מחקר רחבה יותר. הצוות מתכנן לאמץ מודל גישה דומה לזה שבו משתמש MIMIC, המאפשר לחוקרים מוסמכים להגיש בקשה להרשאה להשתמש בהקלטות הרב-מודאליות ללימודים שלהם.
"זה נוגע בסופו של דבר לשינוי מערכת הבריאות", אומר ג'ונסון. "אי אפשר לשפר את הטיפול או לבנות AI קליני משמעותי מבלי להבין את המפגש עצמו. כאשר אתה יכול לראות מה קורה על פני מאות או אלפי ביקורים, שינוי הופך אפשרי."
