Search
סוד יעילות הלמידה של המוח האנושי נחשף

חוקרים מזהירים מפני הסתמכות על צ'טבוטים של AI למידע על בטיחות תרופות

מטופלים לא צריכים להסתמך על מנועי חיפוש וצ'אטבוטים המופעלים על ידי בינה מלאכותית כדי לתת להם תמיד מידע מדויק ובטוח על תרופות, כך מסיקים חוקרים בכתב העת BMJ איכות ובטיחות, לאחר מציאת מספר ניכר של תשובות היו שגויות או עלולות להזיק.

יתרה מכך, המורכבות של התשובות הניתנות עשויה להקשות על המטופלים להבין אותן במלואן ללא השכלה ברמת תואר, מוסיפים החוקרים.

בפברואר 2023, מנועי החיפוש עברו שינוי משמעותי הודות להכנסתם של צ'אטבוטים המופעלים על ידי AI, המציעים הבטחה לתוצאות חיפוש משופרות, תשובות מקיפות וסוג חדש של חוויה אינטראקטיבית, מסבירים החוקרים.

אמנם ניתן לאמן את הצ'אטבוטים הללו על מערכי נתונים נרחבים מהאינטרנט, מה שמאפשר להם לשוחח על כל נושא, כולל שאילתות הקשורות לבריאות, הם גם מסוגלים לייצר דיסאינפורמציה ותוכן שטותי או מזיק, הם מוסיפים.

מחקרים קודמים שבדקו את ההשלכות של צ'אטבוטים אלה התמקדו בעיקר בנקודת המבט של אנשי מקצוע בתחום הבריאות ולא בזו של המטופלים. כדי להתמודד עם זה, החוקרים בחנו את הקריאות, השלמות והדיוק של תשובות צ'אט בוט לשאילתות על 50 התרופות הנפוצות ביותר בארה"ב בשנת 2020, תוך שימוש ב- Bing copilot, מנוע חיפוש עם תכונות צ'אט בוט המופעלות על ידי בינה מלאכותית.

כדי לדמות מטופלים המתייעצים בצ'אטבוטים למידע על תרופות, החוקרים סקרו מאגרי מידע מחקריים והתייעצו עם רוקח קליני ורופאים בעלי מומחיות בפרמקולוגיה כדי לזהות את שאלות התרופות שהמטופלים שואלים לרוב את אנשי מקצועות הבריאות שלהם.

הצ'אטבוט נשאל 10 שאלות עבור כל אחת מ-50 התרופות, והניב 500 תשובות בסך הכל. השאלות כיסו למה שימשה התרופה, איך היא פועלת, הוראות שימוש, תופעות לוואי נפוצות והתוויות נגד.

הקריאה של התשובות שסיפק הצ'אטבוט הוערכה על ידי חישוב ציון קלות הקריאה של Flesch אשר מעריך את הרמה החינוכית הנדרשת להבנת טקסט מסוים.

טקסט עם ציון בין 0 ל-30 נחשב לקשה מאוד לקריאה, המחייב השכלה ברמת התואר. בקצה השני של הסולם, ציון של 91-100 אומר שהטקסט קל מאוד לקריאה ומתאים לבני 11.

כדי להעריך את השלמות והדיוק של תשובות הצ'אטבוט, התשובות הושוו למידע על התרופה שסופק על ידי אתר מידע תרופות שנבדק על ידי עמיתים ועדכני הן לאנשי מקצוע בתחום הבריאות והן למטופלים (drugs.com)

ההסכמה המדעית הנוכחית, והסבירות ומידת הנזק האפשרי אם המטופל ימלא אחר המלצות הצ'טבוט, הוערכו על ידי שבעה מומחים לבטיחות תרופות, תוך שימוש בתת-קבוצה של 20 תשובות צ'אטבוטים המציגות דיוק או שלמות נמוכים, או סיכון פוטנציאלי לבטיחות המטופל.

סולמות הנזק של הסוכנות למחקר ואיכות בריאות (AHRQ) שימשו לדירוג אירועי בטיחות של חולים והסבירות לנזק אפשרי הוערכה על ידי המומחים בהתאם למסגרת מאומתת.

הציון הממוצע הכולל של קלות הקריאה של פלש היה קצת יותר מ-37, מה שמעיד על כך שידרש מהקורא השכלה ברמת התואר. אפילו הקריאות הגבוהה ביותר של תשובות צ'אטבוט עדיין דרשה רמה חינוכית של בית ספר תיכון (תיכוני).

בסך הכל, השלמות הממוצעת הגבוהה ביותר של תשובות צ'אטבוט הייתה 100%, עם ממוצע של 77%. חמש מתוך 10 השאלות נענו עם השלמות הגבוהה ביותר, בעוד שאלה 3 (מה אני צריך לקחת בחשבון בעת ​​נטילת התרופה?) נענתה עם השלמות הממוצעת הנמוכה ביותר של 23% בלבד.

הצהרות צ'טבוט לא תאמו את נתוני ההתייחסות ב-126 מתוך 484 (26%) תשובות, והיו לא עקביות לחלוטין ב-16 מתוך 484 (קצת יותר מ-3%).

הערכה של קבוצת המשנה של 20 תשובות גילתה שרק 54% דורגו כמתאימים לקונצנזוס מדעי. ו-39% סתרו את הקונצנזוס המדעי, בעוד שלא היה קונצנזוס מדעי מבוסס לגבי 6% הנותרים.

נזק אפשרי כתוצאה מחולה בעקבות עצתו של הצ'טבוט דורגה כסבירות גבוהה ב-3% וסבירות בינונית ב-29% מהתשובות הללו. ושליש (34%) נחשבו כבלתי סבירים או כבלתי צפויים כלל לגרום לנזק, אם יעקוב אחריו.

אך ללא קשר לסבירות לנזק אפשרי, 42% מתשובות הצ'אטבוט הללו נחשבו כמובילות לנזק בינוני או קל, ו-22% למוות או נזק חמור. כשליש (36%) נחשבו כלא מובילים לנזק.

החוקרים מכירים בעובדה שהמחקר שלהם לא הסתמך על חוויות אמיתיות של מטופלים וכי הנחיות בשפות שונות או ממדינות שונות עשויות להשפיע על איכות תשובות הצ'אטבוט.

"במחקר חתך זה, ראינו שמנועי חיפוש עם צ'אט בוט מופעל בינה מלאכותית יצרו תשובות מלאות ומדויקות בסך הכל לשאלות המטופלים", הם כותבים.

"עם זאת, תשובות צ'אטבוט היו קשות לקריאה ותשובות חסרות מידע שוב ושוב או הראו אי דיוקים, מה שאולי מאיים על בטיחות המטופל והתרופות", הם מוסיפים.

החיסרון הגדול היה חוסר היכולת של הצ'אט בוט להבין את הכוונה הבסיסית של שאלת מטופל, הם מציעים.

"למרות הפוטנציאל שלהם, זה עדיין חיוני למטופלים להתייעץ עם אנשי המקצוע הרפואיים שלהם, מכיוון שצ'אטבוטים לא תמיד מייצרים מידע נטול שגיאות. מומלץ להיזהר בהמלצה על מנועי חיפוש המונעים בינה מלאכותית עד שמנועי ציטוט עם שיעורי דיוק גבוהים יותר יהיו זמינים," הם. לְהַסִיק.

דילוג לתוכן