כלי בינה מלאכותית חדשנית שמנצחת את השיטות המסורתיות באיתור תוכן שנוצר בינה מלאכותית כמו מאמרי ChatGPT, ועוזרת להגן על מחקר מדעי מפני גניבת דעת!
לִלמוֹד: זיהוי של מדע מזויף של ChatGPT עם אלגוריתם הלמידה xFakeSci. קרדיט תמונה: dauf / Shutterstock.com
השימוש ההולך וגובר בכלי בינה מלאכותית (AI) גנרטיבית כמו ChatGPT העלה את הסיכון לתוכן שנראה על ידי אדם המופיע בגניבה ממקורות אחרים. מחקר חדש שפורסם ב דוחות מדעיים מעריך את הביצועים של xFakeSci בהבחנה בין תוכן מדעי אותנטי לתוכן שנוצר באמצעות ChatGPT.
איומים הנשקפים למחקר על ידי AI גנרטיבי
AI מייצר תוכן המבוסס על אספקת הנחיות או פקודות לכוון את העיבוד שלו. בסיוע מדיה חברתית, כתבי עת טורפים פרסמו מאמרים מדעיים מזויפים כדי להעניק סמכות לנקודות מבט מפוקפקות. זה יכול להחמיר עוד יותר על ידי פרסום תוכן שנוצר בינה מלאכותית בפרסומים מדעיים בפועל.
מחקרים קודמים הדגישו את האתגרים הקשורים בהבחנה בין תוכן שנוצר בינה מלאכותית מתוכן מדעי אותנטי. לפיכך, נותר צורך דחוף בפיתוח אלגוריתמי זיהוי מדויקים.
מטרה וסקירה של המחקר
במחקר הנוכחי, החוקרים השתמשו ב-xFakeSci, אלגוריתם למידה חדשני שיכול להבדיל בין תוכן שנוצר בינה מלאכותית מתוכן מדעי אותנטי. אלגוריתם חיזוי תוויות מונע רשת מקיף גם מצבי פעולה בודדים וגם מצבי פעולה רבים אשר מאומנים באמצעות משאבים מסוג אחד ומספר רב של משאבים, בהתאמה.
במהלך ההכשרה, החוקרים השתמשו בהנחיות מהונדסות כדי לזהות מסמכים מזויפים ותכונותיהם הייחודיות באמצעות ChatGPT. לאחר מכן, נעשה שימוש ב-xFakeSci כדי לחזות את מחלקת המסמכים ואת מקוריותו.
שני סוגים של מודלים לאימון רשת התבססו על תוכן שנוצר על ידי ChatGPT ונכתב על ידי אדם שהתקבל מתקצירי PubMed. שני מערכי הנתונים נותחו עבור מאמרים על סרטן, דיכאון ומחלת אלצהיימר (AD).
הבדלים בין שני סוגי תוכן
אחד ההבדלים הבולטים בין מאמרים שנוצרו על ידי ChatGPT לבין מאמרים שנוצרו על ידי אדם היה מספר הצמתים והקצוות שחושבו מכל סוג של תוכן.
לתוכן שנוצר באמצעות ChatGPT היו פחות צמתים באופן משמעותי אך מספר קצוות גבוה יותר עבור יחס צמתים לקצה נמוך יותר. יתרה מכך, למערכי נתונים שנוצרו בינה מלאכותית היו יחסים גבוהים יותר עבור כל אחד מ-k-Folds בהשוואה לתוכן שמקורו במדען בפועל בכל שלוש המחלות.
בדיקות תוצאות
לאחר אימון וכיול, xFakeSci נבדק על 100 מאמרים לכל מחלה, 50 כל אחד מ-PubMed ו-ChatGPT. ציוני F1 חושבו מהתוצאות החיוביות האמיתיות, השליליות האמיתיות, החיוביות השגויות והשליליות השגויות.
ציוני F1 של 80%, 91% ו-89% התקבלו עבור מאמרים על דיכאון, סרטן ו-AD, בהתאמה. בעוד שכל התוכן שנוצר על ידי אדם זוהה על ידי xFakeSci, רק 25, 41 ו-38 מסמכים שנוצרו על ידי ChatGPT על שלוש המחלות הללו, בהתאמה, זוהו במדויק. תוכן שנוצר באמצעות ChatGPT זוהה בצורה מדויקת יותר כאשר הוא מעורבב עם מאמרים אותנטיים ישנים יותר לצורך ניתוח בכיתה מעורבת.
ChatGPT מסווג כ-PubMed עם (FP (תוצאות חיוביות כוזבות) =25), מה שמצביע על כך ש-50% ממסמכי הבדיקה מסווגים בטעות כפרסומים אמיתיים."
Benchmarking xFakeSci
מול אלגוריתמים מקובלים או מובילים של כריית נתונים כמו Naive Bayes, Support Vector Machine (SVM), SVM Linear ו-Logistic Regression, ציוני xFakeSci נשארו בין 80% ל-91% עבור מאמרים שפורסמו בין 2020 ל-2024. לשם השוואה, האלגוריתמים האחרים הראה ביצועים משתנים, עם ציונים שנעו בין 43% ל-52%.
עם מאמרים קודמים שפורסמו בין השנים 2014-2019 ו-2010-2014, אותו פער נצפה עבור xFakeSci ואלגוריתמים אחרים ב-80-94% ו-38%-52%, בהתאמה. לפיכך, xFakeSci מתעלה על שאר האלגוריתמים בכל תקופות הזמן.
מסקנות
אלגוריתם xFakeSci מתאים במיוחד לסיווג ריבוי מצבים לבדיקת ערכת בדיקות מעורבת ולייצר תוויות מדויקות לכל סוג. הכללת שלב כיול המבוסס על יחסים ומרחקי קרבה משפרת את היבט הסיווג של אלגוריתם זה; עם זאת, הוא מונע הוספת כמויות מופרזות של דגימות.
היבט הסיווג הרב-מצבי של xFakeSci אפשר לאלגוריתם הזה לזהות במדויק מאמרים אמיתיים, גם כשהם מעורבבים עם מאמרים שנוצרו באמצעות ChatGPT. עם זאת, xFakeSci לא הצליח בזיהוי כל התוכן שנוצר באמצעות ChatGPT.
רשתות שנוצרו מ-ChatGPT היו קשורות ליחס נמוך יותר של צומת לקצה, ובכך מעידה על חיבור גבוה יותר שלהן, אשר לוותה ביחס מוגבר של ביגרמות לספירת המילים הכוללת עבור כל מסמך.
מאחר ש-ChatGPT פותחה כדי לייצר תוכן דמוי אדם על ידי חיזוי המילה הבאה על בסיס מתאמים סטטיסטיים, מטרותיו אינן מתיישבות עם המטרות המדעיות של תיעוד בדיקות השערות, ניסויים ותצפיות.
לאלגוריתם xFakeSci עשויים להיות יישומים אחרים, כגון הבחנה בין חלקים שעלולים להיות מזויפים של הערות קליניות שנוצרו באמצעות ChatGPT, התערבויות וסיכומים של ניסויים קליניים. עם זאת, יש לאכוף הנחיות אתיות כדי למנוע שימוש חסר אחריות בכלי בינה מלאכותית, אפילו תוך הכרה ביתרונות שלהם.
בינה מלאכותית יכולה לספק נתונים מדומים, לבנות מקטעי קוד עבור יישומי תכנות מרובים ולסייע בהוראה, תוך סיוע בהצגת מחקרים מדעיים באנגלית דקדוקית קריאה לדוברים שאינם שפת אם. עם זאת, תוכן שנוצר על ידי בינה מלאכותית עלול לגרום לגניבה גניבה של מסמכי מחקר הזמינים באינטרנט, מה שעלול להפריע להתקדמות מדעית וללמידה. לפיכך, לבעלי כתבי עת יש תפקיד חשוב ביישום אלגוריתמי זיהוי וטכנולוגיות אחרות לזיהוי דוחות מזויפים.
מחקר עתידי יכול להשתמש בגרפי ידע כדי לאסוף שדות פרסום הקשורים זה לזה כדי לשפר את הדיוק של זיהוי, אימון וכיול, כמו גם לבדוק את הביצועים של xFakeSci באמצעות מספר מקורות נתונים.
