העמדתי את ChatGPT למבחן לאחר שמחקר חדש חשף כיצד AI מרמה את המוח שלנו

רובנו יודעים ש-ChatGPT אינו מושלם. זה יכול להזות עובדות, להמציא בביטחון ציטוטים ולפעמים לתת תשובות שגויות לחלוטין. אבל מחקר חדש גרם לי לתהות אם הבעיה הגדולה יותר היא לא מה AI טועה, אלא איך AI עשוי להשתנות לגבינו כחושבים ביקורתיים.

חוקרים גילו שכאשר אנשים הסתמכו על עוזר בינה מלאכותית לשאלות קשות, הם הפכו פחות בסבירות להודות שהם לא יודעים את התשובה. אפילו יותר מפתיע, הם גדלו הרבה יותר בטוחים בתגובות שלהם, אפילו כשה-AI הוביל אותם ישר לשגיאה.

זה פגע קצת קרוב מדי לבית. אני משתמש ב-ChatGPT כל הזמן כשותף לסיעור מוחות, עוזר מחקר ולוח תהודה. אז, החלטתי לשחזר את הניסוי בעצמי כדי לראות אם נפלתי בשקט לאותו הרגל.

הסרטונים האחרונים מאת

צפו בסרטון המלא כאן:

התוצאות לא היו בדיוק מה שציפיתי.

מה המחקר מצא

חוקרים מאוניברסיטת קרנגי מלון ו-Microsoft Research עיצבו ניסוי סביב שאלה פשוטה: מה קורה כשאנשים מתייעצים עם AI במקום להסתמך על שיקול הדעת שלהם?

כדי לגלות, הם השתמשו בכוונה בשאלות שה-AI עשוי לענות עליהן באופן שגוי. המשתתפים יכלו לבחור באחת משלוש אפשרויות:

ענו לבד

בקש עזרה מה-AI

תגיד, "אני לא יודע"

ללא AI, המשתתפים הודו שהם לא ידעו את התשובה כמעט מחצית מהזמן. ברגע שה-AI נכנס לתמונה, זה השתנה באופן דרמטי.

במקום לומר "אני לא יודע", רוב המשתתפים קיבלו את הצעת הבינה המלאכותית – גם כשהיא שגויה. הביטחון העצמי שלהם גדל בחדות, אבל הדיוק בפועל שלהם עמד על כנו. בני אדם פשוט הפכו לא נכונים בביטחון.

החוקרים טוענים שזה מצביע על הטיית אוטומציה: הנטייה שלנו לסמוך על המלצות ממוחשבות פשוט כי הן מוצגות בביטחון.

מחקר זה מצביע על כך שתשובה מלוטשת וסמכותית יכולה לגרום לנו להרגיש בטוחים יותר ממה שהראיות מצדיקות.

החלטתי לנסות את זה בעצמי

במקום לשחזר את הניסוי האקדמי המדויק, הגעתי לגרסה משלי באמצעות ChatGPT. בחרתי שאלות שחשדתי שיהיו קשות או קלות לבלבול, כולל טריוויה סרטים לא ברורים, טכנולוגיה ישנה יותר, פרטים היסטוריים ושאלות מבוססות תמונות. אפילו המצאתי שאלה לגמרי לא נכונה לגבי כרטיסי ברכה שעשויים מג'וקים.

עבור כל אחד מהם, בצעתי תהליך פשוט בן שלושה שלבים:

ניחשתי קודם את התשובה מבוסס לחלוטין על הזיכרון שלי.

שאלתי את ChatGPT אותה שאלה בדיוק.

השוויתי את שתי התשובות עם מקורות אמינים ומאומתים.

כמעט מיד שמתי לב שבכל פעם ש-ChatGPT ענה בביטחון, מצאתי את עצמי מטיל ספק באינסטינקטים שלי – אפילו כשהניחוש המקורי שלי התברר כנכון.

לשנייה חולפת, למעשה פקפקתי בזיכרון הילדות שלי. "ובכן, ChatGPT כנראה יודע טוב יותר," תפסתי את עצמי חושב. וזו ההתנהגות שתיארו החוקרים. הביטחון של התגובה היה חשוב כמעט כמו המידע עצמו.

ביטחון עצמי יכול להיות משכנע באופן מפתיע

דבר אחד ששמתי לב אליו כמשתמש חזק של ChatGPT הוא שה-AI אף פעם לא נשמע לא בטוח או אפילו מודה שהוא לא יודע משהו. גם כשהוא כולל ביטויים כמו "אני מאמין" אוֹ "סביר להניח," התגובה הכוללת באמת משכנעת.

בני אדם מקשרים באופן טבעי תקשורת בטוחה עם מומחיות. זה בדרך כלל קיצור דרך שימושי בחיי היומיום, אבל זו אסטרטגיה מסוכנת בעת אינטראקציה עם AI.

שלא כמו מומחה אנושי, ChatGPT אינו בודק מסד נתונים או משחזר זיכרון מאומת. בטח, הוא יכול לחפש באינטרנט במהירות הבזק, אבל גם אז הוא יכול לקלוט מידע שגוי. זה בעצם מייצר את המילים הבאות הסבירות ביותר מבחינה סטטיסטית בהתבסס על דפוסים באימונים שלו.

לפעמים זה מדויק להפליא, אבל הרבה פעמים זה שגוי בביטחון. האתגר הוא ששתי התגובות הללו נראות זהות לחלוטין.

איך המחקר הזה שינה את זרימת העבודה שלי

תמיד הייתי זהיר לקבל את התגובה הראשונה של AI כי אני יודע כמה זה יכול להיות שגוי. אבל המחקר הזה הוא בהחלט קריאת השכמה. ChatGPT הוא כלי רב עוצמה לפרודוקטיביות, אבל רק בגלל שהוא מספק תשובות בטוחות, כדאי לעשות בדיקת נאותות משלך כדי לאמת מה שהוא אומר שהם עובדות.

מבחינתי זה אומר:

בדיקת מקורות מקוריים במקום לקחת את סיכום ה-AI כערך נקוב.

אישור סטטיסטיקה ונקודות נתונים דרך מנועי חיפוש עצמאיים.

הקפדה על ציטוטים, תאריכים ושמות להתאים הפניות עיקריות מכובדות.

זה לוקח רק דקה או שתיים, אבל זה הרגל ששווה לבנות. אם כבר, המחקר הזה הזכיר לי שהדרך החכמה ביותר להשתמש בבינה מלאכותית היא לשמור על כישורי החשיבה הקריטית שלך, כי ההחלטה הסופית היא עדיין שלך.