כל יום המוח שלנו מקבל אלפי החלטות, גדולות וקטנות. כל אחת מההחלטות הללו – מהפחות תוצאתיות כמו קטיף מסעדה לחשוב יותר כמו רדיפת קריירה אחרת או מעבר לעיר חדשה – עלולה לגרום לתוצאות טובות יותר או גרועות יותר.
כיצד מדד המוח סיכון ותגמול בביצוע שיחות אלה? התשובה לשאלה זו ממשיכה לפתח מדענים, אך מחקר חדש שביצע חוקרים בבית הספר לרפואה של הרווארד ואוניברסיטת הרווארד מציע רמזים מסקרנים.
המחקר, שפורסם ב -19 בפברואר ב טֶבַע ותומך בחלקו במימון פדרלי, שילב מושגי למידת מכונה בניסויים של עכברים כדי לחקור את מעגלי המוח התומכים בהחלטות מבוססות תגמול.
המדענים חשפו שתי קבוצות של תאי מוח בעכברים: אחת המסייעת לעכברים ללמוד על תוצאות מעל לממוצע ועוד אחת הקשורה לתוצאות מתחת לממוצע. יחד, הניסויים הראו, תאים אלה מאפשרים למוח לאמוד את כל מגוון התגמולים האפשריים הקשורים לבחירה.
התוצאות שלנו מראות כי עכברים – ובהרחבה, יונקים אחרים – נראים מייצגים פרטים עדינים יותר על סיכון ותגמול ממה שחשבנו קודם. "
יאן Drughowitsch, סופר סניור משותף, פרופסור חבר לנוירוביולוגיה, מכון בלווטניק בבית הספר לרפואה של הרווארד
אם יאושרו בבני אדם, הממצאים עשויים לספק מסגרת להבנה כיצד המוח האנושי מקבל החלטות מבוססות תגמול ומה קורה ליכולת לשפוט סיכון ולתגמל כאשר מעגלי התגמול נכשלים.
למידת מכונה מאירה החלטות מבוססות תגמול
מדעני המוח התעניינו זה מכבר כיצד המוח משתמש בחוויות עבר כדי לקבל החלטות חדשות. עם זאת, על פי Drushowitsch, תיאוריות מסורתיות רבות לגבי קבלת החלטות כאלה אינן מצליחות לתפוס את המורכבות והניואנסים של התנהגות בעולם האמיתי.
Drughowitsch משתמש בדוגמה לבחירת מסעדה: אם אתה במצב רוח לשחק אותה בטוחה, אתה יכול לבחור מסעדה עם תפריט שחוויה אומרת לך שהוא טוב באופן אמין, ואם מתחשק לך לקחת סיכון, אתה יכול לבחור מסעדה שאתה מכיר מציעה תערובת של מנות יוצאי דופן ותת -חלקי.
בדוגמה לעיל, המסעדות נבדלות במידה ניכרת במגוון ההנפקות שלהן, ובכל זאת תיאוריות מדעי המוח הקיימות רואות אותן שווה ערך כאשר הן בממוצע, ובכך מנבאות סבירות שווה לבחור.
"אנו יודעים שלא כך פועלים בני אדם ובעלי חיים – אנו יכולים להחליט בין חיפוש סיכונים לבין משחק זה בטוח", אמר DrueWitsch. "יש לנו תחושה של יותר מסתם תגמולים צפויים ממוצעים הקשורים לבחירות שלנו."
בשנים האחרונות פיתחו חוקרים ללימוד מכונות תיאוריה של קבלת החלטות אשר לוכדת טוב יותר את כל מגוון התגמולים הפוטנציאליים הקשורים לבחירה. הם שילבו תיאוריה זו באלגוריתם חדש של למידת מכונה שהצליחו לבצע את האלגוריתמים האלטרנטיביים במשחקי וידאו ATARI ומגוון משימות אחרות בהן לכל החלטה יש תוצאות אפשריות מרובות.
"הם בעצם שאלו מה קורה אם במקום רק ללמוד תגמולים ממוצעים לפעולות מסוימות, האלגוריתם לומד את כל ההתפלגות, והם מצאו שהיא שיפרה את הביצועים באופן משמעותי", אמר DrueWitsch.
בשנת 2020 טֶבַע נייר, Naoshige Uchida, פרופסור לביולוגיה מולקולרית ותאית באוניברסיטת הרווארד, ועמיתיו מחדש את הנתונים הקיימים כדי לבחון האם תיאוריית למידת מכונה זו חלה על מדעי המוח, בהקשר של קבלת החלטות במוח מכרסמים. הניתוח הראה כי בעכברים, פעילותו של הדופמין הנוירוטרנסמיטר – שממלאת תפקיד בחיפוש תגמול, הנאה ומוטיבציה – תואמת לאותות למידת תגמול שחזה האלגוריתם.
במילים אחרות, אמר Drushowitsch, היצירה העלתה כי האלגוריתם החדש היה טוב יותר בהסבר על פעילות הדופמין.
כיצד מוח עכבר מייצג מגוון תגמולים
במחקר החדש, Drughowitsch התחברה עם הסופר המשותף אוצ'ידה כדי לקחת את המחקר צעד אחד קדימה. יחד הם עיצבו ניסויים בעכבר כדי לראות כיצד תהליך זה מתגלה באזור מוח שנקרא Striatum הגחון, המאחסן מידע על תגמולים אפשריים הקשורים להחלטה.
"פעילות דופמין מספקת רק את אות הלמידה לתגמולים צפויים, אך רצינו למצוא ייצוגים של התגמולים המלומדים הללו ישירות במוח", אמר DrueWitsch.
החוקרים אימנו עכברים לקשר ריחות שונים לתגמולים בעוצמה משתנה – בעיקרו של דבר, מלמד עכברים את מגוון התוצאות האפשריות של בחירה. לאחר מכן הם הציגו לעכברים ריחות, וצפו בהתנהגות ללקק (עכברים ללקק יותר בציפייה לתגמולים טובים יותר) תוך הקלטת פעילות עצבית בסטריאטום הגחון.
הצוות זיהה שתי קבוצות נוירונים מובחנים במוח: אחת המסייעת לעכבר ללמוד על תוצאות טובות מהצפוי ואחרת קשורה לתוצאות גרועות מהצפוי.
"אתה יכול לחשוב על זה כמי שיש לך אופטימיסט ופסימי במוח שלך, שניהם נותנים לך עצות מה לעשות הלאה", הסביר Drughowitsch.
כאשר החוקרים השתיקו את הנוירונים "האופטימיים", העכבר הציג התנהגות מה שמצביע על כך שהוא צפה תגמול פחות מושך. לעומת זאת, כאשר החוקרים השתיקו את הנוירונים "הפסימיים", העכבר התנהג כאילו הוא ציפה לפינוק ערך גבוה יותר.
"שתי הקבוצות הללו של תאי מוח פועלות יחד כדי ליצור ייצוג של התפלגות מלאה של תגמולים פוטנציאליים להחלטה", אמר DrueWitsch.
החוקרים רואים כיוונים עתידיים רבים לעבודתם, כולל כיצד המוח מקבל החלטות כאשר קיימת אי וודאות יותר לגבי מה שכל אפשרות ראשונית מייצגת וכיצד הממצאים שלהם חלים על הנמקה כללית יותר על העולם.
Drughowitsch ציין כי יש צורך במחקר נוסף כדי לאשר את התוצאות בבני אדם ולהתאים את הממצאים למורכבות קבלת ההחלטות האנושיות. עם זאת, בהתבסס על ההקבלות בין המוח של עכבר למוח אנושי, הוא מאמין שהעבודה עשויה כבר לשפוך מעט אור על האופן בו בני האדם מעריכים את הסיכון בהחלטות ומדוע אנשים עם מצבים מסוימים כמו דיכאון או התמכרות עשויים להיאבק בהערכות כאלה.
