במחקר שפורסם לאחרונה בכתב העת דוחות מדעייםחוקרים השוו סיפור מחדש בין בני אדם לבין מודל השפה הגדול (LLM), שנאי מיומן מראש בצ'אט (ChatGPT).
בני אדם יכולים לתקשר אחד עם השני אירועים מהעבר, המשוער, הפיקטיביים או הרחוקים באמצעות נרטיבים וסיפורים קצרים. תקשורת נרטיבית מאפשרת לאנשים נעדרים מהאירוע לחוות איך האירוע ירגיש. שחזור אירועים וסיפורים קשור באופן מהותי לציוויליזציה ולתרבות האנושית.
יש לציין, מאפיין ספציפי בתקשורת של נרטיבים הוא שהקהל חווה לראשונה את הסיפור ואת הזרימה הרגשית לפני כל שחזור או היזכרות לאחר מכן. משמעות הדבר היא שהסדר הזמני שנחווה דומה לחוויה אינדיבידואלית בתהליך צעד. בשחזור או בהיזכרות של הסיפור, אנשים נזכרים בניסוח המקורי ובחוויות האישיות. היבט זה של ריפור אנושי עשוי להיות שונה מ-LLMs כמו ChatGPT.
מחקר: בני אדם יוצרים יותר חידוש מאשר ChatGPT כאשר הם מתבקשים לספר מחדש סיפור. קרדיט תמונה: רוב הירון / Shutterstock
לגבי המחקר
במחקר הנוכחי, החוקרים השוו מספר סיפורים מחדש על ידי בני אדם לבין ChatGPT. משתתפים אנושיים מה-Amazon Mechanical Turk קיבלו הוראה לכתוב סיפור עצוב, עצוב קלות, שמח או שמח קלות, תוך הימנעות ממילות רגש מפורשות (למשל, עצוב או שמח). לאחר מכן, 348 אנשים התבקשו לספר אותם מחדש.
הם קיבלו לפחות 40 שניות לקריאה והונחו לספר מחדש את הסיפור עם ≥ 60 תווים ב-30 שניות לפחות. יש לציין שלא היו הוראות מפורשות להתמקד בהשפעה של הסיפור, ברגשות ובהיבטים אחרים. בנוסף, הצוות השתמש בסיפורי התחלה זהים עבור ChatGPT וביקש ממנו לספר אותם מחדש. ChatGPT קיבל הוראות לספר מחדש בדומה לאלו של המשתתפים האנושיים.
מספרים חוזרים הופקו באמצעות חשבונות משתמש שונים כדי להבטיח שהסיפור המקורי וגרסאות אחרות לא היו נגישות ל-ChatGPT. יתרה מכך, משתתפים נוספים מ-Prolific גויסו כדי לדרג סיפורים מחזרה אחת. הצוות ניתח את ספירת המילים, חלקי הדיבור, גיל הרכישה, השפעה ומושגים.
ממצאים
ההחזרות האנושיות וה-ChatGPT היו קצרות יותר מהסיפור המקורי, אך מרכיבי מפתח נשמרו בשחזורים. עם זאת, שחזור אנושי ו-ChatGPT עקבו אחר דפוסים שונים. יש לציין, שחזורי ChatGPT היו דומים במידה ניכרת, בעוד שמספרים חוזרים אנושיים השתנו על פני איטרציות. כל שחזור אנושי הציע פרשנות חדשה ושונה של הקודם.
בעוד שבני האדם והצ'טבוט יצרו סיפורים מקוצרים באופן משמעותי, ה-ChatGPT החוזר הראשון היה קצר יותר באופן משמעותי מה-Retur האנושי הראשון. ניתוחי רגרסיה הצביעו על כך שבני אדם ו-ChatGPT הפחיתו משמעותית את ספירת המילים במהלך איטרציות. השונות בספירת המילים הייתה גדולה משמעותית עבור בני אדם בהשוואה ל-ChatGPT. הפחתת ספירת המילים הייתה רדודה יותר באופן משמעותי לאורך מספרים חוזרים עבור ChatGPT.
לגבי חלקי הדיבור, בעוד ששינויים קלים ניכרו במהלך איטרציות, ההבדלים בין בני אדם ל-ChatGPT היו ברורים. באופן ספציפי, בני אדם השתמשו ביותר פעלים, כינויים ותוארים מאשר ChatGPT ופי שניים שלילות מאשר הצ'אטבוט. לעומת זאת, ChatGPT השתמש ביותר שמות תואר ושמות עצם מאשר בני אדם. השימוש הגבוה יחסית של בני אדם בתארים ובפעלים הצביע על כך שאנשים התמקדו ברגשות ובפעולות.
לעומת זאת, השימוש המוגבר של הצ'טבוט בשמות תואר ושמות עצם הצביע על התמקדותו באובייקטים ויישויות. לשחזורים אנושיים היה שיעור גבוה יותר של שלילות מאשר לשחזור של ChatGPT למרות שלילות שדרשו יותר מאמץ קוגניטיבי. ChatGPT השתמש בפחות synsets מבני אדם ב-Retelling הראשון. היה לו צפיפות synset גבוהה יותר מאשר לבני אדם, ול-synset היה סיכוי גבוה יותר להימשך לאורך מספרים חוזרים ב-ChatGPT. לעומת זאת, בני אדם יצרו יותר Synsets חדשניים מאשר הצ'אטבוט.
מסקנות
בני אדם ו-ChatGPT הציגו מאפיינים ברורים בסיפור מחדש. חידושים אנושיים היו יצירתיים יותר ופחות נשמרו לאורך איטרציות מאשר ChatGPT. בעוד שהצ'אט בוט הפיק גרסה מקוצרת ותמציתית של הסיפור המקורי, הוא ערך מעט שינויים במהלך האיטרציות הבאות, תוך שמירה על הליבה של הסיפור הקודם.
יתרה מכך, ChatGPT השתמש בפחות שלילות מבני אדם. ההבדלים בהעדפה לחלקי דיבור הצביעו על כך שטקסטים נרטיביים ובלתי נרטיביים עשויים להיות שונים עבור בני אדם אך לא ChatGPT. יש לציין ש-ChatGPT הפגין יציבות רגשית יוצאת דופן, תוך שימת דגש על מצב הליבה, ולאחר השחזור הראשון, הוא החליף בעיקר מילים נרדפות באיטרציות הבאות.
בינתיים, בני אדם צברו שינויים על פני מספרים חוזרים עוקבים, וסיפורים בשחזורים אנושיים השתנו בין איטרציות עם השמטות, המצאות ועיבודים. אף על פי כן, הגרעין הרגשי של הסיפורים נשמר גם על ידי בני אדם. בסך הכל, הממצאים חושפים שסיפור חוזר אנושי כרוך ביצירתיות, המעוגנת ברגשות, מעבר לניסוח ההסתברותי המוגדר כברירת מחדל של ChatGPT.
