צ'טבוט הבינה המלאכותית קלוד 3 הוא כרגע הצ'טבוט הדומה ביותר לבני אדם, אבל השילוב הזה של ידע, עושר והתחשבות לא היה מקרי. במקום זאת, זו תוצאה של תהליך כוונון חדש שנפרס על ידי יוצר Anthropic: אימון דמויות.
בעקבות OpenAI שמסביר כיצד ChatGPT חושב, אנו מקבלים כעת הבנה טובה יותר של פעולתם הפנימית של צ'אטבוטים מובילים בינה מלאכותית לאחר ש-Anthropic חשפה לאחרונה כיצד היא ניגשת לעצב את דמותו של קלוד תוך שימוש בשילוב של פילוסופיה ועבודה טכנית.
בפוסט בבלוג אמר אנתרופיק שקלוד 3 היה הדגם הראשון שאליו הוסיפו אימון דמויות לתהליך הכוונון העדין. המטרה הייתה לגרום לקלוד להיות בעל תכונות ניואנסיות ועשירות יותר כמו סקרנות, פתיחות ראש והתחשבות.
זה קרה במהלך שלב היישור שבו ערכים ומטרות אנושיות מוטמעים במודלים של שפה גדולה (LLMs) שנותנים להם ניצוץ קטן של חיים.
שמירה על ראש פתוח
בדיוק פרסמנו פוסט על החשיבה שנכנסה לדמותו של קלוד 3. אני חושב שאימון הדמויות כלל שילוב עשיר בצורה יוצאת דופן של פילוסופיה ועבודה טכנית, ואני מאוד מתעניין במחשבותיהם של אנשים על זה. https://t.co/oJTB1zbbkh8 ביוני 2024
אנתרופיק אמר שדמותו של מודל בינה מלאכותית קובעת כיצד הוא מגיב למצבים חדשים וקשים וכיצד הוא מגיב לכל ההשקפות והערכים השונים שיש לנו בני האדם.
במקום לאמן את קלוד לאמץ את דעותיו של מי שהוא משוחח איתו, לדבוק בחוזקה להשקפה אחת על העולם, או להעמיד פנים שאין לו דעות או הטיות, הם אימנו אותו להיות כנה לגבי כל דעות שהוא נוטה אליה לאחר הכשרה.
הם ניסו להטמיע תכונות רחבות המאפשרות לצ'אטבוט לראות דברים מנקודות מבט שונות מבלי להירתע מחוסר הסכמה עם דעות שהוא מוצא לא אתיות, קיצוניות או שגויות עובדתיות.
למרות שצינור ההכשרה הזה משתמש רק בנתונים סינתטיים שנוצרו על ידי קלוד עצמו, בנייה והתאמת התכונות היא תהליך מעשי יחסית, המסתמך על חוקרים אנושיים שבודקים היטב כיצד כל תכונה משנה את התנהגות המודל.
כדי לעשות זאת, אנתרופיק אמרה שהיא הכינה רשימה של תכונות אופי שהיא רצתה לעודד אותן הם אימנו לקלוד. הצ'אטבוט התבקש ליצור הודעות רלוונטיות לתכונה מסוימת, כמו שאלות על ערכים, ולאחר מכן הוצגו לו תכונות האופי. לאחר מכן, קלוד הפיק תגובות שונות לכל הודעה בהתאם לאופי שלה, ולאחר מכן דירג את התגובות שלו לכל הודעה לפי מידת התואמותן לאופי שלה.
"למרות שצינור ההכשרה הזה משתמש רק בנתונים סינתטיים שנוצרו על ידי קלוד עצמו, בנייה והתאמת התכונות הוא תהליך מעשי יחסית, המסתמך על חוקרים אנושיים שבודקים היטב כיצד כל תכונה משנה את התנהגות המודל", אמר אנתרופיק.
דוגמה נוספת לתכונה שקיבל קלוד הייתה 'להיות צדקה'. במהלך שיחה על דמותו של קלוד, חוקרת יישור עדין ב-Anthropic Amanda Askell השתמשה בדוגמה של אדם ששואל את קלוד מאיפה הם יכולים לקנות סטרואידים.
"יש לזה פרשנות צדקה ופרשנות לא צדקה של זה", אמר אסקאל, והוסיף שהאחרון יהיה משהו כמו "עזור לי לקנות סטרואידים אנבוליים לא חוקיים באינטרנט". פרשנות צדקה, לעומת זאת, תראה את הצ'טבוט בהנחה שהאדם רוצה לקנות קרם אקזמה ללא מרשם, למשל.
מה הלאה?
אנתרופיק אמרה שהגישה שלה לכל זה צפויה להתפתח עם הזמן. זה הדגיש שעדיין ישנן שאלות מורכבות שיש לקחת בחשבון, כגון האם מודלים של AI צריכים להיות בעלי תווים קוהרנטיים או שהם צריכים להיות ניתנים להתאמה אישית יותר.
אנתרופיק אמר גם כי בעוד שאנשים רבים דיווחו שמצאו את קלוד 3 מרתק יותר לדבר איתו, "רצון מוגזם להיות מעורב נראה כמו תכונת אופי לא רצויה שיש לדוגמנית".
