OpenAI יצרה מודל חדש בשם CriticGPT אשר תוכנן לזהות שגיאות בקוד התכנות המיוצר על ידי GPT-4.
בפוסט בבלוג, OpenAI הודיעה שהיא הכשירה את המודל החדש של תופסת באגים ב-GPT-4 וגילתה שכאשר אנשים משתמשים ב-CriticGPT כדי לסקור את הקוד ש-ChatGPT עצמה כתבה, הם היו מעלים על אלה ללא עזרה בינה מלאכותית ב-60% מהמקרים.
אמנם אתה תמיד צריך לבדוק שוב כל דבר שנעשה על ידי AI, אבל זה צעד לקראת איכות פלט משופרת. OpenAI אומר שמשתמשים יכולים כעת להיות בטוחים יותר בקוד המיוצר על ידי הצ'אטבוט.
עם זאת, OpenAI הוסיפה את כתב הוויתור כי "ההצעות של CriticGPT אינן תמיד נכונות".
יותר ויותר קשה למצוא טעויות של AI סופר חכם
אימנו מודל, CriticGPT, לתפוס באגים בקוד של GPT-4. אנחנו מתחילים לשלב מודלים כאלה בצינור היישור שלנו ל-RLHF כדי לעזור לבני אדם לפקח על AI במשימות קשות: https://t.co/5oQYfrpVBu27 ביוני 2024
ישנן לפחות שתי דרכים עיקריות שבהן המודל החדש הזה מבית OpenAI הוא חדשות טובות עבור משתמשי ChatGPT. הדרך הברורה יותר היא שמכיוון שאנו יודעים שהפלטים שצ'אטבוטים של בינה מלאכותית מייצרים עדיין צריכות להיות מפוקחות על ידי זוג עיניים אנושיות, ניתן להקל מעט על הנטל של משימת הפיקוח הזו על ידי הסיוע הנוסף לבינה מלאכותית שהוכשרה במיוחד לזהות טעויות.
שנית, OpenAI אמרה שהיא תתחיל לשלב מודלים דומים ל-CriticGPT בצינור היישור שלה "למידת חיזוק ממשוב אנושי" (RLHF) כדי לעזור לבני אדם לפקח על AI במשימות קשות.
OpenAI אמרה שחלק מרכזי בתהליך הזה כרוך באנשים שהיא מכנה מאמני בינה מלאכותית לדרג תגובות ChatGPT שונות זו מול זו. תהליך זה עובד יחסית בסדר לעת עתה, אך ככל ש-ChatGPT הופך מדויק יותר והטעויות שלו עדינות יותר, המשימה של מאמני בינה מלאכותית לזהות אי דיוקים עשויה להיות קשה יותר ויותר.
"זוהי מגבלה בסיסית של RLHF, והיא עשויה להקשות יותר ויותר על יישור מודלים מכיוון שהם הופכים בהדרגה לבעלי ידע רב יותר מכל אדם שיכול לספק משוב", אמר OpenAI.
בשנה שעברה, OpenAI כבר הסביר שדורות עתידיים של מערכות AI עלולים להפוך למורכבים מכדי שבני אדם יבינו אותם במלואם. אם מודל יוצר מיליון שורות של קוד מורכב, האם היית סומך על אדם שיוכל לקבוע באופן אמין אם הקוד בטוח להפעלה או לא?
ההכשרה של CriticGPT כללה יציקת תשומות שהכילו טעויות שאותן היא נאלצה להעביר ביקורת. מאמני בינה מלאכותית הכניסו ידנית טעויות לקוד שנכתב על ידי ChatGPT וכתבו משוב לדוגמה כאילו תפסו את הטעות בעצמם כדי לעזור לאמן את המודל. לאחר מכן נעשו ניסויים כדי לבדוק אם CriticGPT יכול לתפוס גם באגים שהוכנסו ידנית וגם כאלה ש-ChatGPT הכניס במקרה בעצמו.
מאמני בינה מלאכותית בסופו של דבר אהבו את המשוב של CriticGTPs על המשוב שניתן על ידי ChatGPT ב-63% מהמקרים שבהם הבאגים התרחשו באופן טבעי, בין השאר בגלל שהדגם החדש היה פחות בררן ולא העלה תלונות קטנות שלא היו מועילות מבחינה מעשית. . זה גם הזיה בעיות בתדירות נמוכה יותר.
