היוצרים של Reflection 70B, גרסה מכווננת של Meta Llama 70B אשר הוכרזה לאחרונה כדגם הבינה המלאכותית הבינה המלאכותית המובילה בעולם בקוד פתוח, זה עתה נפתחו לאחר שהואשמו בהונאה.
בהתבסס על בדיקות עצמאיות המנוהלות על ידי ניתוח מלאכותי, המודל לא מצליח לעמוד בהבטחות של מאט שומר, מנכ"ל OthersideAI ו-HypeWrite, החברה שמאחורי Reflection 70B. שומר, אשר תחילה ייחס את הפערים לבעיה בתהליך ההעלאה של הדוגמנית, הודה מאז כי ייתכן שהקדים את עצמו בטענות שהעלה.
אבל מבקרים בקהילת חוקרי הבינה המלאכותית הרחיקו לכת והאשימו את שומר בהונאה, וקבעו שהדגם הוא רק עטיפה דקה המבוססת על קלוד של אנתרופיק, ולא גרסה מכווננת של מטה לאמה.
אי התאמות מופיעות לאחר הערכה של צד שלישי
הקדמתי את עצמי כשהכרזתי על הפרויקט הזה, ואני מצטער. זו לא הייתה כוונתי. קיבלתי החלטה לשלוח את הגישה החדשה הזו על סמך המידע שהיה לנו כרגע. אני יודע שרבים מכם מתלהבים מהפוטנציאל לכך ועכשיו הם סקפטיים.…10 בספטמבר, 2024
Reflection 70B, שפותח על ידי הסטארט-אפ הניו יורקי HyperWrite AI, הוגדר כ"מודל הקוד הפתוח המוביל בעולם" על ידי מאט שומר, מנכ"ל החברה.
עם זאת, ב-7 בספטמבר, יום לאחר ההכרזה של שומר ב-X, ניתוח מלאכותי דיווח כי הערכתם של Reflection 70B הניבה תוצאות נמוכות משמעותית מהטענות של שומר. שומר ייחס את אלה לשגיאת העלאה שהשפיעה על משקלי הדגם, מה שגרם לאי התאמה בין ה-API הפרטי של שומר לבין המשקלים שהועלו למאגר הדגמים של Hugging Face.
עם זאת, ניתוח נוסף של קהילת הבינה המלאכותית בפלטפורמות כמו Reddit ו-Github העלה שהביצועים של Reflection 70B משקפים קרוב יותר ל-Meta Llama 3 ולא ל-Llama 3.1, כפי שטען שומר. החשדות הועלו עוד כאשר נמצא כי לשומר יש אינטרס לא ידוע ב-Glaive, הפלטפורמה שלטענתו שימשה להפקת נתוני האימון הסינתטיים של הדגם.
היו שהמשיכו והציעו ש-Reflection 70B היה בסך הכל "עטיפה" שנבנתה על גבי מודל הבינה המלאכותית הקניינית של Anthropic, קלוד 3. ב-8 בספטמבר, משתמש X Shin Megami Boson האשים בפומבי את מאט שומר ב"הונאה בקהילת מחקר הבינה המלאכותית".
HypeWrite שוברת שתיקה בעקבות האשמות הונאה
אני רוצה להתייחס לבלבול ולביקורות התקפות שהדבר גרם בקהילה. כרגע אני חוקרת מה קרה שהוביל לכך ואשתף סיכום שקוף בהקדם האפשרי. ישנם שני תחומים שאני רוצה להתייחס אליהם, שאני חוקרת:-… https://t.co/NSjx6oqPRo10 בספטמבר, 2024
לאחר שבהתחלה השתתק עם פרוץ המחלוקת, שומר פרסם תגובה פומבית באמצעות X ב-10 בספטמבר, והכיר בספקנות סביב ביצועי הדוגמנית. הוא טען שצוות עבד כדי להבין מה השתבש והבטיח שקיפות ברגע שיש להם את העובדות.
עם זאת, שומר לא סיפק הסבר ברור לפערים בביצועים. Sahil Chaudhary, מייסד Glaive, הפלטפורמה שומר אמר ששימשה לאימון Reflection 70B, הודה גם היא בחוסר ודאות לגבי יכולות הדגם וכי לא ניתן היה לשחזר את ציוני המדדים הנקובים.
המבקרים נותרו לא מרוצים מתגובתו של שומר עד כה. "ההסברים וההתנצלויות של שומר לא הצליחו לספק הסבר מספק לפערים", דיווחה חברת האנליטיקה GlobalVillageSpace. Yuchen Jin, מייסד שותף של Hyperbolic Labs, הביע אכזבה מחוסר השקיפות וקרא להסברים מעמיקים יותר משומר.
