Meta אמורה לשחרר את מודל שפת הבינה המלאכותית החזק ביותר שלה עד כה, Llama 3 400B, עד סוף יולי 2024 ותמשיך להשאיר אותו בקוד פתוח.
לראשונה דווח על ידי The Information, ההשקה המצופה זו מגיעה חודשים ספורים לאחר ש-Meta חשפה באפריל את משפחת דגמי הבינה המלאכותית של Lama 3, שכבר עלתה על מתחרים כמו Gemma של גוגל וקלוד סונט של Anthropic בגדלים הראשוניים של פרמטרים 8B ו-70B.
דגם ה-Llama 3 400B הוא מחליף משחק, מתגאה ביותר מ-400 מיליארד פרמטרים ומשיג שוויון קרוב ל-GPT-4 של OpenAI במדד MMLU למרות השימוש בפחות ממחצית הפרמטרים.
ההישג המרשים הזה מצביע על כך שמטה עשתה התקדמות משמעותית בארכיטקטורת המודלים וביעילות האימון, ועשויה להתחרות בביצועים של GPT-4 וקלוד אופוס – עבור עלויות חישוב וצריכת אנרגיה נמוכים בהרבה.
אז איך השחרור של דגם ה-LLM האחרון מבית Meta משפיע עליך? בוא נדבר.
מה העדכון האחרון ב-Llama 3 400b?
Meta רומזת על שחרורו של דגם ה-400B מאז אפריל, ומבטיחה יכולות חדשות כגון רב-מודאליות, שיחה רב-לשונית, חלונות הקשר ארוכים יותר וביצועים כלליים חזקים יותר. אף על פי שלא הוכרז תאריך שחרור רשמי, התצפיות האחרונות של אופציית Llama 3-405B עבור משתמשי WhatsApp Beta באנדרואיד 2.24.14.7 עוררו ספקולציות לגבי השקה קרובה.
ה-Information מדווח כי Meta תשחרר את דגם ה-Lama הגדול ביותר שלה עד כה, עם משקלים, ב-23 ביולי. המאמר אמנם לא חושף את מקורו מעבר לאמירה שהוא עובד בחברה, אך האישור של Meta יצר באזז משמעותי בקהילת הבינה המלאכותית, שכן חוקרים ומפתחים מחכים בקוצר רוח להזדמנות למנף את הכלי החזק הזה עבור הפרויקטים שלהם.
היישומים של Llama 3 400B הם עצומים, החל מצ'אטבוטים מתקדמים ועוזרים וירטואליים ליצירת תוכן, תרגום שפות ומעבר לכך. עם הזמינות הפתוחה והביצועים המרשימים שלו, מודל זה יכול לעשות דמוקרטיזציה של גישה ל-AI בשפה מתקדמת על ידי פתיחתו לקהל רחב יותר בעלות נמוכה בהרבה.
מתחרה GPT-4o בקוד פתוח?
Meta מתכננת לא לפתוח את המשקולות עבור דגם ה-400B שלה. התקווה היא שבשקט לא נשים לב או נותנים לו להחליק. אל תיתן לזה להחליק.22 במאי 2024
דגם ה-Llama 3 400B מרגש במיוחד מכיוון שהוא מתקרב לשוויון ביצועים עם מודל GPT-4o (Omni) של OpenAI, למרות השימוש בפחות ממחצית הפרמטרים. אבל מלבד היתרונות הפוטנציאליים לעלות וליעילות אנרגטית, יש יתרון משמעותי נוסף.
אחד ההיבטים המשכנעים ביותר של Llama 3 הוא הרישיון הפתוח שלו למחקר ולשימוש מסחרי. אם מודל ה-400B ישוחרר תחת אותו רישיון פתוח, זה יהפוך את הגישה ליכולות השפה המתקדמות ביותר לדמוקרטיה, ויאפשר לחוקרים ולמפתחים למנף את הכלי החזק הזה עבור הפרויקטים שלהם מבלי להסתמך על ממשקי API קנייניים יקרים.
עם זאת, קיימת אי ודאות מסוימת סביב שחרורו של דגם ה-Llama 3 400B. ציוץ אחרון של מדליף בינה מלאכותית בולט, "ג'ימי תפוחים", מצביע על כך ש-Meta עשויה לא להשתמש בקוד פתוח למשקולות עבור דגם ה-400B. אמנם יש לקחת את הטענה הזו במעט מלח, מכיוון שהיא סותרת הצהרות קודמות של מנכ"ל Meta, מארק צוקרברג, אך היא מעוררת שאלות לגבי הנגישות העתידית של הדגם.
