NSLLM מגשרת בין לימודי תואר שני ומדעי המוח
מודלים של שפה גדולה (LLMs) הפכו לכלים חיוניים במרדף אחר בינה כללית מלאכותית (AGI). עם זאת, ככל שבסיס המשתמשים מתרחב ותדירות השימוש עולה, פריסת המודלים הללו כרוכה בעלויות חישוביות וזיכרון משמעותיות, ומגבילה את הפוטנציאל שלהם לשמש כתשתית יסוד לחברה האנושית. יתרה מכך, ללימודי LLM נוכחיים אין בדרך כלל פרשנות: תהליכי קבלת ההחלטות והאופטימיזציה האטומים שלהם מאתגרים להבטיח מהימנות והוגנות בתחומים בסיכון גבוה כמו בריאות ופיננסים. לעומת זאת, המוח האנושי מבצע משימות מורכבות בעוצמה של פחות מ-20 וואט תוך שהוא מפגין שקיפות יוצאת דופן בתהליכים הקוגניטיביים שלו. הניגוד המוחלט הזה מדגיש את הפער בין LLMs לבין קוגניציה אנושית ומציב אתגר כפול: מצד אחד, שיפור היעילות החישובית של LLMs חיוני כדי לשפר את יעילות האנרגיה ולחסוך במשאבים; מצד שני, שיפור יכולת הפרשנות שלהם חיונית כדי להבין טוב יותר את האינטראקציות והתפקודים של רכיבים במערכות בקנה מידה גדול.
כדי להתגבר על צוואר הבקבוק הבין-תחומי, מחקר זה מציע מסגרת מאוחדת ההופכת LLMs קונבנציונליים ל-NSLLMs על ידי ביצוע ספירת ספייק שלמים והמרת ספייק בינארי, תוך שילוב מנגנון קשב ליניארי מבוסס ספייק. מסגרת זו מגשרת על מדעי המוח ומודלים של שפות גדולות, ומציעה פלטפורמה ליישום כלים למדעי המוח ללימודי תואר שני. על ידי הצגת אימונים שלמים עם הסקה בינארית, התפוקות של LLMs סטנדרטיות מומרות לייצוגי ספייק, מה שמאפשר לכלי מדעי המוח לנתח את עיבוד המידע.
תוכנה בעלת צריכת חשמל נמוכה במיוחד – חומרה בתכנון משותף של MatMul ללא LLM
כדי לאמת את היעילות האנרגטית של הגישה, המחקר מיישם ארכיטקטורת מחשוב מותאמת אישית ללא MatMul עבור מודל בקנה מידה של מיליארד פרמטרים על פלטפורמת FPGA. באופן ספציפי, נעשה שימוש באסטרטגיית קוונטיזציה לפי שכבה ומדדי רגישות היררכית כדי להעריך את ההשפעה של כל שכבה על אובדן קוונטיזציה, מה שמאפשר להגדיר מודל ספייק אופטימלי של זמנים מעורבים המשיג ביצועים תחרותיים תחת קוונטיזציה של סיביות נמוכות. בנוסף, אסטרטגיית ריצוף בעזרת קוונטיזציה מוצגת כדי לעצב מחדש את התפלגות הפוטנציאל של הממברנה ולהסיט את הסתברות מיפוי הקוונטיזציה לכיוון ערכי מספר שלמים נמוכים יותר, מה שמפחית משמעותית את קצב ירי הספייק ושיפור נוסף ביעילות המודל. ב-VCK190 FPGA, תוכננה ליבת חומרה נטולת MatMul המבטלת לחלוטין את פעולות הכפל המטריצה ב-NSLLM, מפחיתה את צריכת החשמל הדינמית ל-13.849 W ומגדילה את התפוקה ל-161.8 אסימונים/שניות. בהשוואה ל-A800 GPU, גישה זו משיגה יעילות אנרגטית גבוהה ב-19.8×, חיסכון בזיכרון של 21.3× ותפוקת הסקה גבוהה ב-2.2×.
יכולת פרשנות משופרת באמצעות אוכלוסיות עצביות מתגברות
על ידי הפיכת ההתנהגות של LLMs לייצוגים דינמיים עצביים – כגון רכבות ספייק – באמצעות מסגרת NSLLM, אנו יכולים לנתח הן את המאפיינים הדינמיים של הנוירונים שלהם (למשל, אקראיות מכומדת על ידי אנטרופיה קולמוגורוב-סיני) והן את מאפייני עיבוד המידע שלהם (למשל, אנטרופיה של שאנון ומידע הדדי). זה מאפשר פרשנות ברורה יותר של התפקידים החישוביים שממלאים NSLLMs. תוצאות ניסוי מראות שהמודל מקודד מידע בצורה יעילה יותר בעת עיבוד טקסט חד משמעי, ומאפשר לו להבחין בין קלט חד משמעי וחד משמעי (לדוגמה, השכבות האמצעיות מציגות מידע הדדי מנורמל גבוה יותר עבור משפטים מעורפלים; שכבת ה-AS מציגה חתימות דינמיות מובהקות המשקפות את תפקידה בעיבוד מידע דליל וחד-משמעי יותר בעיבוד מידע חד-משמעי גבוה יותר וחד-משמעי יותר; יתר על כן, המתאם החיובי בין מידע הדדי לאנטרופיה של שאנון מצביע על כך ששכבות עם קיבולת מידע גבוהה יותר טובות בשימור תכונות קלט מרכזיות). על ידי שילוב דינמיקה עצבית עם מדדים תיאורטיים של מידע, מסגרת זו מספקת פרשנות בהשראה ביולוגית עבור מנגנוני LLM תוך הפחתה משמעותית של דרישות הנתונים.
מחקר מדעי המוח הראה שהמוח האנושי משיג עיבוד מידע חסכוני באנרגיה באמצעות חישוב דליל ומונחה אירועים, מה שמשפר הן את יעילות התקשורת והן את יכולת הפרשנות של המערכת. בהתבסס על עיקרון זה, הצוות פיתח מסגרת מאוחדת בינתחומית המציגה אלטרנטיבה נוירומורפית ללימודי LLM מסורתיים, תוך מתן ביצועים בקנה אחד עם מודלים מיינסטרים בקנה מידה דומה על פני חשיבה עם השכל הישר ומגוון משימות מורכבות יותר של מודלים גדולים – כולל הבנת הנקרא, מענה על שאלות ידע עולמי ומתמטיקה. מסגרת זו לא רק מקדמת את גבול הבינה המלאכותית החסכונית באנרגיה, אלא גם מציעה נקודות מבט חדשות על הפרשנות של מודלים של שפה גדולים ומספקת תובנות חשובות לעיצוב שבבים נוירומורפיים עתידיים.
