במהלך השנים האחרונות, מודלים שיכולים לחזות את המבנה או התפקוד של חלבונים היו בשימוש נרחב למגוון יישומים ביולוגיים, כמו זיהוי יעדי תרופות ועיצוב נוגדנים טיפוליים חדשים.
מודלים אלה, המבוססים על מודלים גדולים בשפה (LLMS), יכולים להגיש תחזיות מדויקות מאוד להתאמתו של חלבון ליישום נתון. עם זאת, אין דרך לקבוע כיצד מודלים אלה הופכים את התחזיות שלהם או אילו תכונות חלבון ממלאות את התפקיד החשוב ביותר באותן החלטות.
במחקר חדש, חוקרי MIT השתמשו בטכניקה חדשה כדי לפתוח את אותה "תיבה שחורה" ומאפשרים להם לקבוע אילו תכונות מודל שפת חלבון לוקח בחשבון בעת ביצוע תחזיות. הבנת מה שקורה בתוך אותה קופסה שחורה יכולה לעזור לחוקרים לבחור מודלים טובים יותר למשימה מסוימת, ולסייע בייעול תהליך זיהוי תרופות חדשות או יעדי חיסון.
לעבודה שלנו יש השלכות רחבות על הסבר משופר במשימות במורד הזרם המסתמכות על ייצוגים אלה. בנוסף, זיהוי תכונות שמודלים של שפת חלבון יש פוטנציאל לחשוף תובנות ביולוגיות חדשות מייצוגים אלה. "
בוני ברגר, לומד סופר בכיר ופרופסור למתמטיקה, המכון לטכנולוגיה של מסצ'וסטס
ברגר הוא גם ראש קבוצת החישוב והביולוגיה במעבדת מדעי המחשב והבינה המלאכותית של MIT.
אונקר גוג'רל, סטודנט לתואר שני ב- MIT, הוא המחבר הראשי של המחקר, המופיע השבוע ב המשך האקדמיה הלאומית למדעים. מיהיר באפנה, סטודנט לתואר שני ב- MIT, ואריק אלם, פרופסור ל- MIT להנדסה ביולוגית, הם גם מחברי העיתון.
פותח את הקופסה השחורה
בשנת 2018 הציגו ברגר והסטודנט לשעבר של ה- MIT, טריסטן Bepler PhD '20 '20 את המודל הראשון לשפת החלבון. המודל שלהם, כמו דגמי חלבון הבאים שהאיצו את התפתחות אלפפולד, כמו ESM2 ו- Omegafold, התבסס על LLMs. דגמים אלה, הכוללים ChatGpt, יכולים לנתח כמויות אדירות של טקסט ולברר אילו מילים ככל הנראה יופיעו יחד.
מודלים של שפת חלבון משתמשים בגישה דומה, אך במקום לנתח מילים הם מנתחים רצפי חומצות אמינו. החוקרים השתמשו במודלים אלה כדי לחזות את המבנה ותפקודם של חלבונים, וליישומים כמו זיהוי חלבונים שעשויים להיקשר לתרופות מסוימות.
במחקר של 2021, ברגר ועמיתיו השתמשו במודל שפת חלבון כדי לחזות אילו חלקים של חלבוני פני השטח הנגיפיים נוטים פחות להשתנות באופן שמאפשר בריחה נגיפית. זה איפשר להם לזהות יעדים אפשריים לחיסונים כנגד שפעת, HIV ו- SARS-COV-2.
עם זאת, בכל המחקרים הללו, אי אפשר היה לדעת כיצד הדגמים מבצעים את תחזיותיהם.
"היינו מוציאים קצת חיזוי בסוף, אבל לא היה לנו שום מושג מה קורה ברכיבים האישיים של הקופסה השחורה הזו", הצהיר ברגר.
במחקר החדש, החוקרים רצו לחפור כיצד מודלים בשפת חלבון הופכים את התחזיות שלהם. ממש כמו LLMS, מודלים של שפת חלבון מקודדים מידע כייצוגים המורכבים מדפוס הפעלה של "צמתים" שונים ברשת עצבית. צמתים אלה מקבילים לרשתות של נוירונים המאחסנים זיכרונות ומידע אחר במוח.
פעולות הפנימיות של LLMs אינן קלות לפרש, אך במהלך השנים האחרונות החוקרים החלו החוקרים להשתמש בסוג של אלגוריתם המכונה מקודד אוטומטי דליל כדי לעזור לשפוך מעט אור על האופן בו דגמים אלה מעניקים את תחזיותיהם. המחקר החדש ממעבדת ברגר הוא הראשון שהשתמש באלגוריתם זה במודלים של שפת חלבון.
מקודדים אוטומטיים דלילים פועלים על ידי התאמת אופן מיוצג חלבון בתוך רשת עצבית. בדרך כלל, חלבון נתון יוצג על ידי דפוס הפעלה של מספר מוגבל של נוירונים, למשל, 480. מקודן אוטומטי דליל ירחיב את הייצוג הזה למספר גדול בהרבה של צמתים, נניח 20,000.
כאשר מידע על חלבון מקודד על ידי 480 נוירונים בלבד, כל צומת נדלק לתכונות מרובות, מה שמקשה מאוד לדעת אילו תכונות כל צומת מקודד. עם זאת, כאשר הרשת העצבית מורחבת ל 20,000 צמתים, המרחב הנוסף הזה יחד עם אילוץ דלילות נותן לחדר המידע "להתפשט". כעת, תכונה של החלבון שקיודד בעבר על ידי צמתים מרובים יכולה לתפוס צומת יחיד.
"בייצוג דליל, הנוירונים המוארים זאת עושים זאת בצורה משמעותית יותר", אומר גוג'ר. "לפני שנוצרת הייצוגים הדלילים, הרשתות אורזות מידע כל כך חזק זה לזה עד שקשה לפרש את הנוירונים."
מודלים ניתנים לפרשנות
ברגע שהחוקרים השיגו ייצוגים דלילים של חלבונים רבים, הם השתמשו בעוזר AI בשם קלוד (הקשור לצ'אט האנתרופי הפופולרי באותו שם), כדי לנתח את הייצוגים. במקרה זה, הם ביקשו מקלוד להשוות בין הייצוגים הדלילים עם התכונות הידועות של כל חלבון, כמו תפקוד מולקולרי, משפחת חלבון או מיקום בתוך תא.
על ידי ניתוח אלפי ייצוגים, קלוד יכול לקבוע אילו צמתים תואמים לתכונות חלבון ספציפיות, ואז לתאר אותם באנגלית רגילה. לדוגמה, האלגוריתם עשוי לומר, "נראה כי נוירון זה מגלה חלבונים המעורבים בהובלת טרנסממברנה של יונים או חומצות אמינו, במיוחד אלה שנמצאים בקרום הפלזמה."
תהליך זה הופך את הצמתים ל"ניתנים לפרשנות "בהרבה, כלומר החוקרים יכולים לדעת מה כל צומת מקודד. הם גילו כי התכונות הסבירות ביותר מקודדות על ידי צמתים אלה היו משפחת חלבון ופונקציות מסוימות, כולל מספר תהליכים מטבוליים וביוסינתטיים שונים.
"כשאתה מאמן מקודד אוטומטי דליל, אתה לא מאמן את זה להיות פרשני, אבל מסתבר שעל ידי תמריץ הייצוג להיות דליל באמת, זה בסופו של דבר וכתוצאה מכך פרשנות", אומר גוג'ר.
הבנת אילו תכונות מודל חלבון מסוים הוא קידוד יכולה לעזור לחוקרים לבחור את המודל הנכון למשימה מסוימת, או לצבוט את סוג הקלט שהם נותנים את המודל, כדי לייצר את התוצאות הטובות ביותר. בנוסף, ניתוח התכונות שמודל מקודד יכול יום אחד לעזור לביולוגים ללמוד יותר על החלבונים שהם לומדים.
"בשלב מסוים שהדגמים נעשים הרבה יותר חזקים, אתה יכול ללמוד יותר ביולוגיה ממה שאתה כבר יודע, מפתיחת הדגמים", אומר גוג'רל.
