יצירת סרטוני AI בזמן אמת בעוד שנה, אומר מייסד Luma Labs – הנה המשמעות של זה

מרוץ החימוש הגנרטיבי של AI נמצא בעיצומו, ו- Luma Labs נשאר אחד השמות הגדולים ביותר בסביבה הודות לדגם הווידאו של Dream Machine שלה.

התרשמנו יחסית מהתוצאות עד כה, אבל ג'יאמינג סונג, המדען הראשי ב- LumaLabs, חזה לאן זה יכול להגיע הלאה – וזה הולך לשנות את העשייה הקולנועית לנצח.

בשיחה עם Anjney Midha בראיון ששותף ל-X, סונג מסביר שיצירת וידאו בזמן אמת קרובה מתמיד, ושמכונת החלומות של Luma Labs תוכל לשנות פרספקטיבה תוך שמירה על עקביות בין התמונות.

הפרספקטיבה המשתנת הזו היא משהו שלא אפשרי במצב ה"חד-שוט" הנוכחי של יצירת וידאו בינה מלאכותית כיום ותאפשר שליטה רבה יותר על איך יופיעו סרטונים, מה שהופך את הכלים לשימושיים יותר ביצירת סרטים מסורתיים.

האתגרים של יצירת וידאו בינה מלאכותית

כפי שהוסבר על ידי Midha, יצירת וידאו בינה מלאכותית צריכה להראות שהוא "בעצם עושה יותר מאשר לייצר פריימים מגניבים". לחוץ לדוגמא, סונג מציין שדגמים מסורתיים פועלים כמו "אנימטור תמונה".

בדוגמה הראשונה, Songs משתף הנחיה המחייבת את Luma Labs ליצור סרטון של דמות קטנה ומונפשת.

בעוד שראינו את הטכנולוגיה הזו מוסיפה פרספקטיבה ואנימציה נוספים, כאן הסרטון כולל חיתוך ומעבר כאשר המצלמה עוברת לנקודת מבט שונה לחלוטין תוך שמירה על הידע על הנושא וסביבתו.

זה היה אחד המאפיינים המרכזיים של OpenAI Sora שהלהיבו אנשים כשהיא נחשפה לראשונה בעולם בפברואר ומגיעה בחלקה מדורות ארוכים יותר.

הנחיה נוספת של תמונה לסרטון רואה בחורה צעירה בוהה בעין ענקית על הקיר (השיר אומר "זה עלול להיראות קצת מטריד בפריים הראשון). התמונה שניתנה היא העין שמסתכלת על הילדה, אבל Dream Machine מסוגלת ליצור מבט המום על פניה תוך שמירה על שמלתה הכחולה והשיער הקצר עקביים מצילום לצילום.

סונג מציע ש"סיבה ותוצאה" זו מראה שמודל הווידאו של Luma Labs מסתגל לרמה חדשה של הבנה, שבה היא מסוגלת כעת לשקול את הפסיכולוגיה האנושית במצב זה.