קלינג, אחד ממחוללי הווידאו הבינה המלאכותית הטובים ביותר הוסיף תכונת סינכרון שפתיים חדשה שהיא אחת המדויקות ביותר שהשתמשתי בהן. זה יכול אפילו לעבוד על פרצופים שאינם מסתכלים ישירות לתוך המצלמה.
סינכרון שפתיים הוא אחד הגביעים הקדושים של מרחב הווידאו בינה מלאכותית, שכן ביצוע נכון והפיכתו למציאותי פותח את הדלת לשחקנים מלאכותיים – לטוב ולרע. זה יאפשר, למשל, ליוצר סרטי AI בודד ליצור הפקה שלמה עם דיאלוג. קלינג מתקרב לזה אבל זה לא דני דה ויטו.
היו מספר עדכונים ל-Kling במהלך השבועות האחרונים, כולל דגם v1.5 חדש, תכונות קהילתיות ומברשת תנועה, כלי המאפשר לך להדגיש את האלמנטים המדויקים בתמונה שיש להנפשה.
נכון לעכשיו, lip-Sync עובד רק על דמויות אנושיות, אם כי אתה יכול לדחוף את זה לעבוד על חייזרים דמויי אדם או בעלי חיים אם אתה נותן להם פנים שטוחות דמויות אנושיות (למרות שאני לא יודע למה תרצה).
איך עובד ליפ סינכרון בקלינג?
כאשר אתה משתמש ב-lip Sync ב-Kling אתה מתחיל ביצירת סרטון. לאחר מכן תלחץ על "התאמת פה" וזה יעקוב אחר תנועת הפה לאורך הסרטון. זה לוקח עד כעשר דקות אבל זה מה שהופך את קלינג ליעיל כל כך.
לאחר מעקב אחר תנועות הפה ובודדו אתה יכול להעלות קצת אודיו. זה יכול להיות מ-ElevenLabs, צליל אמיתי, או אפילו הקלטה של דיבור קול מתקדם ב-ChatGPT.
לאחר מכן קלינג יתאים בצורה מושלמת את הסאונד לסרטון ויחיה את הפה כך שייראה כאילו הדמות מדברת – או שרה – את המילים באודיו. יכול להיות עמק קצת מוזר, אבל זה נובע בחלקו ממידת הדיוק של מעקב אחר תנועת הפה.
סינכרון שפתיים במשך עשר שניות עולה 10 קרדיטים ואי אפשר לתת לו יותר מעשר שניות בכל פעם. בעוד שקלינג מפרסם את זה כ"אין צורך בפוסט-פרודקשן", אם אתה צריך מונולוג ארוך יותר, תרצה לפנות לכלי אחר כמו LibDubAI, HeyGen או Hedra.
מה עוד הושק?
בנוסף לתכונת סינכרון השפתיים, העדכון האחרון הציג תכונות קהילתיות חדשות שבהן שיתוף היצירות שלך יכול לזכות בקרדיטים ליצירת יצירות נוספות. לא בטוח כמה זמן אתה יכול להפעיל את לולאת יצירת האשראי הזו, אבל שווה לנסות.
קלינג השיקה את Motion Brush בעדכון הקודם. זה דומה לתכונת מברשת התנועה ב-Runway Gen-2. אנחנו עדיין מחכים שזה יחזור למסלול. זה בעצם מאפשר לבחור אלמנטים בתמונה ולהגיד לקלינג איך לגרום להם לזוז. הדוגמה הטובה ביותר שראיתי לכך הייתה לסרטון יוגה.
קלינג גם אישרה שהיא משחררת ממשק API, ומצטרף ל-Luma Labs ו-Runway כדי לאפשר למפתחים לשלב וידאו בינה מלאכותית במוצרים שלהם.
בסך הכל קלינג ביצעה את עצמה בתוקף כמובילה בתחום הווידאו הבינה המלאכותית. הוא משלב מגוון תכונות ייצור שימושיות עם מידה של תנועה מציאותית והבנה של פיזיקה שדגמים אחרים מתקשים להתאים.
