חברת השמע המובילה בינה מלאכותית ElevenLabs פרסמה את המוצר האחרון שלה – אפקטים קוליים מחוללים – לאחר חודשים של בדיקות בטא. זה מאפשר לך ליצור כל רעש מהנחיית טקסט פשוטה.
אני משתמש בו בעצמי בחודשיים האחרונים והוא השתפר בהדרגה, יוצר צלילים מדויקים להפליא ואם דוחפים אותו, אפילו מוזיקת רקע.
החברה מתארת את זה כ"הפיכת דמיון לאודיו", ומציעה שהוא יכול להשמיע צלילים לכל דבר, מצלילה למים, מטבעות מצלצלים ודוהרים של סוסים – ולעשות זאת תוך שניות.
בתצוגה המקדימה של הבטא ניתנו למשתמשים ארבע דוגמאות המבוססות על הנחיית הטקסט, כל אחת מהן פרשנות ייחודית על ידי מודל הבינה המלאכותית. במהדורה הסופית שהוגדלה לשש.
כיצד פועלים אפקטי קול בינה מלאכותית?
מנוע אפקטי הקול של ElevenLabs הוא כמו כל מודל AI מחולל, הרבה נתוני אימון וזמן חישוב כדי ללמד אותו איך לפרש ולהמיר טקסט לצליל.
זה מתבסס על אוסף הולך וגדל של דגמים מבוססי סאונד מ-ElevenLabs כולל מנוע הקול המאוד ריאליסטי שלו שיכול לשכפל ולשכפל את הקול של כל אחד בתוך דקות.
מתי סטניסבסקי, מנכ"ל ומייסד שותף ב-ElevenLabs, אמר בהצהרה: "במהלך השנה האחרונה, ביצענו מהפכה ב-AI Voices על ידי הפקת פלטפורמת הטקסט-לדיבור האמיתית והאמיתית הראשונה. עם השקת אפקטי טקסט לצליל, אנו מסמנים עוד צעד גדול קדימה, כזה שיצייד את היוצרים בכלי שמע נוספים שיעזרו להם לייצר תוכן באיכות גבוהה".
הם גם עובדים על מודל מוזיקה חדש, כך שבעתיד תוכל לתת לו סרטון ולאפשר ל-ElevenLabs להוסיף דיאלוג, אפקטים קוליים ופסקול לחוויה סוחפת.
הנתונים עבור מודל אפקטי הקול החדש הגיעו כחלק משותפות חדשה עם Shutterstock. זה איפשר ל-ElevenLabs להשתמש בספריית האודיו של Shutterstock של רצועות מורשות כדי לכוונן ולהכשיר את הדגם מכיוון שלספריית Shutterstock הייתה תיוג מדויק.
בדיקת אפקטי קול של ElevenLabs
כדי לבדוק את יכולות אפקט הקול של ElevenLab, הגעתי ל-7 סרטונים עם צלילים ברורים – ולא כל כך ברורים – ויצרתי את האודיו עבור כל אחד מהם. סרטונים נוצרו באמצעות Pika Labs מהנחיית טקסט פשוטה של פסקה אחת.
נתתי את אותה הנחיה ל-Pika Labs ול-ElevenLabs Sound Effects. זה עבד על כל ההנחיות כדי ליצור צליל מלא יותר מלבד האש. בשביל זה נאלצתי לפשט רק ל"אח שואג" שכן זה המשיך להתבלבל וליצור צלילים מורכבים מדי.
1. אש שואגת
הנחיה: "קמין נעים ושואג בבקתת עץ כפרית, עם להבות רוקדות בעוצמה, בולי עץ מתפצחים וניצוצות מתעופפים במעלה הארובה. הזוהר החם מאיר את פנים העץ, מטיל צללים מרצדים".
2. תנועה כבדה
הנחיה: "רחוב עירוני שוקק מלא עומס תנועה כבד, מכוניות צופרות ואוטובוסים חולפים. גורדי שחקים מתנשאים ברקע, שלטי ניאון מרצדים, ואנשים ממהרים לאורך המדרכות. הסצנה לוכדת את האווירה העירונית הקדחתנית והרועשת".
3. גלי אוקיינוס
הנחיה: "חוף רגוע בשקיעה עם גלי אוקיינוס עדינים שמתנפצים על החוף. השמיים צבועים בגוונים של כתום וורוד, עם שחפים עפים מעליו. קול הגלים יוצר אווירה מרגיעה".
4. סופת רעמים
ההנחיה: "סופת רעמים דרמטית מעל שדה פתוח, עם עננים כהים, הבזקים של ברקים וגשם כבד יורדים. הרעם שואג, והרוח נושבת בעוז, מכופפת את העצים ויוצרת תחושה של כוח גולמי".
5. שוק צפוף
הנחיה: "שוק חוצות שוקק בעיר תוססת, עם דוכנים לממכר תוצרת טרייה, תבלינים ומוצרים בעבודת יד. מוכרים קוראים ללקוחות, אנשים מתמקחים על המחירים, וקולות הפטפוט והצחוק ממלאים את האוויר. השוק הוא צבעוני, תוסס ומלא אנרגיה."
6. אתר בנייה
הנחיה: "אתר בנייה עמוס עם מנופים, דחפורים ופועלים עם כובעים קשיחים. קולות חבטות, קידוחים ומכונות ממלאים את האוויר כשבניין חדש מתעצב. אבק עולה מהאדמה, והסצנה היא כוורת של פעילות."
7. קונצרט רוק
הנחיה: "קונצרט רוק בעיצומו, עם להקה מנגנת על הבמה תחת אורות צבעוניים. הקהל מריע, מוחא כפיים ושר יחד. קולו של הסולן מתנוסס מעל המוזיקה העוצמתית, והגיטרות והתופים החשמליים יוצרים אווירה מרגשת ואנרגטית".
