في تقدم كبير في مجال الذكاء الاصطناعي، أعلنت جوجل's كشفت شركة DeepMind عن تقنية ثورية جديدة AI نموذج V2A (تحويل الفيديو إلى صوت) الذي يُمكّن من توليد مسارات صوتية وحوارات واقعية للفيديوهات. تجمع هذه التقنية المتطورة بين تحليل الفيديو المتقدم و معالجة اللغة الطبيعية لإنشاء تجارب سمعية وبصرية غامرة، وفتح إمكانيات جديدة لمنشئي المحتوى وصانعي الأفلام.
يعتمد نموذج DeepMind V2A على عملية متطورة متعددة المراحل لتوليد صوت يتزامن تمامًا مع المرئيات. أولًا، AI يُحلل الفيديو المُدخل، مُستخرجًا معلومات أساسية حول ما يظهر على الشاشة. يُمكن للمستخدمين بعد ذلك تقديم إرشادات نصية اختيارية لتوجيه AI نحو إنشاء عناصر صوتية محددة، مثل المؤثرات الصوتية، أو الموسيقى، أو الحوار.
بعد ذلك، تستخدم تقنية V2A أسلوبًا قائمًا على الانتشار لتحسين الضوضاء العشوائية بشكل متكرر وتحويلها إلى صوت عالي الجودة يتناغم بسلاسة مع محتوى الفيديو. وتُوجَّه هذه العملية بالمدخلات المرئية وأي توجيهات نصية مُقدَّمة، مما يضمن تطابق الصوت المُنتَج بدقة مع النبرة والأسلوب المطلوبين. وأخيرًا، يُفك تشفير الصوت المُحسَّن ويُدمج مع بيانات الفيديو، مما ينتج عنه تجربة سمعية بصرية آسرة.
يؤكد باحثو DeepMind أن تقنية V2A تتميز عن الموجودة فيديو إلى صوت حلول بفضل قدرته على فهم البكسلات الخام وتوليد الصوت دون الاعتماد فقط على المطالبات النصية. تتيح هذه المرونة AI إنشاء مشاهد صوتية مناسبة بشكل مستقل استنادًا إلى المحتوى المرئي وحده.
لتمكين تقنية V2A من توليد صوت دقيق للغاية وذو صلة بالسياق، قامت DeepMind بتدريب النموذج على مجموعة بيانات ضخمة تتضمن مقاطع فيديو ومقاطع صوتية وتعليقات توضيحية مفصلة. تتضمن هذه التعليقات التوضيحية أوصافًا للأصوات ونصوصًا للحوار المنطوق، مما يوفر AI مع فهم شامل للعلاقة بين المرئيات والصوت.
من خلال التعلم من بيانات التدريب الواسعة هذه، يستطيع نظام V2A ربط أحداث صوتية محددة بمشاهد مرئية مقابلة، مع الاستجابة في الوقت نفسه للمعلومات الواردة في التعليقات التوضيحية أو النصوص المكتوبة . وهذا يمكّن النموذج من توليد صوت متزامن وواقعي يتوافق بشكل كبير مع محتوى الفيديو.
إن إدخال تقنية V2A له آثار بعيدة المدى على مختلف الصناعات الإبداعية. يمكن لصانعي الأفلام ومنشئي المحتوى الآن الاستفادة من هذه الأداة المدعومة بالذكاء الاصطناعي لتعزيز مشاريعهم من خلال مقاطع صوتية وحوارات مقنعة، مما يقلل الوقت والجهد اللازمين للإنتاج الصوتي اليدوي.
علاوة على ذلك، يفتح V2A إمكانيات جديدة لبث الحياة في الأفلام الصامتة واللقطات الأرشيفية والأفلام الوثائقية التاريخية. ومن خلال توليد الصوت المناسب لهذه المواد، يمكن للتكنولوجيا أن تساعد في الحفاظ على تراثنا الثقافي وإثرائه. بالإضافة إلى ذلك، يتمتع V2A بالقدرة على إنشاء أوصاف صوتية للجماهير ضعاف البصر، مما يعزز إمكانية الوصول بشكل أكبر في المشهد الإعلامي.
رغم أن تقنية V2A تُمثل إنجازًا هامًا في مجال توليد الصوت للفيديوهات باستخدام الذكاء الاصطناعي، إلا أن شركة DeepMind تُقر بوجود بعض القيود التي تتطلب المزيد من البحث والتطوير. فجودة الصوت المُولّد تعتمد حاليًا على جودة الفيديو الأصلي، ما يعني أن أي تشوهات أو عيوب في الفيديو قد تؤدي إلى انخفاض ملحوظ في جودة الصوت.
وعلاوة على ذلك، فإن AI لا يزال العمل جاريًا على تحسين مزامنة الشفاه في مقاطع الفيديو التي تتضمن كلامًا. ونظرًا لأن نموذج توليد الفيديو المزدوج قد لا يعتمد على النصوص المكتوبة، فقد يحدث عدم تطابق بين حركات الفم المُولّدة والحوار المنطوق، مما يؤدي إلى مزامنة شفاه غريبة.
ولمواجهة هذه التحديات وضمان التنمية المسؤولة تقنية V2Aيتعاون DeepMind بنشاط مع كبار المبدعين وصانعي الأفلام لجمع وجهات نظر ورؤى متنوعة. ستُثري هذه الملاحظات القيّمة جهود البحث الجارية لتحسين AI النموذج والتخفيف من سوء الاستخدام المحتمل.
مع استمرار تطور تقنية V2A، فإنها تحمل إمكانات هائلة لإحداث ثورة في طريقة إنشاء الصوت ودمجه مع محتوى الفيديو. من خلال أتمتة عملية إنشاء مقاطع صوتية وحوارات متزامنة، يمكن لهذه الأداة المدعومة بالذكاء الاصطناعي تبسيط سير عمل الإنتاج بشكل كبير وفتح إمكانيات إبداعية جديدة.
ومع ذلك، فمن الضروري تحقيق التوازن بين فوائد الصوت الناتج عن الذكاء الاصطناعي والتأثير المحتمل على المجتمع الإبداعي. العقل العميق تؤكد التزامها بتطوير ونشر AI التكنولوجيات بشكل مسؤول، مما يضمن أن يكون لـ V2A تأثير إيجابي على الصناعة مع احترام حقوق وسبل عيش المبدعين.
BONUS: احصل على 200 دولارAI "مجموعة أدوات الإتقان" مجانية عند التسجيل!
