جوجل تكشف عن أداة Lumiere Multimodal AI لإنشاء مقاطع فيديو مدتها 5 ثوانٍ

كشفت شركة جوجل النقاب عن أحدث نماذجها للذكاء الاصطناعي، Lumiere، الأسبوع الماضي، نموذج الذكاء الاصطناعي الجديد عبارة عن أداة لإنشاء فيديو متعدد الوسائط يمكنها إنشاء مقاطع فيديو مدتها 5 ثوانٍ، وهو يدعم كل من إنشاء النص إلى الفيديو والصورة إلى الفيديو وينضم إلى نماذج الذكاء الاصطناعي الحالية مثل Runway Gen-2 وPika 1.0. 

وفقًا لشركة Google، يستخدم Lumiere بنية Space-Time U-Net (STUNet) التي تبتكر كيفية حدوث الحركة في فيديو الذكاء الاصطناعي، مما يجعلها تبدو واقعية، والمنصة ليست مفتوحة للجمهور حتى الآن.

أوضح فريق البحث الذي يقف خلف Lumiere أن الابتكار الرئيسي في الحركة يأتي من إنشاء الفيديو في عملية واحدة بدلاً من تجميع الإطارات الثابتة معًا، ونتيجة لذلك، يتم إنشاء الجوانب المكانية (الأشياء الموجودة في الفيديو) والجوانب الزمنية (كيفية تحرك الأشياء في الفيديو) في وقت واحد، بالنسبة للشخص العادي، يؤدي هذا إلى إدراك الحركات كما تحدث في الطبيعة، ولتحقيق ذلك، يقوم Lumiere بإنشاء عدد أكبر من 80 إطارًا بدلاً من 25 إطارًا في Stable Diffusion.

على الرغم من أنه لا يمكن اختبار Google Lumiere في الوقت الحالي، إلا أن موقع الويب نشط ويمكن للمتحمسين التحقق من مقاطع الفيديو المختلفة التي تم إنشاؤها باستخدام نموذج الذكاء الاصطناعي بالإضافة إلى المطالبة النصية وإدخال الصور المستخدمة لإنشاء المخرجات، ويمكنه أيضًا إنشاء مقاطع فيديو بأنماط مختلفة، ورسومات سينمائية تتيح للمستخدمين تحريك جزء معين من الفيديو، والرسم حيث يتم استخدام فيديو أو صورة مقنعة ويكملها الذكاء الاصطناعي بناءً على المطالبة.

تتنافس أحدث أدوات إنشاء الفيديو المستندة إلى الذكاء الاصطناعي من Google مع نماذج الذكاء الاصطناعي الحالية مثل Runway Gen-2، الذي تم إطلاقه في مارس 2023، وPika Lab’s Pika 1.0، وكلاهما في متناول الجمهور، بينما يستطيع Pika إنشاء مقاطع فيديو مدتها 3 ثوانٍ (والتي يمكن زيادتها لمدة 4 ثوانٍ أخرى).