قامت شركة Apple بإنشاء أداة صور تعمل بالذكاء الاصطناعي تتيح لك إجراء التعديلات من خلال وصفها
أصدر باحثون من شركة Apple نموذجًا جديدًا يتيح للمستخدمين أن يصفوا بلغة واضحة ما يريدون تغييره في الصورة دون لمس برنامج تحرير الصور على الإطلاق.
يمكن لنموذج MGIE، الذي عملت عليه شركة Apple مع جامعة كاليفورنيا، سانتا باربرا، قص الصور وتغيير حجمها وقلبها وإضافة مرشحات إليها، كل ذلك من خلال المطالبات النصية.
يمكن تطبيق MGIE، الذي يرمز إلى تحرير الصور الموجهة بواسطة MLLM، على مهام تحرير الصور البسيطة والأكثر تعقيدًا مثل تعديل كائنات معينة في الصورة لجعلها ذات شكل مختلف أو تصبح أكثر سطوعًا. يمزج النموذج بين استخدامين مختلفين لنماذج اللغة متعددة الوسائط. أولاً، يتعلم كيفية تفسير مطالبات المستخدم. ثم “يتخيل” الشكل الذي سيبدو عليه التعديل (يؤدي طلب سماء أكثر زرقة في الصورة إلى زيادة السطوع في جزء السماء من الصورة، على سبيل المثال).
عند تحرير صورة باستخدام MGIE، يتعين على المستخدمين فقط كتابة ما يريدون تغييره في الصورة. استخدمت الورقة مثال تحرير صورة بيتزا بيبروني. كتابة المطالبة “اجعلها أكثر صحية” تضيف طبقة نباتية. تبدو صورة النمور في الصحراء مظلمة، ولكن بعد الطلب من العارضة “إضافة المزيد من التباين لمحاكاة المزيد من الضوء”، تبدو الصورة أكثر سطوعًا.
“بدلاً من التوجيهات الموجزة ولكن الغامضة، تستمد MGIE نية واضحة واعية بصريًا وتؤدي إلى تحرير الصور بشكل معقول. نحن نجري دراسات مكثفة من مختلف جوانب التحرير ونثبت أن MGIE الخاص بنا يعمل على تحسين الأداء بشكل فعال مع الحفاظ على الكفاءة التنافسية. وقال الباحثون في الورقة البحثية: “نعتقد أيضًا أن الإطار الموجه بـ MLLM يمكن أن يساهم في أبحاث الرؤية واللغة المستقبلية”.
أتاحت شركة Apple تطبيق MGIE للتنزيل من خلال GitHub، ولكنها أصدرت أيضًا عرضًا توضيحيًا على الويب حول Hugging Face Spaces، وفقًا للتقارير. فينشربيت. ولم تذكر الشركة ما هي خططها للنموذج التي هي خارج نطاق البحث.
يمكن لبعض منصات توليد الصور، مثل DALL-E 3 من OpenAI، إجراء مهام بسيطة لتحرير الصور على الصور التي تنشئها من خلال إدخالات النص. لدى منشئ Photoshop Adobe، والذي يلجأ إليه معظم الناس لتحرير الصور، نموذج تحرير خاص به يعتمد على الذكاء الاصطناعي. يعمل نموذج Firefly AI الخاص به على تشغيل التعبئة التوليدية، والتي تضيف خلفيات تم إنشاؤها إلى الصور.