علی بابا از هوش مصنوعی تصویر به ویدیو AtomoVideo رونمایی کرد

علی بابا از AtomoVideo، هوش مصنوعی جدیدی که وظیفه آن تبدیل تصاویر به ویدئو است، رونمایی کرد در مقایسه با مدل ها Gen-2 و پیکا 1.0 نتایج بهتری ارائه می دهد.

به گزارش تکنوک، تیم تحقیقاتی علی بابا هوش مصنوعی تصویر به ویدیو AtomoVideo را معرفی کرد. علاوه بر این، این شرکت مقالات تحقیقاتی و نمونه‌هایی از قابلیت‌های تصویر به ویدئو Runway’s Gen-2 و Pika 1.0 را به اشتراک گذاشت.

به نقل از گیزموچینااگرچه AtomoVideo یک محصول نسل اول است و نمونه های ارائه شده امیدوارکننده به نظر می رسند، اما هنوز تا رسیدن به سطح واقعی فاصله دارند.

مقایسه شگفت‌انگیز این مدل با Runway’s Gen-2 نشان می‌دهد که مدل جدید عملکرد بهتری در کاهش برخی از انتقال‌های عجیب بین فریم‌ها دارد.

به عنوان مثال، در یک نمونه مقایسه ای از یک فضانورد در فضا، پوشش شیشه ای یا کلاه ایمنی نمونه Gen-2 هنگام حرکت او ناپدید می شود. در حالی که AtomoVideo انیمیشن را نسبتا ساده نگه داشت، اما چنین نتایجی را به همراه نداشت. در مثال مقایسه ای دیگر، Gen-2 افرادی را در حال اسکی روی برف که ناپدید شده بود به تصویر کشید. اما Pika 1.0 حرکت عجیبی را در شیب نشان داد که با قوانین فیزیک قابل تعریف نیست.

AtomoVideo دوباره آن را نسبتا ساده نگه داشت. اما او موفق شد از چنین اشتباهاتی جلوگیری کند. با این حال، به احتمال زیاد این نمونه های مقایسه از نمونه های از پیش انتخاب شده به جای نمونه های تصادفی تولید شده هستند.

ویژگی های مهم AtomoVideo علی بابا

از مزایای AtomoVideo می توان به توانایی حفظ دقت بالا در برابر تصویر ورودی و اطمینان از انتقال حرکت صاف و پشتیبانی از پیش بینی فریم های ویدیویی بعدی اشاره کرد. همچنین، این چارچوب با مدل‌های موجود T2I (متن به تصویر) سازگار است و قابلیت کنترل معنایی قابل‌توجهی را ارائه می‌دهد. AtomoVideo به کاربران این امکان را می دهد که محتوای ویدیویی را بر اساس ترجیحات خاص خود سفارشی کنند.

AtomoVideo با استفاده از مدل‌های پیش‌فرض T2I به عنوان پایه و تقویت آن‌ها با مدل‌های فضایی-زمانی 1 بعدی و ماژول‌های توجه، به عملکرد رضایت‌بخشی دست می‌یابد. این لایه‌های اضافی به چارچوب کمک می‌کنند تا جزئیات و سبک‌های پیچیده را ثبت کند و در عین حال ثبات زمانی را در کل خروجی ویدیو تضمین کند.

با ادغام معنایی تصویر پیشرفته از طریق مکانیسم های متقاطع، مدل AtomoVideo توانایی خود را برای تولید ویدیو با کنترل معنایی دقیق افزایش می دهد. علیرغم قابلیت های چشمگیر AtomoVideo، تیم تحقیقاتی هنوز یک پلتفرم آنلاین را برای کاربران فراهم نکرده است تا بتوانند این فناوری را دست اول تجربه کنند. با این وجود، فریم ورک AtomoVideo علی بابا یک پیشرفت قابل توجه در زمینه ترکیب تصویر به ویدئو است.

علی بابا از هوش مصنوعی رونمایی کرد تبدیل تصویر به ویدیو AtomoVideo اولین بار در TechNock ظاهر شد – اخبار دنیای فناوری ظاهر شد.