انویدیا با Lyra 2.0 یک عکس را به یک دنیای سه بعدی تبدیل می کند

انویدیا از Lyra 2.0 رونمایی کرده است، یک هوش مصنوعی منبع باز که می تواند محیطی سه بعدی و قابل کاوش را تنها با دریافت عکس ایجاد کند.

به گزارش سرویس هوش مصنوعی تکناک، این فناوری با ترکیب تولید ویدئو و بازسازی سه بعدی، امکان حرکت آزادانه دوربین در محیط مجازی را فراهم می کند و در آینده می تواند برای توسعه بازی های ویدئویی، واقعیت مجازی و شبیه سازی ربات مورد استفاده قرار گیرد.

آزمایشگاه هوش فضایی انویدیا (SIL) این فناوری را توسعه داده است. Lyra 2.0 بر خلاف ابزارهای معمولی تبدیل تصویر به ویدیو، فقط یک توالی ویدیوی از پیش تعیین شده تولید نمی کند. کاربران می توانند با حرکت در محیط، حرکت دوربین را کنترل کرده و نماهای جدیدی از فضای مجازی را مشاهده کنند. این مدل همچنین هنگام حرکت دوربین، بخش های جدیدی از محیط را تولید می کند و سعی می کند انسجام ساختار خود را حفظ کند.

انویدیا در آوریل 2026 تحقیقاتی را روی Lyra 2.0 منتشر کرد و اکنون در حال نشان دادن قابلیت های بیشتری از فناوری قبل از SIGGRAPH Asia 2026 است.

مقابله با فراموشی مکانی و انحراف زمانی

یکی از مهم ترین ویژگی های Lyra 2.0 تلاش برای حل دو مشکل رایج در سیستم های تولید محتوای هوش مصنوعی است. این مشکلات به عنوان فراموشی مکانی و رانش زمانی شناخته می شوند.

فراموشی فضایی زمانی رخ می‌دهد که مدل هوش مصنوعی مکان‌های مکان‌هایی را که قبلاً ایجاد کرده است، به درستی به خاطر نمی‌آورد. در نتیجه در صورت بازگشت کاربر به بخشی از محیط مجازی ممکن است با ساختارها و جزئیات متفاوتی از نمای قبلی مواجه شود.

انحراف زمانی همچنین به تجمع تدریجی خطاهای بصری و هندسی در طول تولید طولانی مدت اشاره دارد. این مشکل می تواند به مرور زمان باعث تغییر شکل محیط و از بین رفتن ارتباط بین قسمت های مختلف آن شود.

مقایسه بصری کیفیت خروجی رندر شهری با دو فناوری 3DGS (ثبت گاوسیان سه بعدی) و ویدئوی تولید شده توسط هوش مصنوعی که خیابان قدیمی و ساختمان های اطراف را نشان می دهد.

نمایی مقایسه ای از ابزار Lyra 2.0 که تصویر واقعی یک خانه و ورودی آن را با استفاده از مدل سه بعدی Gaussian Splats و مش به محیط شبیه سازی شده در نرم افزار Isaac Sim و یک ربات چهار پا تبدیل می کند.

محققان انویدیا یک سیستم حافظه فضایی برای کاهش این خطاها طراحی کرده اند. این سیستم با استفاده از اطلاعات هندسی سه بعدی، فریم های قبلی و مرتبط را بازیابی می کند تا مدل بتواند موقعیت عناصر محیط را بهتر تشخیص دهد.

Lyra 2.0 نیز با خروجی های ناقص خودش تمرین می کند. این روش به مدل کمک می کند تا به جای افزایش بیشتر آنها در فرآیند تولید، خطاهای بصری و هندسی انباشته شده را شناسایی و تصحیح کند.

تبدیل خروجی هوش مصنوعی به محیط سه بعدی

Lyra 2.0 ویدیوهای تولید شده را به نمایش های سه بعدی بر اساس Gaussian Splats تبدیل می کند. این سازه ها امکان بازسازی و نمایش محیط را از زوایای مختلف فراهم می کند. خروجی های این فناوری را می توان به مش های سه بعدی چند ضلعی نیز تبدیل کرد.

این ویژگی بسیار مهم است، زیرا محیط تولید شده دیگر تنها یک ویدیوی قابل مشاهده نیست و در نرم افزارهای سه بعدی و شبیه سازی نیز قابل استفاده است. به عنوان مثال، کاربران می توانند محیط های ایجاد شده با Lyra 2.0 را به نرم افزار NVIDIA Isaac Sim منتقل کنند.

انویدیا با نشان دادن این قابلیت، کاربرد احتمالی فناوری خود را در آموزش ربات ها و شبیه سازی شرایط واقعی نشان داده است. ربات ها می توانند در محیط های مجازی ساخته شده با هوش مصنوعی آموزش ببینند و موقعیت ها و شرایط مختلفی را قبل از فعالیت در دنیای واقعی تجربه کنند.

نمودار معماری خط لوله Lyra 2.0 شامل نمای کلی خط لوله، فریم های ویدیوی ورودی و مدل ویدیویی مجهز به حافظه فضایی و بلوک های DiT.

کاهش 13 برابری زمان تولید ویدئو

انویدیا علاوه بر بهبود کیفیت و سازگاری محیط های تولید شده، روی افزایش سرعت پردازش نیز کار کرده است. این شرکت یک مدل فشرده ایجاد کرده است که تعداد مراحل حذف نویز را از 35 به تنها 4 کاهش می دهد.

این تغییر زمان تولید ویدیو را تقریباً 13 برابر کاهش می دهد. طبق مقاله تحقیقاتی انویدیا، رندر کردن یک قطعه 80 فریمی با استفاده از پردازنده گرافیکی NVIDIA GB200 حدود 15 ثانیه طول می کشد. همین فرآیند با مدل کامل تقریباً 194 ثانیه طول می کشد.

با این حال، این اعداد به معنای تولید بلادرنگ یک دنیای سه بعدی کامل نیست. تولید و پردازش محیط های مجازی همچنان به قدرت محاسباتی زیادی نیاز دارد و عملکرد مدل فشرده را نباید با تولید بی وقفه و آنی دنیای مجازی اشتباه گرفت.

Lyra 2.0 همچنان در تولید محیط های پویا محدود است. این فناوری بیشتر برای صحنه های نسبتا ثابت مناسب است و ایجاد حرکات پیچیده و جلوگیری از ناهماهنگی های بصری همچنان به عنوان چالش محسوب می شود.

تاثیر احتمالی بر صنعت بازی

امکان تبدیل عکس به یک محیط سه بعدی قابل کاوش می تواند روند طراحی محیط های بازی را در آینده تغییر دهد. پیش از این، گوگل همچنین از Project Genie، یک سیستم آزمایشی برای تولید جهان های مجازی قابل کاوش، رونمایی کرد.

بر اساس این گزارش Wccftechرویکرد Lyra 2.0 با پروژه گوگل متفاوت است. این فناوری محتوای تولید شده را به هندسه سه بعدی تبدیل کرده و امکان استفاده از آن را در نرم افزارهای رندر و شبیه سازی فراهم می کند. چنین ویژگی می تواند به توسعه دهندگان کمک کند تا محیط های اولیه بازی را سریعتر ایجاد کنند و از تصاویر واقعی برای طراحی مراحل و فضاهای مجازی الهام بگیرند.

البته هنوز نمی توان با ارائه تصویر یک بازی ویدیویی کامل و کاربردی تولید کرد. محیط های بازی به تعامل، فیزیک، شخصیت های متحرک و سیستم های پیچیده دیگری نیاز دارند که Lyra 2.0 به تنهایی ارائه نمی دهد.

Nvidia پیاده سازی این فناوری را در GitHub منتشر کرده است. وزن‌های مدل نیز از طریق پلتفرم Hugging Face در دسترس هستند، اما استفاده از آنها منوط به محدودیت‌های مجوز Nvidia برای برنامه‌های تحقیقاتی است.