مدل‌های جدید Nemotoron 3.5 از Nvidia با نیاز به حافظه کمتر وارد شدند

انویدیا سه مدل هوش مصنوعی Nemotron 3.5 معرفی شده با وزنه های باز; مدل‌هایی با حافظه کمتری که برای اجرای عوامل هوش مصنوعی طراحی شده‌اند.

به گزارش سرویس هوش مصنوعی مجرددر ماه های اخیر، انویدیا تمرکز خود را بر توسعه مدل های وزن باز افزایش داده است. این شرکت با معرفی محصولات جدید نماترون سعی دارد امکان استفاده، تنظیم و استقرار مدل های هوش مصنوعی را در زیرساخت های مختلف فراهم کند. وزن های باز به توسعه دهندگان این امکان را می دهد که پارامترهای آموزش دیده مدل را بگیرند و آن را با نیازهای خود تطبیق دهند.

Nematron 3.5 Super VL; مدل پارامتری 120 میلیاردی برای عوامل هوش مصنوعی

مدل Nemotron 3.5 Super VL با 120 میلیارد پارامتر برای پیاده سازی عوامل تخصصی و دائماً فعال توسعه یافته است. انویدیا ادعا می کند که این مدل در وظایف چند وجهی عوامل هوش مصنوعی از جمله دستورات زیر، استفاده از ابزارها، درک تصاویر و اجرای گردش های کاری چند مرحله ای تجاری بسیار دقیق است. به گفته این شرکت، عملکرد آن با بزرگترین مدل استدلال انویدیا قابل مقایسه است، در حالی که تعداد پارامترها حدود یک پنجم آن مدل است.

انویدیا همچنین از آن به عنوان سریع ترین پردازنده با وزن باز در کلاس خود یاد می کند و می گوید که این پردازنده تقریباً پنج برابر سریعتر از نزدیکترین رقیب است. این ویژگی می تواند اجرای سریع حجم زیادی از وظایف سازمانی را امکان پذیر کند.

قابلیت های بصری مدل به طور خاص برای تشخیص متن در تصاویر، خواندن جداول و نمودارها و استخراج داده های ساختار یافته از اسناد تصویری، صفحات وب و فایل های PDF طراحی شده است. ترکیبی از درک متن و تصویر به عوامل اجازه می دهد تا اطلاعات را مستقیماً از اسناد استخراج کرده و بدون انتقال وظایف بین سیستم های جداگانه تجزیه و تحلیل و نتیجه گیری کنند.

سازمان‌ها می‌توانند این مدل را با داده‌ها، ابزارها و گردش‌های کاری خود سفارشی کنند و سپس آن را در زیرساخت دلخواه خود مستقر کنند. انویدیا اعلام کرده است که این مدل با بیش از 25 تریلیون توکن و حدود چهار میلیون نمونه پس از آموزش آموزش دیده است. وزن مدل، مجموعه داده ها و دستورالعمل های آموزشی نیز به توسعه دهندگان ارائه شده است.

SuperVal بر روی طیف گسترده ای از سخت افزارهای Nvidia از جمله DGX Spark، DGX Station، Jetson و محیط های ابری اجرا می شود. این مدل همچنین به عنوان یک میکروسرویس آماده تولید از طریق پلتفرم NVIDIA NIM ارائه می شود.

بیشتر بخوانید: سهم انویدیا از بازار تراشه های هوش مصنوعی چین کاهش یافت

دو مدل پیچ برای دستگاه های اجرایی محلی و لبه

مدل Nemotron 3.5 Bolt 74B-A9B برای اجرای محلی وظایف عامل محور با حافظه مورد نیاز 24 گیگابایت بهینه شده است. این مدل بر اساس معماری SuperVL است و از ساختار ترکیب کارشناسان (MoE) استفاده می کند. با 74 میلیارد پارامتر، تنها 9 میلیارد پارامتر در هر مرحله فعال می شود.

این مدل از کوانتیزاسیون 2 بیتی برای قرار دادن در 24 گیگابایت حافظه و تعادل بین سرعت و توانایی پردازش استفاده می کند. وظایف مورد نظر آن شامل استدلال چند مرحله ای، مرور وب و فراخوانی ابزار است. کاربران می توانند از آن برای تحقیق در مورد قطعات کامپیوتر یا نوشتن و اشکال زدایی کد، بدون ارسال فرآیندها به ابر استفاده کنند.

انویدیا این مدل را برای سخت افزارهای RTX Spark و DGX Spark با 64 گیگابایت حافظه بهینه کرده است. این مدل از طریق Hugging Face در دسترس است و از ابزارهایی مانند vLLM، Ollama، LM Studio و llama.cpp پشتیبانی می کند.

مدل دیگر Nemotron 3.5 Bolt E4B با 4 گیگابایت حافظه مورد نیاز است که برای عوامل فیزیکی و مکالمه سریع طراحی شده است. این نرم افزار بر روی سخت افزارهای خانواده GeForce RTX، Jetson و RTX/DGX Spark اجرا می شود و از مکالمه طبیعی، استفاده چند مرحله ای از ابزارها، دستورات زیر و درک وضعیت برنامه پشتیبانی می کند. این قابلیت ها را می توان در رابط های تعبیه شده، کاراکترهای تعاملی و دستیارهای صوتی محلی پیاده سازی کرد.

بیشتر بخوانید: ارزش سهام انویدیا در آستانه 6 تریلیون دلار است

معماری مشترک با نماترون لایتنینگ

مدل‌های جدید از بخش‌های کلیدی معماری لایتنینگ Nemotron 3.5 استفاده می‌کنند که انویدیا در ماه آگوست معرفی کرد. این معماری شامل ساختار ترکیبی مامبا و ترانسفورماتور، پیش‌بینی چند توکن، ساختار پنهان کارشناسان و رمزگشایی پیش‌بینی‌کننده است.

انویدیا هنگام معرفی لایتنینگ اعلام کرد که این مدل توکن ها را با سرعتی چهار برابر بیشتر از مدل های مشابه تولید می کند. با این حال، این افزایش سرعت تنها باعث شد که وظایف واقعی عوامل هوش مصنوعی حدود 30٪ سریعتر شود. این تفاوت نشان می دهد که افزایش سرعت تولید توکن لزوماً عملکرد کلی عامل ها را به همان میزان بهبود نمی بخشد.

با معرفی SuperVL و دو مدل Bolt، انویدیا گزینه هایی را برای اجرای وظایف پیچیده سازمانی، پردازش محلی و ساخت دستیارهای سریع بر روی سخت افزارهای مختلف ارائه کرده است. میزان موفقیت این مدل ها در کاربردهای واقعی به عملکرد آنها در سناریوهای عملی و نیازهای مختلف توسعه دهندگان بستگی دارد.

بیشتر بخوانید: تکه های رونق هوش مصنوعی به سخت افزار محبوب انویدیا رسید