کتابخانه شتاب دهنده NPU اینتل منبع باز است

اینتل کتابخانه شتاب دهنده NPU خود را منبع باز کرده است، که امکان اجرای مدل های زبان سبک وزن مانند TinyLlama را بر روی رایانه های شخصی مجهز به پردازنده Meteor Lake می دهد.

گزارش کردن تنهااین کتابخانه در درجه اول برای توسعه دهندگان در نظر گرفته شده است، اما کاربران عادی با کمی دانش برنامه نویسی نیز می توانند از آن برای اجرای چت ربات هوش مصنوعی خود در Meteor Lake استفاده کنند.

این کتابخانه اکنون در GitHub در دسترس است، و اگرچه اینتل قرار بود یک پست وبلاگی درباره کتابخانه شتاب دهنده NPU بنویسد، معمار نرم افزار اینتل تونی مونگکلسمای آن را قبلاً در X به اشتراک گذاشت. او چت TinyLlama 1.1B را روی لپ تاپ MSI Prestige 16 AI Evo به نمایش گذاشت. توسط یک پردازنده Meteor Lake و در مورد مزایا و معایب گوشی‌های هوشمند و تلفن‌های تاشو پرسید. این کتابخانه روی هر دو سیستم عامل ویندوز و لینوکس کار می کند.

تمژاردور گزارش می دهد که از آنجایی که کتابخانه شتاب دهنده NPU برای توسعه دهندگان و نه کاربران عادی ساخته شده است، استفاده از آن برای اهداف شخصی آسان نیست. Mongkolsmai کدی را که برای اجرای ربات چت خود نوشته بود به اشتراک گذاشت و به جرات می توان گفت که اگر می خواهید همین کار را روی رایانه شخصی خود انجام دهید، به درک مناسبی از Python نیاز دارید یا باید تک تک خط های به اشتراک گذاشته شده در را بخوانید. تصویر بالا دوباره تایپ کنید و امیدوارم روی کامپیوتر شما کار کند.

از آنجایی که کتابخانه شتاب دهنده NPU به طور خاص برای NPU ها طراحی شده است، در حال حاضر فقط پردازنده های Meteor Lake می توانند آن را اجرا کنند. پردازنده‌های Arrow Lake و Lunar Lake که اواخر امسال عرضه می‌شوند، دامنه پردازنده‌های سازگار را گسترش خواهند داد. این پردازنده‌های آینده تا سه برابر عملکرد هوش مصنوعی بیشتری نسبت به Meteor Lake ارائه می‌کنند و به طور بالقوه مدل‌های زبان بزرگ‌تر را قادر می‌سازند روی تراشه‌های لپ‌تاپ و دسکتاپ اجرا شوند.

این کتابخانه هنوز کاملاً کاربردی نیست و تنها اندکی کمتر از نیمی از قابلیت های برنامه ریزی شده خود را دارد. قابل ذکر است که فاقد استنتاج دقیق ترکیبی است که بتواند مستقیماً روی NPU، BFloat16 (فرمت داده محبوب برای بارهای کاری مرتبط با هوش مصنوعی) و محاسبات ناهمگن NPU-GPU اجرا شود، که احتمالاً به هر دو پردازنده اجازه می دهد تا روی وظایف یکسان کار کنند. کار هوش مصنوعی کتابخانه شتاب دهنده NPU کاملاً جدید است، بنابراین هنوز مشخص نیست که چه تأثیری خواهد داشت، اما امیدواریم که منجر به توسعه نرم افزار جدید هوش مصنوعی برای رایانه های شخصی مجهز به هوش مصنوعی شود.

پست کتابخانه شتاب دهنده NPU اینتل متن باز است اولین بار در Tech Knock – اخبار دنیای فناوری ظاهر شد. ظاهر شد.