کتابخانه شتاب دهنده NPU اینتل به عنوان منبع باز منتشر شده است

کتابخانه شتاب دهنده شرکت اینتل NPU خود را به عنوان یک دارایی منبع باز در دسترس عموم قرار داد تا توسعه دهندگان بتوانند برنامه های هوش مصنوعی خود را برای کار با موتورهای هوش مصنوعی اینتل بهینه کنند.

به گزارش TechNock، اینتل سرانجام کتابخانه شتاب دهنده NPU خود را منبع باز کرد و به توسعه دهندگان و علاقه مندان این امکان را داد تا برنامه های خود را تنظیم کنند تا با موتورهای هوش مصنوعی اینتل عملکرد بهتری داشته باشند.

wccftech او می نویسد که این خبر توسط تونی مونگکلسمای یکی از چهره های شناخته شده اینتل منتشر شده است. شخصی که در وهله اول کتابخانه منبع باز جدید شرکت را فاش کرد. با انجام این کار، کتابخانه شتاب دهنده NPU به توسعه دهندگان کمک می کند تا از مزایای NPU های موجود در مجموعه CPU، مانند سری Lake’s Core Ultra استفاده کنند.

این کتابخانه مبتنی بر پایتون، توسعه را با ارائه یک رابط سطح بالا و پشتیبانی از فریم ورک های محبوبی مانند TensorFlow و PyTorch ساده می کند و به توسعه دهندگان این امکان را می دهد تا از قابلیت های آن برای افزایش کارایی وظایف مرتبط با هوش مصنوعی استفاده کنند.

تونی این کتابخانه را روی لپ تاپ MSI Prestige 16 AI Evo مجهز به پردازنده های Core Ultra اینتل اجرا کرده است. او توانست مدل‌های TinyLlama و Gemma-2b-it را بدون کاهش عملکرد روی دستگاه اجرا کند، که نشان می‌دهد پتانسیل NPUهای اینتل و نحوه ارتقای آنها به یک محیط هوش مصنوعی لبه‌ای برای توسعه‌دهندگان را نشان می‌دهد.

علاوه بر این، تیم توسعه اینتل این کتابخانه را به شرح زیر توصیف می کند:

کتابخانه شتاب دهنده NPU Intel یک کتابخانه پایتون است که برای افزایش کارایی برنامه های شما با استفاده از قدرت واحد پردازش عصبی اینتل (NPU) برای انجام محاسبات با سرعت بالا بر روی سخت افزار سازگار طراحی شده است.

در تلاش برای بهبود قابل توجه عملکرد کتابخانه، ما در حال کار بر روی پیاده سازی تعدادی از ویژگی های مهم، از جمله:

• کوانتیزاسیون 8 بیتی
• کوانتیزاسیون 4 بیتی و GPTQ
• استنتاج دقیق ترکیبی NPU
• پشتیبانی از Float16
• پشتیبانی از BFloat16 (فرمت نقطه شناور مغز)
• پشتیبانی Torch.compile
• پیاده سازی همگام سازی افقی MLP LLM
• استنتاج ایستا فرم
• نتیجه گیری MHA NPU
• محاسبات ناهمگن NPU/GPU

دیدن کتابخانه شتاب دهنده NPU به صورت منبع باز بسیار عالی است. زیرا این در نهایت منجر به بهبود عملکرد برنامه های هوش مصنوعی می شود که بر روی موتورهای هوش مصنوعی اختصاصی اینتل اجرا می شوند. همانطور که تونی اشاره کرد، با توجه به ویژگی های بسیاری که هم برای مصرف کنندگان و هم برای توسعه دهندگان برنامه ریزی شده است، جالب است که ببینیم در آینده چه پیشرفت هایی در این موتورها خواهیم دید.

پست منبع باز کتابخانه شتاب دهنده NPU اینتل اولین بار در TechNock – اخبار دنیای فناوری ظاهر شد. ظاهر شد.