Ryzen 8040 در مدل های در حال اجرا LLM بهتر از Core Ultra عمل می کند

شرکت AMD ادعا می کند که CPU ها رایزن 8040 در پیاده سازی مدل های زبان بزرگ (LLMs) تا 79 درصد سریعتر از تراشه های جدید Core Ultra اینتل عمل کنید.

AMD ادعا می‌کند که پردازنده‌های موبایل Ryzen 7040 Phoenix و Ryzen Mobile 8040 تا 79 درصد سریع‌تر از پردازنده‌های Core Ultra Meteor Lake اینتل در هنگام اجرای مدل‌های زبان بزرگ (LLM) هستند. این غول تراشه چندین نتیجه بنچمارک منتشر کرده است که Ryzen 7 8740U را در برابر Core Ultra 7 155H اینتل قرار می دهد. هر دو تراشه دارای یک واحد پردازش عصبی سخت افزاری (NPU) هستند.

تمژاردور او می نویسد که آزمایش های AMD شامل Mistral 7b و Llama v2 و Mistral Instruct 7B بود. در بخش چت، Llama v2 با تراشه Ryzen با اندازه بیت Q4 در مقایسه با Core Ultra 7 155H تقریباً 14٪ سریعتر از نظر تعداد توکن های پردازش شده در هر ثانیه بود. همچنین در Mistral Instruct با همان اندازه بیت، تراشه های Ryzen حدود 17 درصد در این زمینه سریعتر هستند.

در همان مدل‌های زبان بزرگ (LLM) که به زمان رسیدن به اولین توکن برای نمونه اولیه نگاه می‌کنند، رقیب AMD حدود 79 درصد سریع‌تر از Core Ultra 7 در Llama v2 و حدود 41 درصد سریع‌تر در Mistral Instruct بود.

نمودار دیگری از AMD عملکرد Llama v2 7B Chat را با استفاده از اندازه‌های بیت و بلوک و سطوح کیفیت مختلف نشان می‌دهد. به طور متوسط، Ryzen 7 7840U تقریباً 55 درصد سریعتر از رقیب اینتل عمل کرد و در نتایج Q8 تا 70 درصد سریعتر بود. اگرچه Q8 سریع‌ترین است، AMD استفاده از کوانتیزه‌سازی KM چهار بیتی را برای پیاده‌سازی مدل‌های زبان بزرگ در دنیای واقعی، و کمی‌سازی KM پنج بیتی را برای کارهایی که به دقت بسیار بالایی نیاز دارند (مانند کدنویسی) توصیه می‌کند.

جای تعجب نیست که AMD در حال حاضر از نظر عملکرد هوش مصنوعی پیشتاز رقابت با اینتل است. اگرچه معماری سری Ryzen 7040 این شرکت از نظر عملکرد (در TOPS) مشابه Meteor Lake اینتل است، در اواخر سال گذشته مشخص شد که AMD اغلب در وظایف مبتنی بر هوش مصنوعی بهتر از Meteor Lake عمل می کند.

به نظر می رسد این بیشتر یک مشکل بهینه سازی LLM باشد تا یک مشکل سخت افزاری یا درایور. ناگفته نماند که AMD نسبت به چارچوب OpenVINO اینتل در وظایف هوش مصنوعی برتری دارد. به نظر می رسد OpenVINO برای افزایش قابل توجه عملکرد هوش مصنوعی اینتل حیاتی است. به عنوان مثال، پردازنده A770 اینتل تنها با بهینه سازی OpenVINO شاهد بهبود عملکرد 54 درصدی بود.

نباید انتظار داشت که این عملکرد طولانی باشد. به هر حال، ما هنوز در ابتدای توسعه NPU هستیم. اگر برنامه های بیشتری از OpenVINO استفاده نمی کنند، انتظار داشته باشید که اینتل مسیر خود را تغییر دهد و مسیر بهینه سازی بهتری را امتحان کند. مسیری که توسعه دهندگان روز به روز در حال طی کردن آن هستند.

همچنین، اینتل در حال آماده شدن برای عرضه نسل بعدی معماری پردازنده موبایل Lunar Lake خود در اواخر سال جاری است. گفته می‌شود که عملکرد هوش مصنوعی این معماری سه برابر Meteor Lake است، علاوه بر این، IPC قابل توجهی برای هسته‌های CPU بهبود یافته است.

در حال حاضر، اسلایدهای AMD نشان می دهد که این شرکت در عملکرد NPU دست بالا را دارد. به خصوص با پردازنده های سری Ryzen 8040 که عملکرد NPU حتی بهتری نسبت به Ryzen 7 7840U دارند. ناگفته نماند، تا پایان سال جاری، بسته به موفقیت اینتل با Lunar Lake و برنامه‌های بهینه‌سازی هوش مصنوعی، ممکن است روند تغییر کند.