





به گزارش بخش خبری Zoom Tech به نقل از videocardz، یک توسعه دهنده توانسته است با استفاده از هسته های سفارشی GPU و تکنیک های فشرده سازی پیشرفته، مدل هوش مصنوعی قدرتمندی را بر روی کنسول نسل هشتم پلی استیشن 4 اجرا کند.
کنسول محبوب پلی استیشن 4 (پلی استیشن 4) سونی که هرگز برای اجرای مدل های زبان بزرگ یا فرآیندهای هوش مصنوعی طراحی نشده بود، اکنون می تواند از یک دستاورد فنی شگفت انگیز استفاده کند. مدل هوش مصنوعی 9 میلیاردی (مدل هوش مصنوعی 9B) روی GPU GCN شما با حداکثر سرعت 39 توکن در ثانیه. این پروژه جذاب به نام سیر LLM شناخته شده است که مرزهای استفاده از سخت افزار قدیمی را با استفاده از هسته های GPU سفارشی و کوانتیزاسیون 3 و 4 بیتی جابجا می کند.
چالش های فنی و دور زدن محدودیت های سخت افزاری پلی استیشن 4
محیط PlayStation 4 Homebrew فاقد هر گونه API پردازش اختصاصی برای محاسبات گرافیکی مدرن یا کتابخانه های یادگیری ماشینی است. برای غلبه بر این محدودیت ها، توسعه دهنده ای به نام Colony Alegría هسته های سفارشی را با استفاده از زبان OpenCL C توسعه داد و آنها را برای معماری GCN AMD کامپایل کرد. این برنامه به جای تکیه بر درایورهای گرافیکی معمولی، مستقیماً از طریق بافرهای دستوری دستنویس PM4 با GPU ارتباط برقرار میکند.
ظرفیت حافظه رم یکی دیگر از موانع بزرگ در این مسیر بود. کنسول PS4 دارای 8 گیگابایت حافظه مشترک GDDR5 است، بنابراین Garlic LLM توانست با استفاده از کوانتیزاسیون سفارشی، مدل Qwen3.5-9B را در حدود 4.5 گیگابایت قرار دهد. اکثر وزنهای مدل و کشهای KV از دقت 4 بیتی استفاده میکنند، در حالی که ماتریسهای بزرگتر پروجکشن MLP و بزرگتر با دقت 3 بیت فشرده میشوند. این بهینه سازی ها باعث شد که برنامه از پنجره متنی 16000 توکن پشتیبانی کند.



افزایش سرعت پردازش با رمزگشایی پیشگویانه
این توسعه دهنده همچنین سیستم رمزگشایی گمانه زنی را با استفاده از ویژگی پیش بینی چند نشانه ای (MTP) تعبیه شده در مدل Qwen3.5 پیاده سازی کرد. این تکنیک به مدل اجازه میدهد تا دو نشانه را از قبل پیشبینی کند و آنها را در یک پاس تأیید کند. بر اساس اطلاعات منتشر شده، این روش عملکرد تولید توکن را از حدود 22 توکن به 31 تا 39 توکن در ثانیه افزایش می دهد و حتی در هنگام تولید کد برنامه به 43 توکن در ثانیه می رسد.
















گفتگو در مورد این post