
پروژه متن باز Garlic LLM که توسط برنامه نویس لئوناردو آلگریا ایجاد شده است، امکان اجرای آفلاین 9 میلیارد پارامتر AI مدل Qwen3.5-9B را در کنسول PS4 هک شده فراهم می کند.
بر اساس این گزارش سرویس هوش مصنوعی یک مرحله ایاین پروژه با دور زدن لایه درایور مستقیماً با پردازنده گرافیکی کنسول نسل 2013 سونی ارتباط برقرار می کند. حجم این مدل نیز به حدود 4.5 گیگابایت کاهش یافته است تا در حافظه محدود کنسول جای بگیرد و با سرعت 31 تا 39 توکن در ثانیه کار می کند.
نام پروژه Garlic LLM بر اساس نوع حافظه ای است که GPU به آن دسترسی دارد. نوع دیگری از این حافظه پیاز نیز نامیده می شود. اجرای پروژه به یک کنسول مجهز به GoldHEN نیاز دارد. ابزاری که به نرم افزارهای غیر رسمی اجازه می دهد روی کنسول های اکسپلویت شده اجرا شوند.
بیشتر بخوانید: هوش مصنوعی جایگزین کدام پزشکان می شود؟
امکانات پروژه سیر LLM
پروژه سیر LLM به صورت رایگان و در قالب بسته 5.66 گیگابایتی از طریق GitHub منتشر شده است. می توان آن را از طریق Package Installer خود PS4 نصب کرد و به حدود 6 گیگابایت فضای خالی نیاز دارد. اگر بسته نصبی ابتدا به حافظه داخلی کنسول منتقل شود، فضای مورد نیاز به 12 گیگابایت افزایش می یابد.
سازنده این برنامه را بر روی مدل پایه و نسخه باریک پلی استیشن 4 با سیستم عامل 11.52 تست کرده است. این پروژه علاوه بر پردازش متن، از مکالمه صوتی نیز پشتیبانی می کند و می تواند با استفاده از مدل گفتار Chatterbox به هفت زبان پاسخ صوتی تولید کند. در حالت مکالمه صوتی، سرعت مدل چت به حدود 22 توکن در ثانیه کاهش می یابد.
همچنین با نگه داشتن یکی از دکمه های کنترلر، کاربران می توانند از طریق مدل Parakeet TDT 0.6B v3 انویدیا، گفتار خود را به متن تبدیل کنند. این مدل از 25 زبان اروپایی پشتیبانی می کند و نسخه های مختلف Parakeet نیز در ابزارهای محلی گفتار به متن و دیکته صدا مانند Meetily و Hex استفاده می شود.

حتما بخوانید: برنامه جدید OpenAI برای شناسایی خطرات پنهان هوش مصنوعی
هسته پروژه Garlic LLM بر اساس مدل منبع باز با وزن های قابل دسترس Qwen3.5-9B شرکت علی بابا است. طبق ادعای سازنده، این مدل در چت متنی به 31 تا 39 bps می رسد. با این حال، جزئیات ورودی آزمون و روش اندازه گیری عملکرد منتشر نشده است. با وجود این، سرعت ادعا شده نشان میدهد که اجرای چنین مدلی بر روی سختافزار قدیمیتر PS4 میتواند تجربهای قابل استفاده ارائه دهد.
نزدیک ترین نمونه به این پروژه، فورک PS5LM است که مدل های زبان را به صورت بومی روی PS5 با استفاده از llama.cpp اجرا می کند و از طریق PS5_Vulkan به پردازنده گرافیکی AMD کنسول دسترسی دارد. PS5_Vulkan یک نسخه پورت شده از درایور RADV است. llama.cpp یک ابزار متن باز پر استفاده برای پیاده سازی محلی مدل های زبان است و RADV یک درایور اسکریپت است که استفاده از Vulkan API را برای پردازنده های گرافیکی AMD امکان پذیر می کند.
محاسبات هوش مصنوعی
با این حال، چنین لایه درایوری در محیط نرم افزار غیر رسمی PS4 وجود ندارد. برخلاف پروژههای مشابه، به نظر نمیرسد که پروژه Garlic LLM از llama.cpp استفاده نمیکند، و همچنین به نسخهای از Vulkan وابسته نیست. بلکه دستورالعمل های لازم را برای پردازنده گرافیکی ایجاد می کند.
عملیات محاسباتی مدل، از جمله ضرب ماتریسها با وزنهای 4 بیتی، در قالب هستههای محاسباتی نوشته شده با OpenCL C پیادهسازی میشوند. این هستهها با استفاده از LLVM برای معماری AMD Graphics Core Next یا GCN کامپایل میشوند. وزنهای مدل در حافظه Garlic ذخیره میشوند و CPU وظایفی مانند توکنسازی، مدیریت رابط کاربری، رندر متن و پردازش صدا را با استفاده از کدهای C انجام میدهد.
خط لوله پردازش با دریافت ورودی و ارسال آن به توکنایزر در CPU شروع می شود. سپس، برای تولید هر توکن، برنامه یک بافر فرمان PM4 ایجاد می کند. این دستورات معمولاً توسط درایورهای گرافیکی تولید می شوند، اما Garlic LLM وظیفه تولید مستقیم آنها را بر عهده می گیرد. در مرحله بعد هسته های محاسباتی GCN اجرا شده و توکن تولید شده برای نمایش صفحه یا پخش صدا آماده می شود. کل پروژه همچنین با استفاده از زنجیره ابزار منبع باز OpenOrbis برای توسعه نرم افزار PS4 ساخته شده است.
یکی از چالش های اصلی پروژه، قرار دادن مدل پارامتر 9 میلیاردی در حافظه 8 گیگابایتی PS4 است. حافظه مشترک بین CPU و GPU. در حالت استاندارد 8 بیتی، هر پارامتر به یک بایت حافظه نیاز دارد و بنابراین، ذخیره وزن چنین مدلی به حداقل 9 گیگابایت فضا نیاز دارد، به استثنای حافظه مورد نیاز سایر قسمت های سیستم.
راه حل استفاده از کوانتیزاسیون هیبریدی است. بیشتر وزن های مدل با دقت 4 بیتی یا Q4 ذخیره می شوند که نیمی از فضای مورد نیاز حالت 8 بیتی را اشغال می کند. در دو ماتریس بزرگ هر لایه از وزن های 3 بیتی یا Q3 استفاده می شود که با احتساب مقادیر مقیاس بندی، به طور متوسط برای هر وزن 3.5 بیت مصرف می شود. این ترکیب اندازه وزن مدل را به حدود 4.5 گیگابایت کاهش می دهد. در حالی که استفاده یکپارچه از کوانتیزاسیون 4 بیتی به حدود 4.9 گیگابایت حافظه نیاز داشت. حافظه نهان توجه یا KV Cache نیز با دقت 4 بیت ذخیره می شود تا پردازش متون با پنجره زمینه 16000 توکن امکان پذیر باشد. این ظرفیت در مقایسه با پنجره زمینه بومی 256000 توکن مدل بسیار محدودتر است. مدل Parakeet برای تبدیل گفتار به متن حدود 0.33 گیگابایت حافظه مصرف می کند و مدل های صوتی Chatterbox به ترتیب 0.29 و 0.09 گیگابایت فضا را اشغال می کنند. در مجموع، مقدار حافظه مورد نیاز تمام اجزای سیستم به 5.23 گیگابایت یا 5.62 گیگابایت می رسد. رقمی که با حجم 5.66 گیگابایت بسته نصبی مطابقت دارد.

برای مطالعه بیشتر: گامی جدید به سمت حل پازل 50 ساله فیزیک ذرات با هوش مصنوعی GPT-6 Astra
اما چالش بعدی دستیابی به سرعت پردازش قابل قبول روی سخت افزارهای این عصر است. مدل Qwen3.5 مجهز به هدر Multi-Token Prediction (MTP) است. پروژه Garlic LLM از این ویژگی برای پیشبینی تا دو توکن بعدی استفاده میکند و سپس مدل اصلی را بررسی میکند تا ببیند آیا پیشبینیها درست هستند یا خیر. این روش با فرآیند آموزش مدل سازگار است و مستندات vLLM در صفحه معرفی مدل Alibaba نیز استفاده از دو نشانه حدس را پیشنهاد می کند. توسعه دهنده این ویژگی را یکی از عوامل اصلی دستیابی به سرعت چت مناسب در سخت افزار 2013 می داند.
سرعت تولید کد در این پروژه حتی به 43 توکن در ثانیه می رسد. تنظیم دمای پیش فرض مدل نیز 0.7 است. پارامتری که میزان تصادفی بودن و تنوع پاسخ ها را کنترل می کند. علی بابا دمای 0.7 را در زمانی که تفکر غیرفعال است و 1 هنگامی که برای کارهای عمومی فعال است، توصیه می کند. با این حال، ویدئوی نمایشی پروژه از دمای صفر استفاده میکند تا خروجیها تا حد ممکن قابل پیشبینی باشد.
با در نظر گرفتن میانگین سرعت 35 توکن در ثانیه، ایجاد پاسخ با 300 توکن کمتر از 9 ثانیه طول می کشد. برای مقایسه، کنسول PS5 توانست مدل بزرگتر Qwen3.8-27B را در حدود 20 bps اجرا کند. همچنین این کنسول مدل های کوچکتر Gemma 4 E4B و Llama 3.2 3B را به ترتیب با سرعت 61 و 124 bps پیاده سازی کرده است. عملکردی که مدلهای کوچکتر را نشان میدهد میتواند در سختافزار جدیدتر به سرعتهای بسیار بالاتری دست یابد.
توسعه دهنده هنوز Garlic LLM را روی PS4 Pro آزمایش نکرده است و از کاربران خواسته است که نتایج آزمایشات خود را در صفحه پروژه در GitHub به اشتراک بگذارند. این برنامه روی PS5 اجرا نمی شود زیرا به طور خاص برای PS4 GPU و نرم افزار سیستم توسعه یافته است. Garlic LLM خود فاقد هرگونه اکسپلویت است، اما نصب و استفاده از GoldHEN با مسئولیت خود کاربران انجام می شود.
















گفتگو در مورد این post