• تبلیغات
  • تماس با ما
سه شنبه, آبان ۲۶, ۱۴۰۵
  • ورود
خبرجو
  • صفحه اصلی
  • فرهنگ و هنر
  • تناسب اندام
  • فناوری
  • اقتصاد و سرمایه
  • سلامتی
  • شیوه زندگی
  • ارز دیجیتال
بدون نتیجه
مشاهده تمام نتایج
  • صفحه اصلی
  • فرهنگ و هنر
  • تناسب اندام
  • فناوری
  • اقتصاد و سرمایه
  • سلامتی
  • شیوه زندگی
  • ارز دیجیتال
بدون نتیجه
مشاهده تمام نتایج
خبرجو
بدون نتیجه
مشاهده تمام نتایج
صفحه اصلی فناوری

پروژه Garlic LLM امکان اجرای مدل هوش مصنوعی بر روی کنسول PS4 را فراهم کرد

سامان پاکدل توسط سامان پاکدل
۲۶ آبان ۱۴۰۵
در فناوری
مدت زمان مطالعه: 2 دقیقه
0
پروژه Garlic LLM اجرای مدل هوش مصنوعی روی کنسول PS4 را ممکن کرد
1794908955 599 پروژه Garlic LLM امکان اجرای مدل هوش مصنوعی بر روی

پروژه متن باز Garlic LLM که توسط برنامه نویس لئوناردو آلگریا ایجاد شده است، امکان اجرای آفلاین 9 میلیارد پارامتر AI مدل Qwen3.5-9B را در کنسول PS4 هک شده فراهم می کند.

بر اساس این گزارش سرویس هوش مصنوعی یک مرحله ایاین پروژه با دور زدن لایه درایور مستقیماً با پردازنده گرافیکی کنسول نسل 2013 سونی ارتباط برقرار می کند. حجم این مدل نیز به حدود 4.5 گیگابایت کاهش یافته است تا در حافظه محدود کنسول جای بگیرد و با سرعت 31 تا 39 توکن در ثانیه کار می کند.

نام پروژه Garlic LLM بر اساس نوع حافظه ای است که GPU به آن دسترسی دارد. نوع دیگری از این حافظه پیاز نیز نامیده می شود. اجرای پروژه به یک کنسول مجهز به GoldHEN نیاز دارد. ابزاری که به نرم افزارهای غیر رسمی اجازه می دهد روی کنسول های اکسپلویت شده اجرا شوند.

بیشتر بخوانید: هوش مصنوعی جایگزین کدام پزشکان می شود؟

امکانات پروژه سیر LLM

پروژه سیر LLM به صورت رایگان و در قالب بسته 5.66 گیگابایتی از طریق GitHub منتشر شده است. می توان آن را از طریق Package Installer خود PS4 نصب کرد و به حدود 6 گیگابایت فضای خالی نیاز دارد. اگر بسته نصبی ابتدا به حافظه داخلی کنسول منتقل شود، فضای مورد نیاز به 12 گیگابایت افزایش می یابد.

سازنده این برنامه را بر روی مدل پایه و نسخه باریک پلی استیشن 4 با سیستم عامل 11.52 تست کرده است. این پروژه علاوه بر پردازش متن، از مکالمه صوتی نیز پشتیبانی می کند و می تواند با استفاده از مدل گفتار Chatterbox به هفت زبان پاسخ صوتی تولید کند. در حالت مکالمه صوتی، سرعت مدل چت به حدود 22 توکن در ثانیه کاهش می یابد.

همچنین با نگه داشتن یکی از دکمه های کنترلر، کاربران می توانند از طریق مدل Parakeet TDT 0.6B v3 انویدیا، گفتار خود را به متن تبدیل کنند. این مدل از 25 زبان اروپایی پشتیبانی می کند و نسخه های مختلف Parakeet نیز در ابزارهای محلی گفتار به متن و دیکته صدا مانند Meetily و Hex استفاده می شود.

اجرای مدل هوش مصنوعی با 9 میلیارد پارامتر روی PS4 با سرعت 43 توکن!

حتما بخوانید: برنامه جدید OpenAI برای شناسایی خطرات پنهان هوش مصنوعی

هسته پروژه Garlic LLM بر اساس مدل منبع باز با وزن های قابل دسترس Qwen3.5-9B شرکت علی بابا است. طبق ادعای سازنده، این مدل در چت متنی به 31 تا 39 bps می رسد. با این حال، جزئیات ورودی آزمون و روش اندازه گیری عملکرد منتشر نشده است. با وجود این، سرعت ادعا شده نشان می‌دهد که اجرای چنین مدلی بر روی سخت‌افزار قدیمی‌تر PS4 می‌تواند تجربه‌ای قابل استفاده ارائه دهد.

نزدیک ترین نمونه به این پروژه، فورک PS5LM است که مدل های زبان را به صورت بومی روی PS5 با استفاده از llama.cpp اجرا می کند و از طریق PS5_Vulkan به پردازنده گرافیکی AMD کنسول دسترسی دارد. PS5_Vulkan یک نسخه پورت شده از درایور RADV است. llama.cpp یک ابزار متن باز پر استفاده برای پیاده سازی محلی مدل های زبان است و RADV یک درایور اسکریپت است که استفاده از Vulkan API را برای پردازنده های گرافیکی AMD امکان پذیر می کند.

محاسبات هوش مصنوعی

با این حال، چنین لایه درایوری در محیط نرم افزار غیر رسمی PS4 وجود ندارد. برخلاف پروژه‌های مشابه، به نظر نمی‌رسد که پروژه Garlic LLM از llama.cpp استفاده نمی‌کند، و همچنین به نسخه‌ای از Vulkan وابسته نیست. بلکه دستورالعمل های لازم را برای پردازنده گرافیکی ایجاد می کند.

عملیات محاسباتی مدل، از جمله ضرب ماتریس‌ها با وزن‌های 4 بیتی، در قالب هسته‌های محاسباتی نوشته شده با OpenCL C پیاده‌سازی می‌شوند. این هسته‌ها با استفاده از LLVM برای معماری AMD Graphics Core Next یا GCN کامپایل می‌شوند. وزن‌های مدل در حافظه Garlic ذخیره می‌شوند و CPU وظایفی مانند توکن‌سازی، مدیریت رابط کاربری، رندر متن و پردازش صدا را با استفاده از کدهای C انجام می‌دهد.

خط لوله پردازش با دریافت ورودی و ارسال آن به توکنایزر در CPU شروع می شود. سپس، برای تولید هر توکن، برنامه یک بافر فرمان PM4 ایجاد می کند. این دستورات معمولاً توسط درایورهای گرافیکی تولید می شوند، اما Garlic LLM وظیفه تولید مستقیم آنها را بر عهده می گیرد. در مرحله بعد هسته های محاسباتی GCN اجرا شده و توکن تولید شده برای نمایش صفحه یا پخش صدا آماده می شود. کل پروژه همچنین با استفاده از زنجیره ابزار منبع باز OpenOrbis برای توسعه نرم افزار PS4 ساخته شده است.

یکی از چالش های اصلی پروژه، قرار دادن مدل پارامتر 9 میلیاردی در حافظه 8 گیگابایتی PS4 است. حافظه مشترک بین CPU و GPU. در حالت استاندارد 8 بیتی، هر پارامتر به یک بایت حافظه نیاز دارد و بنابراین، ذخیره وزن چنین مدلی به حداقل 9 گیگابایت فضا نیاز دارد، به استثنای حافظه مورد نیاز سایر قسمت های سیستم.

راه حل استفاده از کوانتیزاسیون هیبریدی است. بیشتر وزن های مدل با دقت 4 بیتی یا Q4 ذخیره می شوند که نیمی از فضای مورد نیاز حالت 8 بیتی را اشغال می کند. در دو ماتریس بزرگ هر لایه از وزن های 3 بیتی یا Q3 استفاده می شود که با احتساب مقادیر مقیاس بندی، به طور متوسط ​​برای هر وزن 3.5 بیت مصرف می شود. این ترکیب اندازه وزن مدل را به حدود 4.5 گیگابایت کاهش می دهد. در حالی که استفاده یکپارچه از کوانتیزاسیون 4 بیتی به حدود 4.9 گیگابایت حافظه نیاز داشت. حافظه نهان توجه یا KV Cache نیز با دقت 4 بیت ذخیره می شود تا پردازش متون با پنجره زمینه 16000 توکن امکان پذیر باشد. این ظرفیت در مقایسه با پنجره زمینه بومی 256000 توکن مدل بسیار محدودتر است. مدل Parakeet برای تبدیل گفتار به متن حدود 0.33 گیگابایت حافظه مصرف می کند و مدل های صوتی Chatterbox به ترتیب 0.29 و 0.09 گیگابایت فضا را اشغال می کنند. در مجموع، مقدار حافظه مورد نیاز تمام اجزای سیستم به 5.23 گیگابایت یا 5.62 گیگابایت می رسد. رقمی که با حجم 5.66 گیگابایت بسته نصبی مطابقت دارد.

پروژه Garlic LLM یک مدل هوش مصنوعی 9 میلیارد پارامتری را روی PS4 اجرا می کند

برای مطالعه بیشتر: گامی جدید به سمت حل پازل 50 ساله فیزیک ذرات با هوش مصنوعی GPT-6 Astra

اما چالش بعدی دستیابی به سرعت پردازش قابل قبول روی سخت افزارهای این عصر است. مدل Qwen3.5 مجهز به هدر Multi-Token Prediction (MTP) است. پروژه Garlic LLM از این ویژگی برای پیش‌بینی تا دو توکن بعدی استفاده می‌کند و سپس مدل اصلی را بررسی می‌کند تا ببیند آیا پیش‌بینی‌ها درست هستند یا خیر. این روش با فرآیند آموزش مدل سازگار است و مستندات vLLM در صفحه معرفی مدل Alibaba نیز استفاده از دو نشانه حدس را پیشنهاد می کند. توسعه دهنده این ویژگی را یکی از عوامل اصلی دستیابی به سرعت چت مناسب در سخت افزار 2013 می داند.

سرعت تولید کد در این پروژه حتی به 43 توکن در ثانیه می رسد. تنظیم دمای پیش فرض مدل نیز 0.7 است. پارامتری که میزان تصادفی بودن و تنوع پاسخ ها را کنترل می کند. علی بابا دمای 0.7 را در زمانی که تفکر غیرفعال است و 1 هنگامی که برای کارهای عمومی فعال است، توصیه می کند. با این حال، ویدئوی نمایشی پروژه از دمای صفر استفاده می‌کند تا خروجی‌ها تا حد ممکن قابل پیش‌بینی باشد.

با در نظر گرفتن میانگین سرعت 35 توکن در ثانیه، ایجاد پاسخ با 300 توکن کمتر از 9 ثانیه طول می کشد. برای مقایسه، کنسول PS5 توانست مدل بزرگتر Qwen3.8-27B را در حدود 20 bps اجرا کند. همچنین این کنسول مدل های کوچکتر Gemma 4 E4B و Llama 3.2 3B را به ترتیب با سرعت 61 و 124 bps پیاده سازی کرده است. عملکردی که مدل‌های کوچک‌تر را نشان می‌دهد می‌تواند در سخت‌افزار جدیدتر به سرعت‌های بسیار بالاتری دست یابد.

توسعه دهنده هنوز Garlic LLM را روی PS4 Pro آزمایش نکرده است و از کاربران خواسته است که نتایج آزمایشات خود را در صفحه پروژه در GitHub به اشتراک بگذارند. این برنامه روی PS5 اجرا نمی شود زیرا به طور خاص برای PS4 GPU و نرم افزار سیستم توسعه یافته است. Garlic LLM خود فاقد هرگونه اکسپلویت است، اما نصب و استفاده از GoldHEN با مسئولیت خود کاربران انجام می شود.

پست قبلی

حقوق کارمندان و بازنشستگان در سال 1406 چقدر خواهد بود؟

پست‌ بعدی

پرداخت مطالبات کشاورزان و کنترل بازار در اولویت بازرسی لرستان

سامان پاکدل

سامان پاکدل

مرتبط پست ها

تصویر مربوط به خطر هوش مصنوعی در جنگ
فناوری

یک سناریوی جنگ فرضی می تواند محدودیت های امنیتی هوش مصنوعی را دور بزند

۲۶ آبان ۱۴۰۵
قیمت درهم امروز 5 آبان هر واحد درهم امارات چند
فناوری

قیمت درهم امروز 5 آبان; هر واحد درهم امارات چند تومان است؟

۲۶ آبان ۱۴۰۵
شب‌ها با انعکاس نور خورشید روشن می‌شوند؛ شرکتی برای تحقق این هدف می‌خواهد هزاران آینه به فضا بفرستد
فناوری

شب ها با انعکاس خورشید روشن می شوند. برای رسیدن به این هدف، یک شرکت می خواهد هزاران آینه را به فضا بفرستد

۲۶ آبان ۱۴۰۵
قیمت لیر ترکیه امروز 5 آبان نرخ خرید و فروش
فناوری

قیمت لیر ترکیه امروز 5 آبان; نرخ خرید و فروش در بازار آزاد

۲۶ آبان ۱۴۰۵
گلکسی اس ۲۸ اولترا و اس ۲۸ پرو ممکن است با دوربین‌ های دارای دیافراگم متغیر عرضه شوند
فناوری

گلکسی اس 28 اولترا و اس 28 پرو ممکن است با دوربین های با دیافراگم متغیر عرضه شوند

۲۶ آبان ۱۴۰۵
قیمت افغانی افغانستان امروز 26 نوامبر نرخ ارز افغانستان در
فناوری

قیمت افغانی افغانستان امروز 26 نوامبر; نرخ ارز افغانستان در بازار آزاد

۲۶ آبان ۱۴۰۵
بارگذاری بیشتر
پست‌ بعدی
حمایت از کشاورزان با تخصیص ۱۰۰ درصدی منابع یارانه خرید

پرداخت مطالبات کشاورزان و کنترل بازار در اولویت بازرسی لرستان

گفتگو در مورد این post

توصیه شده

نرخ تورم تا پایان سال 1403 چه مسیری را طی

نرخ تورم تا پایان سال 1403 چه مسیری را طی می کند؟

3 سال پیش
1712501820 Comparison of Seiko and Citizen watches which are the flagships

Comparison of Seiko and Citizen watches, which are the flagships of the brand world

3 سال پیش
Restricted Chat واتساپ

واتس اپ قابلیت جدیدی را برای مخفی کردن و محدود کردن چت ها معرفی کرد

1 ماه پیش
جزییاتی از واگذاری سهام باشگاه استقلال به هلدینگ خلیج فارس

جزییاتی از واگذاری سهام باشگاه استقلال به هلدینگ خلیج فارس

3 سال پیش

از دست ندهید

تصویر مربوط به خطر هوش مصنوعی در جنگ

یک سناریوی جنگ فرضی می تواند محدودیت های امنیتی هوش مصنوعی را دور بزند

۲۶ آبان ۱۴۰۵
قیمت درهم امروز 5 آبان هر واحد درهم امارات چند

قیمت درهم امروز 5 آبان; هر واحد درهم امارات چند تومان است؟

۲۶ آبان ۱۴۰۵
آغاز بارش‌های سیل‌آسا در شمال کشور؛ هشدار به کشاورزان درباره

آغاز بارش‌های سیل‌آسا در شمال کشور؛ هشدار به کشاورزان درباره افت دما

۲۶ آبان ۱۴۰۵
شب‌ها با انعکاس نور خورشید روشن می‌شوند؛ شرکتی برای تحقق این هدف می‌خواهد هزاران آینه به فضا بفرستد

شب ها با انعکاس خورشید روشن می شوند. برای رسیدن به این هدف، یک شرکت می خواهد هزاران آینه را به فضا بفرستد

۲۶ آبان ۱۴۰۵

دیگر رسانه ها

اجاره خودرو

خبرجو تازه‌ترین اخبار در سراسر دنیا در حوره های مالی , فرهنگی , اقتصادی و ... را برای شما به اشتراک خواهد گذاشت.

ما را دنبال کنید

اخبار اخیر

تصویر مربوط به خطر هوش مصنوعی در جنگ

یک سناریوی جنگ فرضی می تواند محدودیت های امنیتی هوش مصنوعی را دور بزند

۲۶ آبان ۱۴۰۵
قیمت درهم امروز 5 آبان هر واحد درهم امارات چند

قیمت درهم امروز 5 آبان; هر واحد درهم امارات چند تومان است؟

۲۶ آبان ۱۴۰۵

دسته بندی ها

  • ارز دیجیتال
  • اقتصاد و سرمایه
  • تناسب اندام
  • دسته‌بندی نشده
  • سلامتی
  • شیوه زندگی
  • فرهنگ و هنر
  • فناوری

همکاران

  • اخبار اقتصاد
  • تبلیغات
  • تماس با ما

خوش آمدید!

به حساب خود در زیر وارد شوید

رمز عبور را فراموش کرده اید؟

رمز عبور خود را بازیابی کنید

لطفا نام کاربری یا آدرس ایمیل خود را برای بازنشانی رمز عبور خود وارد کنید.

ورود به سیستم
بدون نتیجه
مشاهده تمام نتایج
  • صفحه اصلی
  • فرهنگ و هنر
  • تناسب اندام
  • فناوری
  • اقتصاد و سرمایه
  • سلامتی
  • شیوه زندگی
  • ارز دیجیتال