• تبلیغات
  • تماس با ما
سه شنبه, آبان ۲۶, ۱۴۰۵
  • ورود
خبرجو
  • صفحه اصلی
  • فرهنگ و هنر
  • تناسب اندام
  • فناوری
  • اقتصاد و سرمایه
  • سلامتی
  • شیوه زندگی
  • ارز دیجیتال
بدون نتیجه
مشاهده تمام نتایج
  • صفحه اصلی
  • فرهنگ و هنر
  • تناسب اندام
  • فناوری
  • اقتصاد و سرمایه
  • سلامتی
  • شیوه زندگی
  • ارز دیجیتال
بدون نتیجه
مشاهده تمام نتایج
خبرجو
بدون نتیجه
مشاهده تمام نتایج
صفحه اصلی فناوری

پیاده سازی مدل هوش مصنوعی 9 میلیاردی در پلی استیشن 4; دستیابی به سرعت 39 توکن در ثانیه با GCN GPU

سامان پاکدل توسط سامان پاکدل
۲۴ آبان ۱۴۰۵
در فناوری
مدت زمان مطالعه: 4 دقیقه
0
پیاده سازی مدل هوش مصنوعی 9 میلیاردی در پلی استیشن
1794786253 956 پیاده سازی مدل هوش مصنوعی 9 میلیاردی در پلی استیشن
1794786256 528 پیاده سازی مدل هوش مصنوعی 9 میلیاردی در پلی استیشن
1794786259 314 پیاده سازی مدل هوش مصنوعی 9 میلیاردی در پلی استیشن
دسترسی ویرایشگر مکان نما به مدل های OpenAI را قطع
دسترسی ویرایشگر مکان نما به مدل های OpenAI را قطع

پیاده سازی مدل هوش مصنوعی 9 میلیاردی در پلی استیشن 4; دستیابی به سرعت 39 توکن در ثانیه با GCN GPU

به گزارش بخش خبری Zoom Tech به نقل از videocardz، یک توسعه دهنده توانسته است با استفاده از هسته های سفارشی GPU و تکنیک های فشرده سازی پیشرفته، مدل هوش مصنوعی قدرتمندی را بر روی کنسول نسل هشتم پلی استیشن 4 اجرا کند.

بله کانال زوم تککارت هدیه

کنسول محبوب پلی استیشن 4 (پلی استیشن 4) سونی که هرگز برای اجرای مدل های زبان بزرگ یا فرآیندهای هوش مصنوعی طراحی نشده بود، اکنون می تواند از یک دستاورد فنی شگفت انگیز استفاده کند. مدل هوش مصنوعی 9 میلیاردی (مدل هوش مصنوعی 9B) روی GPU GCN شما با حداکثر سرعت 39 توکن در ثانیه. این پروژه جذاب به نام سیر LLM شناخته شده است که مرزهای استفاده از سخت افزار قدیمی را با استفاده از هسته های GPU سفارشی و کوانتیزاسیون 3 و 4 بیتی جابجا می کند.

چالش های فنی و دور زدن محدودیت های سخت افزاری پلی استیشن 4

محیط PlayStation 4 Homebrew فاقد هر گونه API پردازش اختصاصی برای محاسبات گرافیکی مدرن یا کتابخانه های یادگیری ماشینی است. برای غلبه بر این محدودیت ها، توسعه دهنده ای به نام Colony Alegría هسته های سفارشی را با استفاده از زبان OpenCL C توسعه داد و آنها را برای معماری GCN AMD کامپایل کرد. این برنامه به جای تکیه بر درایورهای گرافیکی معمولی، مستقیماً از طریق بافرهای دستوری دست‌نویس PM4 با GPU ارتباط برقرار می‌کند.

ظرفیت حافظه رم یکی دیگر از موانع بزرگ در این مسیر بود. کنسول PS4 دارای 8 گیگابایت حافظه مشترک GDDR5 است، بنابراین Garlic LLM توانست با استفاده از کوانتیزاسیون سفارشی، مدل Qwen3.5-9B را در حدود 4.5 گیگابایت قرار دهد. اکثر وزن‌های مدل و کش‌های KV از دقت 4 بیتی استفاده می‌کنند، در حالی که ماتریس‌های بزرگتر پروجکشن MLP و بزرگتر با دقت 3 بیت فشرده می‌شوند. این بهینه سازی ها باعث شد که برنامه از پنجره متنی 16000 توکن پشتیبانی کند.

پیاده سازی مدل هوش مصنوعی 9 میلیاردی در پلی استیشن 4; دستیابی به سرعت 39 توکن در ثانیه با GCN GPUپیاده سازی مدل هوش مصنوعی 9 میلیاردی در پلی استیشن 4; دستیابی به سرعت 39 توکن در ثانیه با GCN GPUپیاده سازی مدل هوش مصنوعی 9 میلیاردی در پلی استیشن 4; دستیابی به سرعت 39 توکن در ثانیه با GCN GPU

افزایش سرعت پردازش با رمزگشایی پیشگویانه

این توسعه دهنده همچنین سیستم رمزگشایی گمانه زنی را با استفاده از ویژگی پیش بینی چند نشانه ای (MTP) تعبیه شده در مدل Qwen3.5 پیاده سازی کرد. این تکنیک به مدل اجازه می‌دهد تا دو نشانه را از قبل پیش‌بینی کند و آنها را در یک پاس تأیید کند. بر اساس اطلاعات منتشر شده، این روش عملکرد تولید توکن را از حدود 22 توکن به 31 تا 39 توکن در ثانیه افزایش می دهد و حتی در هنگام تولید کد برنامه به 43 توکن در ثانیه می رسد.

به این پست امتیاز دهید

پست قبلی

هشدار پیتر شیف در مورد بیت کوین

پست‌ بعدی

کاهش مصرف ۶ میلیون لیتری بنزین| برطرف شدن نیاز به واردات بنزین طی یک‌ماه

سامان پاکدل

سامان پاکدل

مرتبط پست ها

میانگین سن مشتریان بوگاتی به ۴۲ سال کاهش یافت
فناوری

میانگین سنی مشتریان بوگاتی به 42 سال کاهش یافت

۲۶ آبان ۱۴۰۵
قیمت نفت امروز دوشنبه 4 آبان 1405
فناوری

قیمت نفت امروز دوشنبه 4 آبان 1405

۲۶ آبان ۱۴۰۵
ارتقاء دوربین بزرگ بعدی سامسونگ در برنامه Expert RAW پنهان
فناوری

ارتقاء دوربین بزرگ بعدی سامسونگ در برنامه Expert RAW پنهان شده است. از طراحی مجدد رابط کاربری گرفته تا فیلمبرداری

۲۶ آبان ۱۴۰۵
قیمت جهانی نقره امروز ۴ آبان اونس چند بود؟
فناوری

قیمت جهانی نقره امروز ۴ آبان; اونس چند بود؟

۲۶ آبان ۱۴۰۵
تصویر مرتبط با سرقت کلیدهای API با هوش مصنوعی
فناوری

هشدار آمازون در مورد سرقت کلیدهای API از سرویس های هوش مصنوعی

۲۵ آبان ۱۴۰۵
قیمت بیت کوین امروز دوشنبه 4 آبان 1405
فناوری

قیمت بیت کوین امروز دوشنبه 4 آبان 1405;

۲۵ آبان ۱۴۰۵
بارگذاری بیشتر
پست‌ بعدی
کاهش مصرف ۶ میلیون لیتری بنزین برطرف شدن نیاز به

کاهش مصرف ۶ میلیون لیتری بنزین| برطرف شدن نیاز به واردات بنزین طی یک‌ماه

گفتگو در مورد این post

توصیه شده

راهنمای راه‌اندازی عطاری و تامین ادویه و سبزی خشک عمده برای آن

راهنمای راه‌اندازی عطاری و تامین ادویه و سبزی خشک عمده برای آن

3 سال پیش
جمهوری اسلامی ایران در حمایت از فلسطین و غزه تردید

جمهوری اسلامی ایران در حمایت از فلسطین و غزه تردید نخواهد کرد

3 سال پیش
کاهش تخلفات صنعت کارگزاری با اجرای طرح واریز بدون سقف

کاهش تخلفات صنعت کارگزاری با اجرای طرح واریز بدون سقف وجوه

3 سال پیش
ترفند جالب انجمن برای مقابله با سیاست جدید reddit

ترفند جالب انجمن برای مقابله با سیاست جدید reddit

3 سال پیش

از دست ندهید

میانگین سن مشتریان بوگاتی به ۴۲ سال کاهش یافت

میانگین سنی مشتریان بوگاتی به 42 سال کاهش یافت

۲۶ آبان ۱۴۰۵
قیمت نفت امروز دوشنبه 4 آبان 1405

قیمت نفت امروز دوشنبه 4 آبان 1405

۲۶ آبان ۱۴۰۵
پیشنهاد ۷۰ میلیون دلاری برای پتروپالایش ستاره اقلید؛ آزمون دیپلماسی

پیشنهاد ۷۰ میلیون دلاری برای پتروپالایش ستاره اقلید؛ آزمون دیپلماسی اقتصادی فارس

۲۶ آبان ۱۴۰۵
ارتقاء دوربین بزرگ بعدی سامسونگ در برنامه Expert RAW پنهان

ارتقاء دوربین بزرگ بعدی سامسونگ در برنامه Expert RAW پنهان شده است. از طراحی مجدد رابط کاربری گرفته تا فیلمبرداری

۲۶ آبان ۱۴۰۵

دیگر رسانه ها

اجاره خودرو

خبرجو تازه‌ترین اخبار در سراسر دنیا در حوره های مالی , فرهنگی , اقتصادی و ... را برای شما به اشتراک خواهد گذاشت.

ما را دنبال کنید

اخبار اخیر

میانگین سن مشتریان بوگاتی به ۴۲ سال کاهش یافت

میانگین سنی مشتریان بوگاتی به 42 سال کاهش یافت

۲۶ آبان ۱۴۰۵
قیمت نفت امروز دوشنبه 4 آبان 1405

قیمت نفت امروز دوشنبه 4 آبان 1405

۲۶ آبان ۱۴۰۵

دسته بندی ها

  • ارز دیجیتال
  • اقتصاد و سرمایه
  • تناسب اندام
  • دسته‌بندی نشده
  • سلامتی
  • شیوه زندگی
  • فرهنگ و هنر
  • فناوری

همکاران

  • اخبار اقتصاد
  • تبلیغات
  • تماس با ما

خوش آمدید!

به حساب خود در زیر وارد شوید

رمز عبور را فراموش کرده اید؟

رمز عبور خود را بازیابی کنید

لطفا نام کاربری یا آدرس ایمیل خود را برای بازنشانی رمز عبور خود وارد کنید.

ورود به سیستم
بدون نتیجه
مشاهده تمام نتایج
  • صفحه اصلی
  • فرهنگ و هنر
  • تناسب اندام
  • فناوری
  • اقتصاد و سرمایه
  • سلامتی
  • شیوه زندگی
  • ارز دیجیتال