• تبلیغات
  • تماس با ما
شنبه, آبان ۳۰, ۱۴۰۵
  • ورود
خبرجو
  • صفحه اصلی
  • فرهنگ و هنر
  • تناسب اندام
  • فناوری
  • اقتصاد و سرمایه
  • سلامتی
  • شیوه زندگی
  • ارز دیجیتال
بدون نتیجه
مشاهده تمام نتایج
  • صفحه اصلی
  • فرهنگ و هنر
  • تناسب اندام
  • فناوری
  • اقتصاد و سرمایه
  • سلامتی
  • شیوه زندگی
  • ارز دیجیتال
بدون نتیجه
مشاهده تمام نتایج
خبرجو
بدون نتیجه
مشاهده تمام نتایج
صفحه اصلی فناوری

سیستم خانگی 40000 دلاری DeepSeek V4.1-Flash را با سرعت بالا اجرا کرد

سامان پاکدل توسط سامان پاکدل
۱۵ مهر ۱۴۰۵
در فناوری
مدت زمان مطالعه: 1 دقیقه
0
تصویری مرتبط با اجرای DeepSeek V4.1-Flash روی سیستم خانگی و دریافت پاسخ با سرعت شگفت انگیز از آن

مدل ۵۵۲ میلیارد پارامتر DeepSeek V4.1-Flash روی چهار NVIDIA DGX Spark با سرعت ۴۹۴ توکن در هر ثانیه اجرا می شود.

به گزارش سرویس هوش مصنوعی مجرددر همین راستا، مدل DeepSeek V4.1-Flash با 552 میلیارد پارامتر اخیراً هنگام اجرا بر روی یک سیستم خانگی متشکل از چهار دستگاه NVIDIA DGX Spark به سرعت استنتاج نزدیک به سطح سیستم های Cerebras دست یافته است.

خوشه چهار گره NVIDIA DGX Spark قادر به دستیابی به حداکثر سرعت خروجی نزدیک به 500 توکن در ثانیه بدون استفاده از روتر نوری یا سوئیچ اترنت بود.

پاتریک مورهد، متخصص فناوری و متخصص صنعت AMD اخیراً از سیستم هوش مصنوعی خانگی خود رونمایی کرده است.

این سیستم از چهار دستگاه NVIDIA DGX Spark تشکیل شده که در مجموع 512 گیگابایت حافظه یکپارچه دارند.

Morehead این چهار دستگاه را در یک قفسه فشرده tec MOJO قرار داده و فن های خنک کننده اضافی را در قسمت زیرین نصب کرده است.

مشخصات سخت افزاری چهار دستگاه DGX Spark

هر دستگاه NVIDIA DGX Spark مورد استفاده در این سیستم شامل اجزای زیر است:

  • پردازنده 20 هسته ای Arm شامل 10 هسته قدرتمند Cortex-X925 و 10 هسته کم مصرف Cortex-A725. هر هسته کش L2 مخصوص به خود را دارد و هر خوشه به 16 مگابایت حافظه نهان L3 مجهز شده است که در مجموع 32 مگابایت حافظه نهان L3 را ارائه می دهد.
  • GPU یکپارچه GB10 مجهز به هسته های Tensor نسل پنجم، پشتیبانی از هسته های DLSS 4 و RTX برای ردیابی اشعه. این تراشه تا 31 ترافلاپس قدرت پردازش FP32 و 1000 تریلیون عملیات در ثانیه یا TOPS را در محاسبات NVFP4 یا FP4 ارائه می دهد.
  • حافظه یکپارچه 128 گیگابایتی LPDDR5X که بین پردازنده و GPU مشترک است و پهنای باندی در حدود 273 گیگابایت بر ثانیه دارد. این حافظه از رابط 256 بیتی استفاده می کند.
  • شبکه هوشمند ConnectX-7 با دو درگاه QSFP با سرعت 200 گیگابیت در ثانیه برای خوشه بندی پرسرعت، به همراه 10 گیگابیت اترنت، Wi-Fi 7، بلوتوث، HDMI 2.1a و چندین پورت USB-C.
  • حافظه ذخیره سازی NVMe SSD با ظرفیت معمولی 1 تا 4 ترابایت.
  • مصرف برق با آداپتور موجود در حدود 140 تا 240 وات است.
  • سیستم عامل NVIDIA DGX مبتنی بر اوبونتو و مجموعه کامل نرم افزار CUDA AI.

نکته مهم در مورد این سیستم نحوه اتصال چهار دستگاه DGX Spark به یکدیگر است. این دستگاه ها بدون استفاده از سوئیچ و از طریق کابل های QSFP به صورت توپولوژی حلقه ای به یکدیگر متصل می شوند.

در این سازه اسپارک 1 به اسپارک 2 و اسپارک 4 وصل می شود. اسپارک 2 به اسپارک 1 و اسپارک 3 وصل می شود. اسپارک 3 نیز به اسپارک 2 و اسپارک 4 و اسپارک 4 به اسپارک 3 و اسپارک 1 وصل می شود.

البته، انویدیا استفاده از سوئیچ اترنت 200 گیگابیتی و توپولوژی ستاره را برای اتصال چهار دستگاه DGX Spark توصیه می کند. استفاده از سوئیچ هزینه نهایی چنین سیستمی را افزایش می دهد.

بیشتر بخوانید: نتایج یک تست فنی ادعای ارزان بودن دیپسیک را رد کرد

DeepSeek V4.1-Flash چطور روی این سیستم اجرا شد؟

برای این خوشه چهار گره، Morehead مدل کم مصرف DeepSeek V4.1-Flash را انتخاب کرده است. این مدل دارای 552 میلیارد پارامتر است، اما تنها 8 میلیارد پارامتر در مرحله پیش پردازش و 16 میلیارد پارامتر در مرحله رمزگشایی فعال هستند.

این مدل همچنین دارای یک کارشناس مشترک و 384 کارشناس روت شده است که از این تعداد 6 مورد فعال هستند.

DeepSik در معماری جدید خود از چندین فناوری مختلف مانند Causal Encoder-Decoder (CED)، Compact Thin Attention 2 (CSA2)، Quantization FP4 و SWA Bounded Replay استفاده کرده است. این فناوری ها اندازه کش KV را تنها به 890 بایت در هر توکن کاهش می دهند.

ترکیب مدل DeepSeek V4.1-Flash با خوشه چهار گره NVIDIA DGX Spark نتایج قابل توجهی را به همراه داشته است:

  • حداکثر سرعت خروجی: 494 توکن در ثانیه در کدنویسی با 32 درخواست همزمان
  • حداکثر سرعت تولید متن: 280 توکن در ثانیه با 32 درخواست همزمان
  • سرعت در درخواست: حدود 58 توکن در ثانیه برای متن و 96 توکن در ثانیه برای کد
  • سرعت پردازش سریع: حدود 4764 توکن در ثانیه
  • زمان تولید اولین توکن: حدود 0.2 ثانیه در حالت بیکار
  • میزان مصرف حافظه: 476 گیگابایت

بیشتر بخوانید: هشدار مهندس دیپسیک در مورد آینده هوش مصنوعی

هزینه ساخت سیستم خانه DeepSeek

از نظر هزینه، هر دستگاه NVIDIA DGX Spark با 128 گیگابایت حافظه در حال حاضر بین 5500 دلار تا بیش از 9000 دلار بسته به ظرفیت ذخیره سازی و در دسترس بودن قیمت دارد.

بنابراین هزینه قطعه اصلی این سیستم برای چهار دستگاه حدود 22 تا 36 هزار دلار خواهد بود.

کابل های QSFP چندین صد دلار هزینه برای ایجاد توپولوژی حلقه دارند. یک رک یا رک، فن‌های اضافی، تجهیزات توزیع برق و سایر لوازم جانبی نیز صدها دلار به هزینه اضافه می‌کنند.

در مجموع هزینه ساخت چنین سیستمی حدود 25 تا 40 هزار دلار خواهد بود. اگرچه این رقم زیاد است، اما می توان از چنین سیستمی در شبانه روز استفاده کرد و هزینه برق آن نیز نسبتاً محدود است.

طبق متن، هر دستگاه در هنگام کار حدود 400-600 وات مصرف می کند. برعکس، استفاده از این سیستم کاربر را از هزینه‌های API و محدودیت‌های بار پردازشی سرویس‌هایی مانند OpenAI یا Entropic مستقل می‌کند.

پست قبلی

سقوط ۲۹ درصدی فروش خودرو در نیمه نخست سال

پست‌ بعدی

معاون ترامپ: ایران برای پایان جنگ باید سطح غنی‌سازی را کاهش دهد

سامان پاکدل

سامان پاکدل

مرتبط پست ها

این حلقه هوشمند استرس را با نور تشخیص می‌ دهد
فناوری

این حلقه هوشمند استرس را با نور تشخیص می دهد

۳۰ آبان ۱۴۰۵
نحوه پرداخت یارانه به این دهک ها تغییر کرد
فناوری

نحوه پرداخت یارانه به این دهک ها تغییر کرد + جزئیات

۳۰ آبان ۱۴۰۵
سوزوکی سریع‌ترین موتورسیکلت جهان را ساخت؛ غولی که هیچ‌کس توان مهار آن را نداشت
فناوری

سوزوکی سریع ترین موتورسیکلت جهان را ساخت. غولی که هیچ کس نتوانست آن را کنترل کند

۳۰ آبان ۱۴۰۵
بازار طلا قرمز شد سکه امامیه و طلای 18 عیار
فناوری

بازار طلا قرمز شد سکه امامیه و طلای 18 عیار چقدر ارزان شد؟

۳۰ آبان ۱۴۰۵
ترامپ اجازه ساخت دیتاسنترها را در خارج از آمریکا نمی‌ دهد
فناوری

ترامپ اجازه ساخت مراکز داده در خارج از ایالات متحده را نمی دهد

۳۰ آبان ۱۴۰۵
قیمت دلار و یورو امروز شنبه 9 آبان خروج ارز
فناوری

قیمت دلار و یورو امروز شنبه 9 آبان; خروج ارز از بازار

۳۰ آبان ۱۴۰۵
بارگذاری بیشتر
پست‌ بعدی
معاون ترامپ ایران برای پایان جنگ باید سطح غنی‌سازی را

معاون ترامپ: ایران برای پایان جنگ باید سطح غنی‌سازی را کاهش دهد

گفتگو در مورد این post

توصیه شده

الهام حمیدی در لایو اینستاگرامی بهاره رهنما گاف عجیب داد.

ویدئو/ گاف عجیب الهام حمیدی در لایو اینستاگرام بهاره رهنما!

4 سال پیش
سگ های رباتیک مسلح به ارتش آمریکا می آیند

سگ های رباتیک مسلح به ارتش آمریکا می آیند

3 سال پیش
مبلغ ارز سفر هوایی دوباره 500 یورو شد جزئیات

مبلغ ارز سفر هوایی دوباره 500 یورو شد + جزئیات

3 سال پیش
چت‌جی‌پی‌تی سبک نگارش شما را یاد می‌گیرد؛ قابلیت جدید ChatGPT برای شخصی‌ سازی و تقلید لحن کاربران

ChatGPT سبک نوشتن شما را یاد می گیرد. ویژگی جدید ChatGPT برای شخصی سازی و تقلید لحن کاربران

2 ماه پیش

از دست ندهید

این حلقه هوشمند استرس را با نور تشخیص می‌ دهد

این حلقه هوشمند استرس را با نور تشخیص می دهد

۳۰ آبان ۱۴۰۵
نحوه پرداخت یارانه به این دهک ها تغییر کرد

نحوه پرداخت یارانه به این دهک ها تغییر کرد + جزئیات

۳۰ آبان ۱۴۰۵
مسیر جایگزین در کنارگذر پل شهید رئیسی؛ پاسخ مهندسی به

مسیر جایگزین در کنارگذر پل شهید رئیسی؛ پاسخ مهندسی به اقدامات تروریستی

۳۰ آبان ۱۴۰۵
سوزوکی سریع‌ترین موتورسیکلت جهان را ساخت؛ غولی که هیچ‌کس توان مهار آن را نداشت

سوزوکی سریع ترین موتورسیکلت جهان را ساخت. غولی که هیچ کس نتوانست آن را کنترل کند

۳۰ آبان ۱۴۰۵

دیگر رسانه ها

اجاره خودرو

خبرجو تازه‌ترین اخبار در سراسر دنیا در حوره های مالی , فرهنگی , اقتصادی و ... را برای شما به اشتراک خواهد گذاشت.

ما را دنبال کنید

اخبار اخیر

این حلقه هوشمند استرس را با نور تشخیص می‌ دهد

این حلقه هوشمند استرس را با نور تشخیص می دهد

۳۰ آبان ۱۴۰۵
نحوه پرداخت یارانه به این دهک ها تغییر کرد

نحوه پرداخت یارانه به این دهک ها تغییر کرد + جزئیات

۳۰ آبان ۱۴۰۵

دسته بندی ها

  • ارز دیجیتال
  • اقتصاد و سرمایه
  • تناسب اندام
  • دسته‌بندی نشده
  • سلامتی
  • شیوه زندگی
  • فرهنگ و هنر
  • فناوری

همکاران

  • اخبار اقتصاد
  • تبلیغات
  • تماس با ما

خوش آمدید!

به حساب خود در زیر وارد شوید

رمز عبور را فراموش کرده اید؟

رمز عبور خود را بازیابی کنید

لطفا نام کاربری یا آدرس ایمیل خود را برای بازنشانی رمز عبور خود وارد کنید.

ورود به سیستم
بدون نتیجه
مشاهده تمام نتایج
  • صفحه اصلی
  • فرهنگ و هنر
  • تناسب اندام
  • فناوری
  • اقتصاد و سرمایه
  • سلامتی
  • شیوه زندگی
  • ارز دیجیتال