سیستم خانگی 40000 دلاری DeepSeek V4.1-Flash را با سرعت بالا اجرا کرد

به گزارش سرویس هوش مصنوعی مجرددر همین راستا، مدل DeepSeek V4.1-Flash با 552 میلیارد پارامتر اخیراً هنگام اجرا بر روی یک سیستم خانگی متشکل از چهار دستگاه NVIDIA DGX Spark به سرعت استنتاج نزدیک به سطح سیستم های Cerebras دست یافته است.

خوشه چهار گره NVIDIA DGX Spark قادر به دستیابی به حداکثر سرعت خروجی نزدیک به 500 توکن در ثانیه بدون استفاده از روتر نوری یا سوئیچ اترنت بود.

پاتریک مورهد، متخصص فناوری و متخصص صنعت AMD اخیراً از سیستم هوش مصنوعی خانگی خود رونمایی کرده است.

این سیستم از چهار دستگاه NVIDIA DGX Spark تشکیل شده که در مجموع 512 گیگابایت حافظه یکپارچه دارند.

Morehead این چهار دستگاه را در یک قفسه فشرده tec MOJO قرار داده و فن های خنک کننده اضافی را در قسمت زیرین نصب کرده است.

مشخصات سخت افزاری چهار دستگاه DGX Spark

هر دستگاه NVIDIA DGX Spark مورد استفاده در این سیستم شامل اجزای زیر است:

• پردازنده 20 هسته ای Arm شامل 10 هسته قدرتمند Cortex-X925 و 10 هسته کم مصرف Cortex-A725. هر هسته کش L2 مخصوص به خود را دارد و هر خوشه به 16 مگابایت حافظه نهان L3 مجهز شده است که در مجموع 32 مگابایت حافظه نهان L3 را ارائه می دهد.
• GPU یکپارچه GB10 مجهز به هسته های Tensor نسل پنجم، پشتیبانی از هسته های DLSS 4 و RTX برای ردیابی اشعه. این تراشه تا 31 ترافلاپس قدرت پردازش FP32 و 1000 تریلیون عملیات در ثانیه یا TOPS را در محاسبات NVFP4 یا FP4 ارائه می دهد.
• حافظه یکپارچه 128 گیگابایتی LPDDR5X که بین پردازنده و GPU مشترک است و پهنای باندی در حدود 273 گیگابایت بر ثانیه دارد. این حافظه از رابط 256 بیتی استفاده می کند.
• شبکه هوشمند ConnectX-7 با دو درگاه QSFP با سرعت 200 گیگابیت در ثانیه برای خوشه بندی پرسرعت، به همراه 10 گیگابیت اترنت، Wi-Fi 7، بلوتوث، HDMI 2.1a و چندین پورت USB-C.
• حافظه ذخیره سازی NVMe SSD با ظرفیت معمولی 1 تا 4 ترابایت.
• مصرف برق با آداپتور موجود در حدود 140 تا 240 وات است.
• سیستم عامل NVIDIA DGX مبتنی بر اوبونتو و مجموعه کامل نرم افزار CUDA AI.

نکته مهم در مورد این سیستم نحوه اتصال چهار دستگاه DGX Spark به یکدیگر است. این دستگاه ها بدون استفاده از سوئیچ و از طریق کابل های QSFP به صورت توپولوژی حلقه ای به یکدیگر متصل می شوند.

در این سازه اسپارک 1 به اسپارک 2 و اسپارک 4 وصل می شود. اسپارک 2 به اسپارک 1 و اسپارک 3 وصل می شود. اسپارک 3 نیز به اسپارک 2 و اسپارک 4 و اسپارک 4 به اسپارک 3 و اسپارک 1 وصل می شود.

البته، انویدیا استفاده از سوئیچ اترنت 200 گیگابیتی و توپولوژی ستاره را برای اتصال چهار دستگاه DGX Spark توصیه می کند. استفاده از سوئیچ هزینه نهایی چنین سیستمی را افزایش می دهد.

بیشتر بخوانید: نتایج یک تست فنی ادعای ارزان بودن دیپسیک را رد کرد

DeepSeek V4.1-Flash چطور روی این سیستم اجرا شد؟