کوالکام از پیاده سازی مدل های قدرتمند هوش مصنوعی بر روی گوشی ها تا سال 2028 خبر داد

مدیرعامل کوالکام پیش‌بینی کرده است که اجرای مداوم 100 میلیارد مدل هوش مصنوعی در گوشی‌های هوشمند تا سال 2028 محقق خواهد شد.

بر اساس این گزارش سرویس هوش مصنوعی یک مرحله ایمهم‌ترین گلوگاه برای پیاده‌سازی مدل‌های هوش مصنوعی متراکم‌تر در گوشی‌های هوشمند، ظرفیت حافظه است. با توجه به وضعیت فعلی بازار رم یا DRAM پویا، بعید است که در آینده نزدیک شاهد عبور گسترده گوشی هایی از مرز رم 16 گیگابایتی باشیم. با این حال، کریستیانو آمون، مدیرعامل کوالکام معتقد است که به زودی دورانی آغاز خواهد شد که در آن گوشی‌های هوشمند قادر خواهند بود مدل‌های زبان بزرگ را با 100 میلیارد پارامتر به طور مداوم اجرا کنند. او همچنین تایید کرده است که شرکت های هوش مصنوعی در حال توسعه گوشی هایی با چنین قابلیت هایی هستند. دستیابی به این هدف مستلزم آن است که سازندگان مقدار بسیار زیادی رم در گوشی خود نصب کنند. آن هم در شرایطی که عرضه حافظه محدود است و قیمت ها به شدت افزایش یافته است.

بیشتر بخوانید: این مدل هوش مصنوعی می تواند غول های فناوری را به چالش بکشد

چالش پیاده سازی مدل های هوش مصنوعی قدرتمند در گوشی

آمون در گفتگو با Fireside Alpha وی نام شرکت های هوش مصنوعی متقاضی ساخت گوشی های مجهز به قابلیت اجرای مدل های زبانی با 100 میلیارد پارامتر را اعلام نکرد. با وجود این، پیش بینی او مبنی بر عرضه چنین دستگاه هایی در سال 2028 یک چالش بسیار بزرگ برای صنعت موبایل است. بحران حافظه تا کنون بسیاری از تولیدکنندگان را از ارائه مدل های مجهز به رم بیشتر منصرف کرده است. در حالی که تنها یک سال پیش، برخی از گوشی های اندرویدی با حداکثر 24 گیگابایت حافظه LPDDR5X در دسترس بودند.

برای مطالعه بیشتر: هوش مصنوعی Anthropic برای دسترسی به وب سایت های دولت ایالات متحده تلاش می کند

محاسبات نشان می دهد که اجرای مدل 100 میلیارد پارامتری هوش مصنوعی با کوانتیزه سازی 4 بیتی تنها به 50 گیگابایت رم نیاز دارد. این مقدار شامل فضای مورد نیاز سیستم عامل، برنامه های در حال اجرا و کش زمینه مکالمه نمی شود. حتی کوانتیزاسیون 2 بیتی نیز راه حل ساده ای نیست، زیرا بارگذاری وزن چنین مدلی به حدود 25 گیگابایت حافظه نیاز دارد. بنابراین، حتی اگر محدودیت‌های عرضه برداشته شود و قیمت DRAM کاهش یابد، مشکل دیگری باقی می‌ماند: اجرای مداوم مدل‌های بزرگ گرمای قابل‌توجهی تولید می‌کند و زمانی که مکانیسم محدودکننده حرارتی فعال می‌شود، عملکرد تراشه کاهش می‌یابد.

راه حل چیست؟

اپل و کوالکام با تغییراتی در بسته‌بندی تراشه‌ها، از جمله در نسل ششم A20 Pro و Snapdragon 8 Elite Extreme تا حدی به این چالش رسیدگی کرده‌اند. با این حال، این تغییرات به تنهایی گلوگاه ظرفیت حافظه را برطرف نمی کند. اجرای عملی 100 میلیارد مدل پارامتر روی گوشی نیازمند راه حل های مختلف معماری و بهینه سازی است. یکی از گزینه‌ها کوانتیزه‌سازی تهاجمی است که با کاهش دقت نمایش پارامتر، نیاز به حافظه مدل را کاهش می‌دهد و می‌تواند به نسخه‌های تک بیتی اجازه دهد در DRAM قرار گیرند. نقطه ضعف این روش افت قابل توجه کیفیت مدل در دقت های کمتر از 4 بیت است. کاهشی که در وظایف استدلالی اهمیت بیشتری پیدا می کند.

راه حل دیگر، معماری ترکیبی از متخصصان یا MOE با بارگذاری انتخابی کارشناسان است. در این ساختار، تنها بخشی از شبکه برای پردازش هر توکن فعال می شود. بنابراین می توان متخصصان مورد نیاز را در رم نگه داشت و سایر قسمت ها را به فلش مموری منتقل کرد. اپل امکان اجرای مدل های زبان بزرگ را از حافظه داخلی دستگاه نیز بررسی کرده است، اما این روش با محدودیت سرعت مواجه است، زیرا حافظه های UFS و NVMe معمولاً پهنای باند و تأخیر مطلوبی در مقایسه با DRAM ندارند.

حتما بخوانید: دعوای جنجالی علیه Character.AI; چت بات ها کاربران را به کشتن خود تشویق می کردند

برعکس، استفاده از مدل های کوچکتر و مقطر می تواند راه حل واقعی تری باشد. یک مدل پارامتر 20-30 میلیاردی که با روش تقطیر آموزش داده شده است ممکن است در برخی کارها به کیفیت یک مدل پارامتری 100 میلیاردی نزدیک شود، در حالی که منابع محاسباتی و حافظه کمتری مصرف می کند. چنین رویکردی از دیدگاه تجاری عملی تر به نظر می رسد.

در مجموع، بدون ارائه یک نقشه راه فنی مشخص، جزئیات سخت افزاری، یا توضیحی در مورد چگونگی رفع محدودیت حافظه، اظهارات مدیرعامل کوالکام فاصله زیادی بین وضعیت فعلی و اجرای مداوم مدل های 100 میلیارد پارامتری در تلفن ها ایجاد نمی کند. با وجود این، ایده تلفن هایی که می توانند قابلیت های نزدیک به سیستم های محاسباتی قدرتمند را ارائه دهند، چشم انداز جذابی برای آینده هوش مصنوعی موبایل است.