جهش بزرگ اپل در هوش مصنوعی با مدل زبان چند رسانه ای بزرگ MM1 – One Knock

محققان اپل با مدل جدید زبان چند رسانه ای بزرگ خود، MM1، روش های جدیدی را برای آموزش مدل های زبان بزرگ بر اساس متن و تصویر ایجاد کرده اند که منجر به سیستم های هوش مصنوعی قدرتمندتر و انعطاف پذیرتر می شود.

گزارش کردن تنها این تحقیق در مقاله ای با عنوان “MM1: روش ها، تجزیه و تحلیل و بینش از پیش آموزش مدل های زبان بزرگ چندوجهی” که به طور ناگهانی در این هفته در سایت قرار گرفت. arxiv.org منتشر شده، نشان می دهد که چگونه ترکیب دقیق انواع مختلف داده های آموزشی و ساختارهای مدل می تواند منجر به عملکرد پیشرفته در طیف گسترده ای از معیارهای هوش مصنوعی شود.

محققان توضیح می‌دهند: «ما نشان می‌دهیم که برای پیش‌آموزش چندوجهی در مقیاس بزرگ، استفاده از ترکیب دقیق توصیف تصویر، متن و تصویر در هم آمیخته، و داده‌های فقط متنی برای دستیابی به نتایج برتر در نمونه‌های متعدد در معیارهای مختلف حیاتی است. با آموزش مدل‌ها بر روی یک مجموعه داده متنوع که شامل اطلاعات بصری و زبانی می‌شود، مدل‌های MM1 توانستند در وظایفی مانند توصیف تصویر، پاسخ‌گویی به پرس و جوی تصویر، و استنتاج زبان طبیعی به خوبی عمل کنند.

مقیاس بندی اجزای بصری کلیدی است. محققان همچنین دریافتند که انتخاب رمزگذار تصویر و وضوح تصاویر ورودی تاثیر قابل توجهی بر عملکرد مدل دارد. آنها می‌گویند: «ما نشان می‌دهیم که رمزگذار تصویر، همراه با وضوح تصویر و تعداد نشانه‌های تصویر، تأثیر قابل‌توجهی دارد، در حالی که طراحی اتصال زبان و بینایی اهمیت نسبتاً کمی دارد». این نشان می‌دهد که مقیاس‌بندی و بهبود مستمر اجزای بصری این مدل‌های چندوجهی کلیدی برای دستیابی به پیشرفت‌های بیشتر خواهد بود.

این مدل در اندازه پارامترهای 3 میلیارد، 7 میلیارد و 30 میلیارد ارائه می شود. محققان از این مدل‌ها برای انجام آزمایش‌ها و شناسایی عوامل کلیدی مؤثر بر عملکرد استفاده کردند. جالب اینجاست که وضوح تصویر و تعداد تگ‌های تصویر تاثیر بیشتری نسبت به رابط‌های زبان بصری دارند و مجموعه داده‌های مختلف قبل از آموزش می‌توانند تاثیر قابل‌توجهی بر اثربخشی مدل داشته باشند.

تیم تحقیقاتی با استفاده از معماری “مخلوط از متخصصان” و روش “دروازه دو طرفه” MM1 را با دقت ساختند. این رویکرد نه تنها نتایج عالی در معیارهای قبل از آموزش به دست آورد، بلکه به عملکرد قوی در معیارهای چند رسانه ای موجود نیز تبدیل شد. حتی پس از تنظیم دقیق برای کارهای خاص، مدل‌های MM1 همچنان عملکرد رقابتی خود را حفظ کردند.

Mixture of Experts (MoE) یک مدل یادگیری ماشینی است که مبتنی بر ایده ترکیب چندین مدل متخصص مختلف برای حل یک مشکل خاص است. در این روش هر متخصص وظیفه حل بخشی از مشکل را بر عهده دارد و یک شبکه دروازه ای وجود دارد که تعیین می کند برای هر نمونه داده کدام متخصص باید فعال شود.

دروازه باینری روشی در زمینه پردازش سیگنال دیجیتال و شبکه های عصبی مصنوعی است که برای کنترل جریان اطلاعات در یک سیستم استفاده می شود. این روش از دروازه هایی استفاده می کند که می توانند 0 (بسته) یا 1 (باز) باشند. این گیت ها به گونه ای طراحی شده اند که بتوانند جریان اطلاعات را بر اساس نیاز سیستم مدیریت کنند.

آزمایشات نشان داده است که مدل های MM1-3B-Chat و MM1-7B-Chat از اکثر رقبای خود در بازار بهتر عمل می کنند. این مدل ها به ویژه در کارهایی مانند VQAv2 (پاسخ به یک سوال بر اساس تصویر و متن)، TextVQA (پاسخ به یک سوال متنی در مورد یک تصویر) و ScienceQA (پاسخ به یک سوال علمی) می درخشند. با این حال، عملکرد کلی MM1 هنوز از مدل‌های Gemini گوگل یا GPT-4V OpenAI پیشی نمی‌گیرد (هنوز). در حالی که MM1 ممکن است هنوز رهبر مطلق نباشد، اما هنوز یک جهش قابل توجه برای اپل در زمینه هوش مصنوعی است. این شرکت همچنین اخیراً DarwinAI را خریداری کرده است، اطلاعات بیشتر در مورد آن را اینجا بخوانید.