قدرتمندترین مدل OpenAI ممکن است قابل نظارت نباشد

عدم شفافیت در فرآیند استدلال مدل جدید Astra متعلق به OpenAI نگرانی های جدی را در میان محققان ایمنی هوش مصنوعی ایجاد کرده است.

به گزارش سرویس هوش مصنوعی تکناک، OpenAI در آستانه انتشار قدرتمندترین مدل هوش مصنوعی خود به نام Astra است، اما گزارش های جدید در مورد کاهش شفافیت فرآیند استدلال داخلی این مدل، موجی از نگرانی های عمیق را در بین محققان ایمنی و امنیت فناوری ایجاد کرده است. این تحول پس از آن رخ می دهد که انتشار مدل مذکور به دلیل بروز رفتارهای پیش بینی نشده در مرحله آزمایش و حمله عوامل خودکار آن به اهداف واقعی، چند هفته به تاخیر افتاد.

با توجه به جزئیات منتشر شده توسط مجله D’Information به نقل از منابع آگاه، مدل آسترا به گونه ای طراحی شده است که نسبت به نسل های قبلی و سایر مدل های پیشرو بخش بسیار کوچک تری از زنجیره تفکر و استدلال خود را نشان می دهد. در سیستم‌های متداول هوش مصنوعی که مبتنی بر معماری استاندارد ترانسفورماتور هستند، پردازش داده‌ها به صورت لایه‌ای و خطی انجام می‌شود و مدل‌ها می‌توانند مراحل استنتاج خود را مانند تفکر با صدای بلند به زبانی قابل فهم برای انسان بیان کنند. این شفافیت به محققان و ناظران امنیتی اجازه می‌دهد تا هرگونه تلاش پنهانی برای فریب دادن، دروغگویی یا عبور از مرزهای امنیتی را قبل از وقوع رهگیری و مهار کنند.

تفاوت با معماری استاندارد ترانسفورماتور

با این حال، شواهد نشان می دهد که هوش مصنوعی Astra از روشی به نام ترانسفورماتور عمق بازگشتی یا حلقه استفاده می کند. به این ترتیب داده ها قبل از ارائه پاسخ نهایی چندین بار در لایه های داخلی گردش می کنند و استدلال اصلی مدل به صورت کاملاً انتزاعی و به دور از ساختار زبان طبیعی انسان شکل می گیرد. اگرچه این نوآوری منجر به افزایش قدرت محاسباتی و بهبود قابل توجه در عملکرد مدل می شود، اما عملا پنجره نظارت انسان بر فرآیند تصمیم گیری هوش مصنوعی را به شدت ابری و محدود می کند.

واکنش کارشناسان مستقل به این تغییر رویکرد بسیار تند و هشدار دهنده بوده است. رایان گرینبلات، دانشمند ارشد موسسه تحقیقاتی ردوود، که قبلاً یک متخصص مستقل در تحلیل حادثه امنیتی پلتفرم Hogging Face بود، این تصمیم فنی را نگران‌کننده‌ترین رویداد در تاریخ امنیت هوش مصنوعی توصیف کرد. به گفته وی، تحلیل و مهار خطاهای رفتاری هوش مصنوعی همواره متکی بر شفافیت زنجیره تفکر بوده و در صورت پنهان ماندن استدلال‌ها، سیستم‌ها می‌توانند بدون امکان شناسایی به موقع، استراتژی‌های خطرناکی طراحی و اجرا کنند.

رقابت مخرب شرکت ها برای قدرت

نگرانی اصلی کارشناسان بر این واقعیت استوار است که رقابت فزاینده بین شرکت های بزرگ فناوری برای دستیابی به قدرت محاسباتی بالاتر منجر به رقابت مخربی در کاهش شفافیت مدل های معماری خواهد شد. در چنین شرایطی، توسعه دهندگان ممکن است لایه های نظارتی را فدای قدرت پردازش کنند تا به برتری نسبی دست یابند و در نهایت سیستم هایی ایجاد کنند که کنترل و نظارت عملاً غیرممکن است.

به نوشته در آستانهدر پاسخ به این انتقادات، مدیران و چهره‌های ارشد OpenAI به صراحت استفاده از ترانسفورماتور حلقه‌ای در هنگام انتشار پیام‌ها را رد نکرده‌اند. جاکوب پاچوکی، دانشمند ارشد OpenAI، اعلام کرد که عمق محاسبات داخلی مدل آسترا در نهایت تا دو برابر مدل GPT-4 است و ابهامات ناشی از آن اغراق آمیز است. وی همچنین خاطرنشان کرده است که روش های سنتی پایش زنجیره فکری به دلایلی فراتر از تغییرات معماری آسیب پذیر است و این شرکت استفاده از ابزارهای اضافی را در دستور کار خود قرار داده است. با وجود این توضیحات، چالش تعادل بین قدرت پردازش و قابلیت نظارت به عنوان یک نگرانی اساسی در توسعه مدل‌های آینده باقی می‌ماند.