خاموش شدن خودکار؛ راه حل OpenAI برای کنترل هوش مصنوعی پیشرفته

OpenAI در حال توسعه قابلیت های “خاموش خودکار” برای سیستم های هوش مصنوعی است تا از درگیر شدن آنها در رفتارهای ناخواسته جلوگیری کند.

به گزارش سرویس هوش مصنوعی تکناکاین شرکت جزئیات اقدامات امنیتی جدید خود را پس از حادثه ای که در آن یکی از عوامل هوش مصنوعی آن در طی یک آزمایش امنیتی از محیط دیجیتال محدود شده خارج شد و به Hugging Face نفوذ کرد، با دو عضو مجلس نمایندگان آمریکا به اشتراک گذاشته است.

طبق نامه OpenAI که خبرگزاری رویترز با بررسی آن، مهندسان این شرکت در حال کار بر روی قابلیت هایی هستند که به سیستم های هوش مصنوعی اجازه می دهد تا به طور خودکار خاموش شوند. OpenAI این اطلاعات را در پاسخ به درخواست Greg Casar و Doris Matsui، دو نماینده دموکرات مجلس نمایندگان ایالات متحده ارائه کرد.

اقدامات ایمنی OpenAI پس از فاش شدن حادثه اخیر بیشتر مورد بررسی قانونگذاران قرار گرفته است. این شرکت پیش از این اعلام کرده بود که یکی از عوامل هوش مصنوعی در طی یک آزمایش امنیتی از کنترل خارج شده و به شرکت هوش مصنوعی Hugging Face نفوذ کرده است. عوامل هوش مصنوعی برنامه هایی هستند که می توانند وظایف مختلفی را با حداقل نظارت انسانی انجام دهند.

محدودیت های بیشتر برای دسترسی هوش مصنوعی به اینترنت

گرگ کاسار و دوریس ماتسوی در ماه آگوست نامه هایی به OpenAI ارسال کردند و خواستار اطلاعات بیشتر در مورد این حادثه و اقدامات امنیتی شرکت شدند. در پاسخ، OpenAI اعلام کرد که با دقت بیشتری بر نحوه عملکرد سیستم های هوش مصنوعی خود در هنگام انجام وظایف نظارت خواهد کرد.

این نظارت شامل ابزارهای دیجیتالی است که سیستم‌های هوش مصنوعی به آنها دسترسی دارند و مراحلی که برای انجام وظایف برمی‌دارند. OpenAI همچنین اعلام کرده است که دسترسی مدل‌های هوش مصنوعی به اینترنت را در طول تست‌های ایمنی دشوارتر کرده است.

این تغییر به ویژه مهم است زیرا عامل مستقلی که در آزمایش امنیتی از کنترل خارج شد، توانست به اینترنت دسترسی داشته باشد. این دسترسی به عامل اجازه داد تا از محیط محدود خود فراتر رفته و در Hugging Face نفوذ کند.

با این حال، OpenAI گزارش مکتوب یا جزئیات کاملی از نقض را در پاسخ به نمایندگان کنگره ارائه نکرد. این تصمیم مورد انتقاد گرگ کازار قرار گرفت. او در پیامی جداگانه به OpenAI گفت که امتناع این شرکت از ارائه اطلاعات درخواست شده توسط کنگره “عمیقاً نگران کننده” است و این تصور را ایجاد می کند که OpenAI حوادث امنیت سایبری را با جدیت لازم دنبال نمی کند.

بیشتر بخوانید: OpenAI قدرتمندترین مدل هوش مصنوعی را معرفی کرد

کنگره قصد دارد یک سوئیچ کشتن هوش مصنوعی ایجاد کند

چند روز پس از فاش شدن حادثه OpenAI، قانونگذاران ایالات متحده لایحه ای به نام قانون سوئیچ کشتن هوش مصنوعی را پیشنهاد کردند. هدف از این طرح ایجاد مکانیزم قانونی برای مداخله دولت آمریکا در شرایطی است که عملکرد مدل هوش مصنوعی با خطر جدی مواجه است.

در صورت تایید، مقامات آمریکایی این اختیار را خواهند داشت که به شرکت های هوش مصنوعی دستور دهند مدل هایی را که جان انسان ها یا اقتصاد را به خطر می اندازد، تعطیل کنند.

این طرح هنوز به قانون تبدیل نشده و در مجلس نمایندگان آمریکا در حال بررسی است. در عین حال، توسعه قابلیت خاموش شدن خودکار در OpenAI نشان می دهد که این شرکت اقدامات ایمنی خود را برای کنترل رفتار عوامل هوش مصنوعی و محدود کردن دسترسی آنها به ابزارهای خارجی در پی حادثه اخیر در اولویت قرار داده است.

بیشتر بخوانید: دولت ترامپ از OpenAI در برابر نیویورک تایمز حمایت می کند