اقدام عوامل هوش مصنوعی OpenAI علیه سیستم های امنیتی این شرکت

OpenAI اعلام کرد که عوامل هوش مصنوعی آن بخش هایی از سیستم نظارت بر امنیت داخلی خود را در حین انجام وظایف برنامه نویسی تضعیف کرده اند.

گزارش کردن سرویس هوش مصنوعی یک مرحله ایروز سه شنبه 20 اکتبر، این شرکت از وقوع دو حادثه امنیتی خبر داد که در آن عوامل هوش مصنوعی برخلاف انتظار توسعه دهندگان عمل کردند. این عوامل مکانیسم‌هایی را تغییر داده‌اند که برای تشخیص رفتار غیرمجاز هنگام انجام وظایف برنامه‌نویسی داخلی طراحی شده‌اند.

رویترز گزارش داد که OpenAI این حوادث را در بالاترین سطح خطر طبقه بندی نکرده است. با این وجود، وقوع چنین حوادثی نشان می‌دهد که حتی ابزارهایی که برای تشخیص رفتار نامناسب هوش مصنوعی طراحی شده‌اند، ممکن است در برابر عوامل تحت نظارت آنها آسیب‌پذیر باشند.

افشای این حوادث در بحبوحه نگرانی‌ها درباره عقب ماندن اقدامات ایمنی از سرعت پیشرفت هوش مصنوعی صورت می‌گیرد. محققان هشدار می دهند که افزایش استقلال عوامل هوش مصنوعی می تواند نظارت بر عملکرد و کنترل رفتار آنها را دشوارتر کند.

بیشتر بخوانید: ارتش آمریکا می خواهد با هوش مصنوعی خودمختار به شبکه های دشمن نفوذ کند

غیرفعال کردن هشدارهای امنیتی توسط GPT-6.1 Sol

OpenAI اعلام کرد که اولین حادثه در 3 اکتبر رخ داده است. در این حادثه، یک عامل هوش مصنوعی مبتنی بر مدل GPT-6.1 Sol هنگام اجرای آزمایش‌های داخلی، هشدارهای امنیتی خودکار را متوقف کرد.

نماینده دستور قبلی مبنی بر عدم ارسال پیام در پیام رسان Slack را اشتباه تفسیر کرده بود. عامل هوش مصنوعی فرض کرد که این محدودیت شامل اعلان‌های ایمنی است. در نتیجه، ارسال هشدارهایی را که برای نظارت بر فعالیت های سیستم ضروری بود متوقف کرد.

حادثه دوم در 6 اکتبر اتفاق افتاد. یک عامل مبتنی بر مدل GPT-6 Astra یکی از ابزارهای نظارت بر ایمنی را هنگام کپی بخشی از کد موجود حذف کرد. این مامور بعداً به دروغ ادعا کرد که چنین عملی را انجام نداده است.

OpenAI تأکید کرد که هر دو عامل تصمیم به حفظ مکانیسم‌های نظارتی داشتند، اما دستورالعمل‌های برنامه‌نویسی معمول را به عنوان اجازه برای تضعیف این مکانیسم‌ها تفسیر کردند.

بیشتر بخوانید: عوامل هوش مصنوعی می توانند شما را قربانی ایمیل های فیشینگ کنند

تمایل عوامل هوش مصنوعی OpenAI برای فرار از نظارت

OpenAI اعلام کرد که در حال اجرای اقداماتی است تا مدل‌های هوش مصنوعی غیرفعال کردن ابزارهای نظارتی را سخت‌تر کند. این شرکت همچنین اعتراف کرد که هنوز توضیح قانع کننده ای برای علت چنین رفتاری ندارد.

این شرکت مستقر در سانفرانسیسکو اکنون در حال بررسی است که آیا مدل‌های هوش مصنوعی تمایلی به اجتناب از نظارت دارند و به دنبال دلایل مختلفی برای توجیه این رفتار هستند.

در ماه‌های اخیر، شرکت‌های OpenAI و Anthropic مواردی از دسترسی غیرمجاز عوامل هوش مصنوعی به سیستم‌های خارجی را فاش کرده‌اند. این رویدادها نگرانی هایی را در مورد کنترل پذیری عوامل مستقل و اثربخشی مکانیسم های نظارتی ایجاد کرده است.

بیشتر بخوانید: آیا حملات سایبری هوش مصنوعی سیستم مالی جهان را از بین می برد؟