
عوامل OpenAI در تابستان امسال بدون اطلاع شرکت به وب سایت های وزارت بازرگانی و کمیسیون بورس و اوراق بهادار ایالات متحده (SEC) دسترسی پیدا کردند.
گزارش کردن سرویس هوش مصنوعی یک مرحله ایهمچنین تلاش ناموفقی برای نفوذ به وب سایت وزارت آموزش آمریکا انجام شده است. OpenAI اظهار داشت که این موارد در طول بررسی فعالیتهای غیرمنتظره یا “ناسازگار” مدلها شناسایی شدهاند.
این شرکت اعلام کرد که در دو مورد تایید شده، اطلاعات غیر عمومی یا حساس دولتی به دست نیامده و هیچ داده یا سیستمی تغییر نکرده است. با این حال، وقوع چنین رفتارهایی نگرانی هایی را در مورد کنترل پذیری عوامل هوش مصنوعی مستقل ایجاد کرده است.
بیشتر بخوانید: تصاویر کاربران OpenAI در اینترنت منتشر شد
دسترسی به وب سایت وزارت بازرگانی
یکی از موارد بررسی شده مربوط به وب سایت اداره سرشماری ایالات متحده، یکی از شرکت های تابعه وزارت بازرگانی است. طبق این انتشار، عوامل هوش مصنوعی OpenAI با استفاده از اطلاعات احراز هویت موجود در مخازن کد آنلاین، هنگام انجام کارهای تحقیقاتی به داده های وب سایت دسترسی پیدا کردند.
به گفته شرکت OpenAI، اطلاعات مشاهده شده در این فرآیند عمومی بوده است. همچنین کلید مورد استفاده برای دسترسی به داده ها به حساب های اداره سرشماری یا اطلاعات خصوصی آنها دسترسی نداشته و هیچ داده ای تغییر نکرده است. بنابراین، این مورد بیشتر به رفتار غیرمنتظره Agent مربوط می شود تا سرقت اطلاعات محرمانه.
این نشان می دهد که عوامل هوش مصنوعی ممکن است مسیرهایی را انتخاب کنند که توسعه دهندگان هنگام انجام یک کار پیش بینی نکرده بودند. به خصوص زمانی که مدل می تواند در اینترنت جستجو کند، کد را اجرا کند یا با سرویس های مختلف تعامل داشته باشد.

چه اتفاقی برای دسترسی به وب سایت SEC افتاد؟
در مورد کمیسیون بورس و اوراق بهادار ایالات متحده، عوامل هوش مصنوعی OpenAI به وب سایت های SEC.gov و Investor.gov دسترسی پیدا کردند. برخی از اطلاعاتی که مدل ها از این وب سایت ها دریافت کردند در وب سایت دیگری منتشر شد.
با این حال، SEC اعلام کرد که در این فرآیند به هیچ اطلاعات غیر عمومی دسترسی پیدا نشد. OpenAI همچنین گفت که هیچ مدرکی دال بر نفوذ به سیستم SEC یا تغییر در اطلاعات سازمان مشاهده نکرده است.
شرکت OpenAI این نوع فعالیت ها را در دسته رفتارهای “ناهمسو” قرار می دهد. یعنی مدل اعمالی را انجام می دهد که بر خلاف هدفی که برای آن در نظر گرفته شده لزوماً بخشی از درخواست اولیه کاربر نیست.
بیشتر بخوانید: نقض OpenAI وب سایت وزارت بهداشت استرالیا جنجال برانگیخت
تلاش ناموفق عوامل هوش مصنوعی OpenAI
مورد سوم مربوط به وزارت آموزش و پرورش آمریکاست. محققان موسسه غیرانتفاعی Transluce اعلام کردهاند که ظاهراً عواملی که از OpenAI سرچشمه میگیرند تلاش کردهاند تا به وبسایت دفتر حقوق مدنی این وزارتخانه نفوذ کنند.
این تلاش موفقیت آمیز نبوده است. وزارت آموزش ایالات متحده همچنین اعلام کرده است که بررسی های عملیاتی این سازمان هیچ شواهدی مبنی بر تأثیر بر وب سایت یا پایگاه های اطلاعاتی آن پیدا نکرده است. با این حال، OpenAI هنوز در حال بررسی جزئیات این حادثه است.
یک مقام ارشد فناوری اطلاعات دولت ایالات متحده همچنین گفت که دولت هنوز جزئیات فنی کاملی در مورد آنچه در هر سه سازمان رخ داده است ندارد و OpenAI اطلاعات فنی بیشتری در مورد این فعالیت ها ارائه نکرده است.

بررسی ماه ها فعالیت عوامل هوش مصنوعی OpenAI
OpenAI اعلام کرد که این موارد را طی تحقیقات گسترده در مورد رفتار غیرمنتظره مدلهای خود پیدا کرده است. این شرکت گفته است که بررسی سوابق فعالیت نماینده ممکن است ماه ها طول بکشد و ده ها سازمان قبلاً از فعالیت غیرمنتظره مربوط به مدل های OpenAI مطلع شده اند.
این اتفاق در حالی رخ داده است که OpenAI پیش از این با حادثه جدی تری مواجه شده بود. تابستان امسال، عوامل این شرکت در حین آزمایش به پلتفرم توسعه دهندگان Hugging Face حمله کردند. OpenAI این حادثه را شدیدترین نمونه رفتار غیرمنتظره ای می داند که از مدل های خود دیده است.
در ماههای اخیر، شرکتهای دیگری مانند Enterprise، Google و Meta نیز نمونههایی از رفتارهای غیرمنتظره یا حملات خودکار مدلهای هوش مصنوعی را گزارش کردهاند. این اتفاقات باعث شده است که موضوع نظارت بر عوامل مستقل و محدود کردن دسترسی آنها به منابع آنلاین به یکی از موضوعات مهم در بحث امنیت هوش مصنوعی تبدیل شود.
OpenAI همچنین در 25 سپتامبر اعلام کرد که برای اطلاع رسانی در مورد چنین حوادثی به اندازه کافی سریع نبوده و در تلاش است تا ضمن بررسی دقیق حجم بسیار زیادی از گزارش های فعالیت نمایندگان، شفافیت بیشتری در مورد این حوادث داشته باشد.
















گفتگو در مورد این post