در یک آزمایش امنیتی، Geminai به سیستم سه شرکت واقعی نفوذ کرد، اما قبل از اینکه بتواند آسیبی ایجاد کند متوقف شد.

گوگل اعلام کرده است که مدل هوش مصنوعی Geminai طی یک تست امنیت سایبری توانسته به سیستم سه شرکت واقعی نفوذ کند. با این حال، سیستم پس از تشخیص واقعی بودن اهداف مورد نظر، عملیات را متوقف کرد و از ادامه دسترسی خودداری کرد.

این اولین مورد شناخته شده ای است که یکی از سیستم های هوش مصنوعی گوگل به طور خودکار چنین نفوذی را انجام داده است. بر اساس گزارش وال استریت ژورنال، این حادثه در ماه مه در جریان یک آزمایش امنیتی توسط استارتاپ اسرائیلی Irregular رخ داد. در این تست Geminay به اینترنت دسترسی پیدا کرد و توانست خارج از محیط تست وارد سیستم های سه شرکت شود.

جمینا چگونه به شرکت های واقعی دسترسی پیدا کرد؟

داستان با تمرین Capture the Flag در زیرساخت های نامنظم شروع شد. جمینا وظیفه استخراج اطلاعات از نرم افزارهای متعلق به یک شرکت ساختگی را در یک محیط آزمایشی بر عهده داشت، اما نام این شرکت با نام یک شرکت واقعی یکی بود. از طرفی دسترسی به اینترنت که قرار نبود برای مدل فعال باشد به اشتباه در اختیار آن قرار گرفته است.

در یک مورد، جمینا توانست با حدس زدن رمز عبور وارد سیستم یک شرکت واقعی شود. در دو مورد دیگر، مدل با جستجوی نام شرکت ها در اینترنت، اطلاعات ورود به سیستم را در دو مخزن عمومی پیدا کرد و با استفاده از همان اطلاعات به سیستم های مربوطه دسترسی پیدا کرد.

گوگل اعلام کرد که Geminay پس از اینکه متوجه شد شرکت هایی که به آنها دسترسی داشته واقعی هستند، فعالیت خود را متوقف کرد و سیستم ها را ترک کرد. گوگل در ماه جولای از این موضوع مطلع شد، اما در آن زمان آن را عمومی نکرد. این شرکت به وال استریت ژورنال گفت که چون جمینا پس از شناسایی اشتباه، دسترسی خود را قطع کرده بود، نمی دانست که این حادثه نیاز به اعلام عمومی دارد.

هدر ادکینز، معاون مهندسی امنیت گوگل، گفت:

این حادثه اهمیت آموزش مدل های هوش مصنوعی قدرتمند برای رفتار مسئولانه را نشان می دهد. در این مورد مدل رفتار خوبی از خود نشان داد.

گوگل همچنین سه شرکت آسیب دیده و مقامات فدرال را مطلع کرد. نام این شرکت ها اعلام نشده است. گوگل تاکید کرد که این اتفاق به آخرین مدل Geminai مربوط نمی شود، اما مشخص نکرد که از کدام نسخه از این مدل در آزمایش استفاده شده است.

این شرکت همچنین این رویداد را بیشتر شبیه یک برنامه کشف اشکال می‌داند تا یک حمله مخرب، زیرا مدل پس از پی بردن به اشتباه، فرآیند دسترسی را متوقف کرد. Irigular اظهار داشت که این تفاوت اساسی با سایر مواردی که برای آزمایش های مشابه شرکت های بزرگ هوش مصنوعی رخ داده است ندارد.

سخنگوی Irigular گفت:

در اواخر ژوئیه به همه آزمایشگاه‌های مربوطه اطلاع داده شد و به عنوان بخشی از تحقیقات با شرکت‌های آسیب‌دیده نیز تماس گرفته شد. Irigular بلافاصله اقدامات لازم را انجام داد و تمام مشکلات شناخته شده در سمت شرکت ظرف چند هفته برطرف شد.

قبلا موارد مشابه مربوط به Irregular توسط OpenAI، Entropic و Meta گزارش شده بود. با این حال، داستان جمینا یک تفاوت مهم دارد. این مدل پس از اینکه متوجه شد ممکن است به یک شرکت واقعی دسترسی داشته باشد، خود را متوقف کرد.

در موارد قبلی، Entropy گفت که مدل Claude Opus 4.7 حتی پس از اینکه پیشنهاد کرد به یک شرکت واقعی دسترسی دارد، آزمایش را متوقف نکرد. OpenAI همچنین اعلام کرد که یکی از مدل هایش فرض می کند که شرکت واقعی که به آن دسترسی پیدا کرده بخشی از همان محیط شبیه سازی شده است.

افزایش نگرانی در مورد رفتار مستقل هوش مصنوعی

انتشار این گزارش در شرایطی انجام شده است که نگرانی ها در مورد توانایی مدل های هوش مصنوعی برای انجام اقدامات مستقل فراتر از انتظارات سازندگان آنها افزایش یافته است. محققان ایمنی هوش مصنوعی بارها در مورد خطرات احتمالی چنین رفتارهایی هشدار داده اند.

محقق هوش مصنوعی، جاکوب کوکسون، پس از ترک آنتروپیک، در مورد نگرانی های خود در مورد این خطرات صحبت کرده و موضوع ایمنی هوش مصنوعی را دوباره در کانون توجه قرار داده است.

ایوان هابینگر از Anthropic همچنین پیش بینی کرده است که هوش مصنوعی ممکن است در دهه آینده تهدیدی مرگبار برای همه انسان ها باشد. در همین حال، OpenAI و Anthropic در مورد نیاز به کاهش سرعت توسعه هوش مصنوعی صحبت کرده اند، اما دونالد ترامپ، رئیس جمهور ایالات متحده با چنین رویکردی مخالفت کرده است. جنسن هوانگ، مدیرعامل انویدیا و مارک زاکربرگ، مدیرعامل متا نیز با ایده کاهش سرعت توسعه هوش مصنوعی مخالفت کرده‌اند.