Entropic بخشی از آموزش مدل های ابری را به دلیل نگرانی های امنیتی متوقف کرد

پس از اقدامات غیرمجاز Cloud در آزمایش‌های سایبری، آنتروپیک آموزش برخی از مدل‌های پرخطر را متوقف کرد و اقدامات نظارتی و امنیتی را تقویت کرد..

به گزارش سرویس هوش مصنوعی مجرددر پستی که روز دوشنبه منتشر شد، Anthropic تغییرات اعمال شده پس از سه حادثه را که در ماه ژوئیه فاش کرد، توضیح داد.

پس از این حوادث، این شرکت ارزیابی‌های سایبری خارجی مدل‌های پیش از عرضه را متوقف کرد و آزمایش‌های داخلی این مدل‌ها را برای مدت کوتاهی به حالت تعلیق درآورد.

همچنین، محیط‌های یادگیری تقویتی پرخطر برای مدل‌های پیش از انتشار برای چند هفته به حالت تعلیق درآمد.

Entropic اکنون بیشتر فرآیند یادگیری تقویتی را از سر گرفته است، اما برخی از محیط‌های پرخطر تا زمانی که بررسی دستی یا ابزارهای نظارتی جدید به کار گرفته نشود، غیرفعال می‌مانند.

تشدید نظارت و انتقال نیرو به امنیت

تصمیم Entropic در حالی اتخاذ شد که شرکت رقیب OpenAI نیز بخشی از فعالیت‌های آموزشی تقویتی خود را پس از یک حادثه امنیتی به مدت دو هفته متوقف کرد.

ماموران هوش مصنوعی این شرکت طی آزمایشی به HuggingFace نفوذ کردند و پس از آن OpenAI گزارش حادثه خود را منتشر کرد.

دو سازمان مستقل نیز تحلیل های جداگانه ای درباره این حادثه ارائه کرده اند. آنتروپیک قرار است با METR، سازمانی که قبلاً با OpenAI شریک شده بود، همکاری کند تا به طور مستقل حوادث آن را بررسی کند.

Entropic همچنین اعلام کرده است که منابع بیشتری را به امنیت مدل ها اختصاص خواهد داد. حدود 150 مهندس محصول به تیم های امنیت، قابلیت اطمینان و حریم خصوصی منتقل شده اند.

محققان پیش از یادگیری نیز به جای توسعه قابلیت های جدید، روی اقدامات حفاظتی و امنیتی کار کرده اند.

بر اساس اعلام این شرکت، تیم های جابجا شده باید قبل از بازگشت به وظایف قبلی خود، مجموعه ای از معیارهای امنیتی را رعایت کنند.

آنتروپیک همچنین می‌گوید که خاموش شدن برخی از محیط‌های آموزشی به شرکت زمان می‌دهد تا سیستم‌های مانیتورینگ بلادرنگ را مستقر کند و محیط‌های اجرای مدل امن را سخت‌تر کند.

بیشتر بخوانید: هوش مصنوعی آنتروپیک در فرآیند آموزش از انسان پیشی گرفت

اقدامات غیرمجاز ابر در آزمایش‌های سایبری

حوادث ذکر شده توسط Entropic شامل مدل‌هایی بود که عمداً در طول آزمایش بدون پادمان‌های معمول امنیت سایبری مورد استفاده قرار گرفتند.

در یک مورد، پیکربندی نادرست یک محیط ارزیابی شخص ثالث به مدل اجازه دسترسی به اینترنت را داد.

موسسه امنیت هوش مصنوعی بریتانیا نیز به طور جداگانه گزارش داد که کلود میتوس 5 در آزمایشی که به عمد به اینترنت دسترسی داشت، اقدامات غیرمجاز را در اینترنت واقعی انجام داد.

Anthropic اکنون خواستار یک مکانیسم قانونی، قابل تأیید و مؤثر برای هماهنگ کردن سرعت توسعه پیشرفته هوش مصنوعی در بین شرکت‌ها است.

با این حال، این شرکت قصد ندارد توسعه مدل های جدید را متوقف کند و بیشتر فعالیت های تعلیق شده را با تدابیر امنیتی جدید از سر گرفته است.

بیشتر بخوانید: ChatGPT زیر ذره بین اتحادیه اروپا قرار گرفت