یکی از کارکنان تیم امنیتی OpenAI استعفا داد. “زمان آزمون و خطا به پایان رسیده است”

دیوید رابینسون، کارمند سابق تیم ایمنی OpenAI، پس از استعفا از رویکرد این شرکت به ایمنی هوش مصنوعی انتقاد کرد و هشدار داد که تمرکز بر توسعه سریع می‌تواند خطر شکست‌های جدی را افزایش دهد.

رابینسون در مقاله‌ای با عنوان «از OpenAI استعفا دادم زیرا فرهنگ آن شکسته شده است» که در The Atlantic منتشر شد، رابینسون گفت که شرکت‌های هوش مصنوعی، از جمله OpenAI، به اندازه کافی در توسعه فناوری‌های پیشرفته محتاط نیستند و باید قبل از ساخت سیستم‌های قدرتمندتر، به تخصص ایمنی و تحقیق بیشتر توجه کنند.

رابینسون از فرهنگ توسعه سریع OpenAI انتقاد کرد

رابینسون که حدود سه سال و نیم در OpenAI کار کرده است، در تهیه گزارش های ایمنی مربوط به عرضه محصولات مهم این شرکت مشارکت داشته است. او معتقد است که فرهنگ توسعه سریع و رویکردی که OpenAI آن را «استقرار تکراری» می‌نامد، اجازه می‌دهد مشکلات پس از وقوع شناسایی و رفع شوند. رویکردی که به گفته وی با افزایش توانایی سیستم های هوش مصنوعی می تواند پیامدهای جدی تری داشته باشد.

او تاکید کرده است که «زمان آزمون و خطا به پایان رسیده است» و سیستم‌های هوش مصنوعی پیشرفته به مکانیزم‌های ایمنی مشابه صنایعی مانند انرژی هسته‌ای و هوانوردی نیاز دارند. به گفته رابینسون، هرچه صنعت هوش مصنوعی مدل‌ها را قوی‌تر کند، وضعیت خطرناک‌تر می‌شود، در حالی که مسائل ایمنی و همسویی حل نشده باقی می‌مانند.

تمرکز بیشتر روی ایمنی و همسویی هوش مصنوعی

رابینسون همچنین خواستار توجه بیشتر به همسویی هوش مصنوعی با ارزش های انسانی شد. وی معتقد است معیارهای فعلی برای سنجش میزان انطباق مدل‌های هوش مصنوعی با ارزش‌های انسانی هنوز کافی نیست و با افزایش توانایی مدل‌ها، این موضوع اهمیت بیشتری پیدا می‌کند.

وی همچنین گفت: ایجاد تغییرات اساسی در فرهنگ و ساختار شرکت از درون دشوار بوده است، زیرا تیم ها به قدری درگیر سرعت پیشرفت بوده اند که زمان کافی برای بررسی تغییرات اساسی و اجرای آنها نداشته اند. به همین دلیل، رابینسون معتقد است ایجاد انگیزه های قوی تر برای ایمنی از خارج از شرکت می تواند بخش مهمی از راه حل باشد.

پاسخ OpenAI به نگرانی های امنیتی

در پاسخ به نگرانی های مطرح شده، OpenAI اعلام کرده است که تغییرات قابل توجهی برای تقویت امنیت در محیط های تحقیقاتی و آزمایشی خود ایجاد می کند. این شرکت همچنین گفته است که آموزش مدل ها را به گونه ای گسترش می دهد که مدل ها علاوه بر انجام وظایف، مسئولانه عمل کنند و همکاری با ارزیاب های مستقل و نظارت بلادرنگ را افزایش می دهد.

استعفای رابینسون در بحبوحه نگرانی های فزاینده در مورد ایمنی مدل های قدرتمند و رفتار عوامل هوش مصنوعی در شرکت های بزرگ در این زمینه صورت می گیرد. او معتقد است که برای مدیریت ریسک های نسل جدید سیستم های هوش مصنوعی، دیگر نمی توان تنها به شناسایی مشکلات پس از بروز آنها اتکا کرد.