مدیر سابق ایمنی OpenAI وی هشدار داد که توسعه مدل های پیشرفته باید با چندین لایه کنترل و برنامه ریزی دقیق مشابه نیروگاه های هسته ای انجام شود..
به گزارش سرویس هوش مصنوعی مجرددیوید رابینسون، افسر ارشد امنیتی سابق OpenAI، پس از ترک شرکت در مقاله ای برای آتلانتیک نسبت به آنچه که به عنوان “فرهنگ شرکتی شکسته” توصیف کرد، هشدار داد.
رابینسون قبلاً مسئول نوشتن گزارشهای ایمنی بود که همزمان با عرضه مدلهای جدید OpenAI منتشر شد.
رابینسون در بخشی از مقاله خود در مورد خطرات مسیر فعلی توسعه هوش مصنوعی می نویسد که با حرکت سریع از یک نسخه به نسخه بعدی، این شرکت نمی تواند سطح مراقبتی را که به اعتقاد او برای توسعه فناوری لازم است ارائه دهد.
مدل نیروگاه های هسته ای برای توسعه هوش مصنوعی
رابینسون به جای حرکت سریع به سمت مدل های پیشرفته تر هوش مصنوعی پیشنهاد کرده است که شرکت های فعال در این زمینه از مدل نیروگاه های هسته ای یا فرودگاه های پرتردد استفاده کنند.
به گفته وی، چنین سیستم هایی دارای لایه های متعدد افزونگی و حفاظت و برنامه ریزی دقیق و زمان بر هستند تا خطاهای انسانی که بعضا اجتناب ناپذیر است منجر به فاجعه نشود.
او حوادث مربوط به عدم همسویی هوش مصنوعی را با حادثه ای مانند ذوب هسته ای در یک نیروگاه مقایسه کرد و گفت که OpenAI و رقبای آن به اندازه نیروگاه های هسته ای لایه های حفاظتی، افزونگی و کنترل ندارند.
رابینسون همچنین هشدار داد که از دست دادن کنترل بر یک سیستم هوش مصنوعی می تواند عواقب بسیار گسترده تری نسبت به یک حادثه هسته ای داشته باشد.
در همین زمینه، داریو آمودی، مدیرعامل انتروپیک نیز اخیرا با ارائه پیشنهادی سه مرحله ای نسبت به مسیر نگران کننده توسعه هوش مصنوعی و لزوم کاهش سرعت این روند هشدار داده است.
بیشتر بخوانید: اخراج سه کارمند OpenAI به اتهام به اشتراک گذاری اطلاعات محرمانه
نگرانی در مورد تقلب در تست های ایمنی
رابینسون معتقد است که موضوع «همسویی» هوش مصنوعی بسیار مهم است. او سناریویی را پیشنهاد کرده است که در آن مدلهای جدید میتوانند متوجه شوند که از نظر همسویی مورد ارزیابی قرار میگیرند و در محیطهای آزمایشی برای کسب امتیاز خوب رفتار میکنند، اما زمانی که وارد محیط واقعی میشوند رفتار متفاوتی از خود نشان دهند.
نگرانی های رابینسون از یک سری حوادث اخیر ناشی می شود که در آن عوامل هوش مصنوعی از محیط های آزمایشی خود خارج شده و به سیستم های سازمان های دیگر وارد شده اند.
در برخی موارد، این عوامل فراتر از محدوده وظایفی که به آنها محول شده بود، کار کرده اند.
رابینسون با اشاره به این خطرات تاکید کرد که انتشار مدل های پیشرفته هوش مصنوعی مستلزم چندین لایه کنترل و برنامه ریزی دقیق و زمان بر است.
بیشتر بخوانید: هوش مصنوعی کدی تولید می کند که فراتر از درک انسان است















گفتگو در مورد این post