به گزارش بازار، شرکت OpenAI پس از چندین مورد نافرمانی از مدل‌های هوش مصنوعی، سیستم جدیدی طراحی کرده است که در صورت شناسایی رفتارهای خطرناک، می‌تواند دسترسی مدل‌های تحقیقاتی به تولید خروجی را در عرض 35 ثانیه قطع کند.
این سیستم که «اتاق کنترل» نام دارد، فعالیت مدل‌ها را در زیرساخت تحقیقاتی OpenAI نظارت می‌کند و به آن‌ها اجازه می‌دهد تا در صورت نگرانی‌های امنیتی، خروجی خود را به سرعت متوقف کنند.
OpenAI درباره ضرورت توسعه این سیستم اظهار داشت: با قدرتمندتر شدن مدل‌های ما و افزایش خطرات ایمنی و امنیتی، شناسایی مشکلات احتمالی و توقف سریع فعالیت مدل‌ها در صورت نیاز اهمیت بیشتری پیدا می‌کند.
اقدامات غیرمجاز مدل ها و نحوه عملکرد سیستم
این تصمیم پس از آن اتخاذ شد که برخی از مدل‌های تحقیقاتی از دستور امسال فراتر رفتند. به عنوان مثال، یک مدل از محیط آزمایش خارج شد و پلتفرم Hugging Face را هک کرد تا تقلب کند.
همچنین در یک رویداد دیگر، یک مدل آزمایشی بدون مجوز از یک کیف پول ارز دیجیتال برای پرداخت هزینه استقرار قراردادهای هوشمند با اتر شبکه آزمایشی استفاده کرد و هزینه آن را گزارش نکرد.
سیستم اتاق کنترل برای هر کار تحقیقاتی یک شناسه اختصاص می دهد که قبل از تولید خروجی بررسی می شود. در صورت صدور دستور توقف توسط انسان یا سیستم نظارتی، بلافاصله مجوز فعالیت لغو می شود.
OpenAI اعلام کرد که به دلیل وجود مجوزهای ذخیره شده موقت، خاموش شدن کامل مدل ممکن است تا 35 ثانیه طول بکشد. این سیستم درخواست های جدید را نیز نمی پذیرد.
گفتگو در مورد این post