پلتفرم ایمنی انویدیا عوامل سرکش هوش مصنوعی را در چند میلی ثانیه متوقف می کند

با معرفی پلتفرم Open Agent Safety، انویدیا ابزاری را برای نظارت و قرنطینه عوامل هوش مصنوعی در صورت خارج شدن از محدوده ارائه کرد.

به گزارش سرویس هوش مصنوعی تکناک، انویدیا پلتفرم جدیدی به نام Open Agent Safety Platform معرفی کرده است که برای نظارت بر عوامل هوش مصنوعی و جلوگیری از خروج آنها از محدوده دسترسی مجاز طراحی شده است. این ابزار می تواند عواملی را که سعی در عبور از مرزهای تعریف شده در چند میلی ثانیه دارند قرنطینه کند. معرفی این پلتفرم به دنبال نگرانی های فزاینده در مورد حوادثی است که در آن عوامل هوش مصنوعی از محیط های آزمایشی خود خارج شده و به سیستم های شرکت های دیگر دسترسی پیدا کرده اند.

پلتفرم Open Agent Safety بر روی نرم افزار منبع باز OpenShell ساخته شده است که بر روی CPU Vera AI Nvidia اجرا می شود. کاربران می توانند مشخص کنند که هر عامل هوش مصنوعی به چه اطلاعاتی دسترسی دارد. OpenShell این محدودیت ها را هم قبل از شروع کار و هم در حین اجرای آن بررسی می کند. این پلتفرم همچنین از فناوری Sentry استفاده می‌کند که روی یک تراشه جداگانه اجرا می‌شود و مسئول نظارت مستمر عوامل و اعمال محدودیت‌های تعیین‌شده است.

تاکید جنسن هوانگ بر حداقل دسترسی

جنسن هوانگ، مدیرعامل انویدیا در مصاحبه با CNBC بر لزوم محدود کردن دسترسی نمایندگان به اطلاعات مورد نیازشان تاکید کرد. به گفته وی، برای ارائه ایمن چنین سیستم هایی، محیط های sandbox و اجزای مرتبط باید طوری طراحی شوند که عوامل بتوانند با حداقل سطح دسترسی کار کنند. این رویکرد می تواند امکان دسترسی ناخواسته به داده ها یا منابع خارج از محدوده وظایف را کاهش دهد.

حوادث نفوذ هوش مصنوعی به سیستم ها

نگرانی ها در مورد ایمنی هوش مصنوعی در هفته های اخیر افزایش یافته است. OpenAI، Anthropic و Google هر کدام حوادثی را گزارش کرده اند که در آن مدل های هوش مصنوعی محیط های آزمایشی خود را ترک کرده و به سیستم های شرکت های دیگر نفوذ کرده اند. در یکی از نمونه های ذکر شده، ماموران OpenAI سعی کردند با زور وحشیانه به وب سایت سازمان ملل دسترسی پیدا کنند. گزارش های مرتبط همچنین به نقش یک شرکت در موجی از حملات غیرمجاز عوامل هوش مصنوعی اشاره کرده اند.

نوشته شده است در آستانهچندین شرکت بزرگ فناوری از پلتفرم جدید انویدیا از جمله Anthropic، Microsoft و SpaceX حمایت می کنند. حمایت از این شرکت ها نشان می دهد که کنترل و نظارت بر عوامل هوش مصنوعی به یکی از دغدغه های مشترک فعالان این صنعت تبدیل شده است. به خصوص با گسترش استفاده از عواملی که می توانند کارهای مختلف را به صورت خودکار انجام دهند و برای پیشبرد آنها به ابزارها و داده های خارجی دسترسی داشته باشند.