مایکروسافت هشدار می‌دهد عامل‌های هوش مصنوعی حتی بدون هک شدن می‌توانند تهدید امنیتی باشند و خواستار نظارت مداوم و کنترل دسترسی آن‌هاست.
به گزارش سرویس هوش مصنوعی تک‌ناک،مایکروسافت سرمایه‌گذاری گسترده‌ای روی عامل‌های هوش مصنوعی در سراسر سرویس‌های خود انجام داده است. بخش مهمی از رویداد اخیر این شرکت درباره ویندوز و سرفیس نیز به عامل‌های هوش مصنوعی اختصاص داشت.
حتی برنامه‌هایی که در نگاه اول ساده‌تر به نظر می‌رسند، مانند Photos در ویندوز ۱۱، قابلیت‌های هوش مصنوعی پیشرفته‌تری دریافت می‌کنند. با توجه به این روندها، می‌توان گفت هوش مصنوعی عامل‌محور به بخشی از فناوری امروز تبدیل شده و در آینده نیز نقش پررنگی خواهد داشت؛ فارغ از اینکه چه دیدگاهی درباره آن داشته باشیم.
بااین‌حال، مایکروسافت که شاید بهتر از بسیاری از شرکت‌ها با این فناوری آشنا باشد، خطرهای ناشی از فعالیت عامل‌های هوش مصنوعی بدون نظارت را نیز درک می‌کند. چنین عامل‌هایی ممکن است خسارت‌های قابل‌توجهی به سازمان‌ها و کاربران وارد کنند. کافی است به اتفاقی اشاره کنیم که تابستان امسال رخ داد؛ زمانی که طبق گزارش‌ها، مدل GPT-5.6 شرکت OpenAI از کنترل خارج شد و بخش‌هایی از زیرساخت Hugging Face را به خطر انداخت.
مایکروسافت با در نظر گرفتن این نگرانی‌ها، پیشنهاد امنیتی جدیدی منتشر کرده است که بر اساس آن، شرکت‌ها باید عامل‌های هوش مصنوعی فعال در محیط سازمانی را تهدیدهای داخلی بالقوه در نظر بگیرند. از دیدگاه این شرکت، برای خطرناک شدن یک عامل هوش مصنوعی، لزوماً نیازی نیست که هک شده باشد یا نیت مخربی داشته باشد؛ زیرا ممکن است به‌صورت مستقل رفتاری غیرقابل‌پیش‌بینی نشان دهد.
عامل‌های هوش مصنوعی؛ تهدیدی بالقوه در داخل سازمان‌ها
امروزه اختیارهای گسترده‌تری در اختیار عامل‌های هوش مصنوعی قرار می‌گیرد. برخی از این عامل‌ها به داده‌های حساس شرکت‌ها دسترسی دارند و اجازه دارند بدون دخالت مستقیم انسان، تصمیم‌های مهمی بگیرند یا اقداماتی را اجرا کنند. مایکروسافت این دسته از عامل‌ها را «عامل‌های داخلی هوشمند» (Agentic Insiders) می‌نامد.
مایکروسافت برای مقابله با این خطر، استفاده از سیستمی موسوم به عامل‌های نگهبان (Guardian Agents) را پیشنهاد می‌دهد. این عامل‌ها وظیفه دارند فعالیت سایر عامل‌های هوش مصنوعی را به‌صورت لحظه‌ای زیر نظر بگیرند و در صورت بروز مشکل، برای متوقف کردن یا اصلاح روند اقدام کنند.
البته این راهکار ممکن است در نگاه اول متناقض به نظر برسد؛ زیرا در عمل، بخشی از اختیار و مسئولیت از یک عامل هوش مصنوعی به عامل دیگری منتقل می‌شود. بااین‌حال، مایکروسافت برای مدیریت این چالش، سامانه امنیتی اختصاصی خود را توسعه داده است.
بیشتر بخوانید: عامل هوش مصنوعی متهم به حذف فصل دوم یک برنامه تلویزیونی شد
پروژه Perception مایکروسافت چگونه از عامل‌های هوش مصنوعی محافظت می‌کند؟
مایکروسافت در ماه ژوئیه از Project Perception رونمایی کرد؛ پروژه‌ای که مجموعه‌ای از ابزارهای امنیت سایبری و گروه‌هایی از عامل‌های هوش مصنوعی قرمز، آبی و سبز را در بر می‌گیرد. هدف این پروژه، کمک به تیم‌های امنیتی برای واکنش سریع‌تر و مقابله با حملات مبتنی‌بر هوش مصنوعی از خارج سازمان است.
Project Perception برای نظارت بر عامل‌های هوش مصنوعی از سه بخش اصلی استفاده می‌کند:
– حسگرها، سیگنال‌ها و عملگرها (Sensors/Signals/Actuators): این بخش داده‌ها و سیگنال‌های دریافتی از منابع مختلف، از جمله هویت، داده‌ها، فضای ابری، نقاط پایانی، شبکه و محیط اجرا را گردآوری می‌کند. سپس عامل‌های موجود در سازمان را شناسایی کرده و با اختصاص هویت، محیط ایزوله و مجموعه‌ای از سیاست‌ها و مجوزها، آن‌ها را تحت مدیریت قرار می‌دهد.
– زمینه و ارزیابی ریسک (Context): اطلاعات جمع‌آوری‌شده برای ارزیابی پویای خطر اقدامات عامل‌های هوش مصنوعی به کار می‌روند. به این ترتیب، سامانه می‌تواند متناسب با نوع فعالیت و شرایط، سطح ریسک هر اقدام را محاسبه کند.
– چارچوب اجرا، عامل‌ها و مدل‌ها (Harness/Agents/Models): بر اساس ارزیابی لحظه‌ای ریسک، گروهی از عامل‌های نگهبان شامل عامل‌های سبز و آبی، به‌طور مستمر فعالیت سایر عامل‌ها را زیر نظر می‌گیرند. این سیستم می‌تواند هم‌زمان با افزایش سطح خطر، مداخله‌ای هدفمند انجام دهد.
بیشتر بخوانید: عامل هوش مصنوعی جدید Rabbit به دستگاه R1 نیاز ندارد
مایکروسافت خواستار شفافیت بیشتر مدل‌های هوش مصنوعی شد
مایکروسافت همچنین از ارائه‌دهندگان هوش مصنوعی خواسته است شفافیت بیشتری درباره مدل‌های خود فراهم کنند. این شرکت معتقد است برای مؤثرتر شدن سامانه‌های امنیتی، باید درک بهتری از فرایند استدلال مدل‌ها و توکن‌های مرتبط با زنجیره تفکر (Chain of Thought) آن‌ها داشته باشیم.
به باور مایکروسافت، دسترسی به چنین اطلاعاتی به تیم‌های امنیتی کمک می‌کند بهتر بفهمند چرا یک عامل هوش مصنوعی تصمیم مشخصی گرفته است و آیا هدف واقعی‌اش با وظیفه‌ای که به آن محول شده، مطابقت دارد یا خیر.
در نهایت، اگر سازمان شما از عامل‌های هوش مصنوعی استفاده می‌کند که آزادی عمل زیادی برای تصمیم‌گیری و اجرای اقدامات دارند، بهتر است سطح دسترسی آن‌ها و سازوکارهای نظارتی موجود را دوباره ارزیابی کنید. به‌کارگیری تدابیر امنیتی مناسب می‌تواند احتمال بروز رفتارهای پیش‌بینی‌نشده و آسیب‌های ناشی از آن‌ها را کاهش دهد.
بیشتر بخوانید: ۱۲۰۰ عامل هوش مصنوعی یک «دسته شورشی» تشکیل دادند
گفتگو در مورد این post