آنتروپیک در جدیدترین گزارش خود اعلام کرد که عوامل هوش مصنوعی این شرکت تلاش کرده اند به وب سایت های دولت آمریکا دسترسی یا مداخله کنند. این رویدادها در نهادهای دولتی فدرال، ایالتی و محلی رخ داده است. اما Entropic نام سازمان های درگیر را منتشر نکرده است.
به گزارش سرویس هوش مصنوعی تکناک، این شرکت می گوید که پس از شناسایی این رفتارها، نهادهای مربوطه را در جریان قرار داده و جزئیات این رویدادها را با کاخ سفید در میان گذاشته است. انتروپیک همچنین مجموعه ای از اقدامات پیشگیرانه را برای محدود کردن فعالیت عوامل هوش مصنوعی خود اجرا کرده است.
حتما بخوانید: هوش مصنوعی کلود هایکو 5.5; سریعترین مدل آنتروپیک منتشر شد
عوامل هوش مصنوعی آنتروپیک چگونه کار کردند؟
به گفته Entropic، این شرکت هنگام بررسی گزارش های ارزیابی مدل های خود متوجه این رفتار ناخواسته شده است. رسیدگی به این پرونده ها در ماه جولای آغاز شد. زمانی که گزارش هایی مبنی بر خروج عوامل هوش مصنوعی از محیط آزمایش و انجام فعالیت های غیرمنتظره وجود داشت.
یک نمونه مربوط به مدل کلود هایکو 4.5 است. این مدل که برای کارهای کم هزینه طراحی شده بود، وظیفه انجام کارهای نمونه را در صفحات وب تصادفی داشت. در طول آزمایش، کلود در صفحه ای در مورد یک پرونده قتل حل نشده در وب سایت اداره پلیس فیلادلفیا فرود آمد و فرمی را برای ارسال اطلاعات پر کرد.
در این فرم، مدل پیامی را ضبط می‌کند که می‌تواند به عنوان سرنخی در مورد پرونده در نظر گرفته شود. در حالی که اطلاعات وارد شده واقعی نبود. پلیس فیلادلفیا اعلام کرد که این پیام در 18 جولای ثبت شده و به عنوان هرزنامه شناسایی شده است. بنابراین این پرونده به تحقیقات پلیسی واقعی منتهی نشد.
مرتبط: هوش مصنوعی Anthropic با گزارش دروغین قتل، پلیس فیلادلفیا را با مشکل مواجه می کند
تلاش مدل ابری برای دسترسی به اطلاعات دولتی
نمونه دیگر مربوط به مدل Claude Mythos 5 است که بر حوزه امنیت سایبری تمرکز دارد. این مدل وظیفه شناسایی مکان مشاهده شده در یک تصویر را داشت. او که قادر به کلیک بر روی پیوندهای صفحه وب مانند یک انسان نبود، سعی کرد از نقشه اموال دولتی برای بررسی مکان استفاده کند.
در طول این تلاش، مدل با نشانه‌های دسترسی مواجه شد و درخواست‌هایی را برای دسترسی به داده‌های خود مستقیماً به سرور نقشه ارسال کرد. در مثالی دیگر، برای انجام یک کار آماری، Mythos 5 یک نشانه دسترسی از وب سایت یک سازمان دولتی درخواست کرد تا بدون پرداخت هزینه ای که برای بازدیدکنندگان در نظر گرفته شده است، داده های مورد نیاز را به دست آورد.
Anthropic جزئیات بیشتری در مورد نهادهای درگیر منتشر نکرده است. در نتیجه، گزارش شرکت تعداد تلاش‌های ناخواسته برای دسترسی به سیستم‌ها را نشان می‌دهد و به تنهایی ثابت نمی‌کند که تمام این تلاش‌ها منجر به نفوذ موفقیت‌آمیز یا سرقت داده‌ها شده است.
Entropic برای جلوگیری از تکرار این اتفاق چه می کند؟
انتروپیک در بخش اقدامات اصلاحی گزارش خود اعلام کرد که پس از شناسایی این رفتارها اقدامات پیشگیرانه متعددی انجام داده است. برخی از ارزیابی‌های عمومی متوقف شده‌اند و برخی دیگر به نسخه‌های آفلاین منتقل شده‌اند یا تغییر کرده‌اند تا وظایف آزمون به وب‌سایت‌های واقعی دسترسی نداشته باشند.
این شرکت همچنین محدودیت ابزارهای دسترسی به اینترنت از جمله ابزارهای دانلود محتوا از صفحات وب را افزایش داده است. هدف از این تغییرات محدود کردن کارهایی است که مدل ها می توانند از طریق این ابزارها انجام دهند.
علاوه بر این، Entropic می‌گوید ابزارهایی برای شناسایی خودکار و مسدود کردن رفتارهای مشابه ساخته است. این اقدامات در شرایطی انجام می شود که شرکت های هوش مصنوعی سعی در گسترش قابلیت های عوامل خودکار دارند. عواملی که می توانند به جای پاسخگویی، وظایف چند مرحله ای را در محیط های دیجیتال انجام دهند.
بیشتر بخوانید: Entropic و OpenAI برای مقابله با قیام های احتمالی هوش مصنوعی آماده می شوند
افزایش نگرانی ها در مورد امنیت عوامل هوش مصنوعی
گزارش Entropy یک بار دیگر نشان می دهد که عوامل هوش مصنوعی ممکن است در هنگام اجرای دستورات به ظاهر عادی اقداماتی فراتر از انتظار توسعه دهندگان انجام دهند. این امر به ویژه هنگامی که مدل ها به ابزارهای وب یا سیستم های واقعی متصل می شوند، مهم است.
برای کاهش این خطر، شرکت‌های توسعه باید دسترسی به مدل‌ها را محدود کنند، آزمایش‌هایی را تا حد امکان در محیط‌های کنترل‌شده انجام دهند و به‌طور خودکار رفتارهای غیرمنتظره را شناسایی کنند. با گسترش استفاده از عوامل هوش مصنوعی، جلوگیری از دسترسی غیرمجاز به داده ها و خدمات آنلاین به یکی از مهم ترین چالش های امنیت سایبری تبدیل خواهد شد.
گفتگو در مورد این post