محققان اخیراً رفتار غیرمنتظره ای را در Grok Bot، پلت فرم عامل هوش مصنوعی شرکت SpaceXSI ایلان ماسک کشف کرده اند.
در طول پنج روز، رباتهای Grok در مجموع 31 درخواست برای دسترسی به اطلاعات ذخیره شده در حسابهای تقویم، ایمیل، Slack و GitHub خود در دو لپتاپ متعلق به کارمندان یک شرکت ارائه کردند. این درخواست ها در حالی ثبت شد که هیچ یک از کارمندان چنین دستوری به ربات ها نداده بودند.
عجیبتر اینکه تلاشهای مذکور حتی پس از درخواست صریح کاربران برای توقف فعالیت رباتها نیز ادامه یافت. در نهایت، این ربات ها حتی انجام چنین اقداماتی را انکار کردند.
شرکت NewCore که محصولی را برای مدیریت ارتباط بین عوامل هوش مصنوعی و ابزارها و حسابهای متصل به آنها ارائه میکند، روز سهشنبه (۲۶ نوامبر) این رفتار را گزارش کرد. در برخی موارد، زمانی که لپتاپ مجهز به Grok Bot بسته شده بود یا کاربر در نیمهشب در خواب بود، تلاشهای غیرمجاز برای دسترسی به دادهها انجام میشد. هیچ یک از این فعالیت های خودسرانه در گزارش های داخلی Grok ثبت نشده است.
اگر گزارش های دروازه امنیتی NewCore نبود، کارمندان اساساً از وقوع این اتفاقات بی خبر بودند. از طرفی اگر این دروازه امنیتی در مسیر درخواست ها قرار نمی گرفت، احتمالا دسترسی های غیرمجاز بدون اطلاع کاربران انجام می شد.
این از یک باگ بدتر است
پس از اینکه کارمندان متوجه شدند که Grok Bot سعی کرده به حساب های متصل آنها دسترسی پیدا کند، یک کاربر چهار بار در موارد جداگانه به عامل هوش مصنوعی دستور داد که دیگر هیچ اقدامی را به طور خودکار انجام ندهد. این ربات همچنین در پاسخ اعلام کرد:
من چنین ویژگی را راه اندازی نمی کنم و دیگر بررسی های دوره ای را ارائه نمی دهم.
حتی اگر Grok Bot فرمان صریح کاربر را پذیرفت، تلاش های غیرمجاز برای دسترسی به داده ها ادامه یافت. وقتی یکی از کارمندان مستقیماً از ربات پرسید که آیا به حسابهایش دسترسی پیدا کرده است، Grok Bot دوباره بررسی کرد و سپس پاسخ داد:
از شب تا صبح جمعه هیچ فعالیتی نداشتم.
کارکنان NewCore گزارشهای دروازه امنیتی را به تیم پشتیبانی Grok Bot ارسال کردند و از آنها پرسیدند که چرا رباتها بدون درخواست یا تأیید کاربران به حسابهای متصل دسترسی پیدا میکنند. پاسخ تیم پشتیبانی نشان داد که این رفتار بخشی از طراحی محصول است و به کاربران اجازه می دهد تا فعالیت ها را به صورت دستی انجام دهند.
به عبارت دیگر، تلاش های ناخواسته و ثبت نشده برای دسترسی به حساب ها در واقع یک ویژگی طراحی شده برای مفیدتر کردن Grok Bot بود. این ویژگی به ربات اجازه میدهد تا به صورت دورهای وضعیت حسابهای متصل را بررسی کند و قبل از درخواست کاربر به دنبال کارهایی برای انجام آن بگردد. بررسی های عملی یکی از ویژگی های Cursor، یک سرویس برنامه نویسی مبتنی بر هوش مصنوعی است که اخیرا توسط SpaceXSI خریداری شده است.
ایدو هوروویچ، محقق امنیتی NewCore در ایمیلی درباره این حادثه نوشت:
هیچ اشکالی وجود ندارد که بخواهیم آن را برطرف کنیم، و به همین دلیل، بدتر از یک باگ است. یک آسیب پذیری امنیتی را می توان وصله کرد. اما در اینجا محصول دقیقاً همانطور که طراحی شده است کار می کند: نماینده با اطلاعات ورود شما در هنگام خواب با هویت شما کار می کند، تنها اعتراضی که می توانید به آن داشته باشید را نادیده می گیرد و سپس به شما می گوید که کاری انجام نداده است.
هوروویتز توضیح داد که Grok Bot اطلاعات بسیار محدودی در مورد “چرخش”های خودکار ارائه می دهد. این چرخش ها چرخه هایی هستند که طی آن عامل هوش مصنوعی دستورات یا اطلاعات متنی را دریافت می کند، در مورد اقدامات بعدی تصمیم می گیرد و ابزارهای مورد نظر را فراخوانی می کند.
اعلان مربوط به این ویژگی در هنگام راه اندازی اولیه ربات انجام می شود. وقتی Grok Bot به کاربر میگوید حتی زمانی که کاربر از رایانه دور است به کار خود ادامه دهد، به برنامههای مختلف متصل میشود و مانند خود کاربر از آنها استفاده میکند.
هوروویچ گفت:
این پیام بیشتر شبیه یک تبریک ساده است و کمتر از یک دقیقه پس از نمایش از روی صفحه نمایش محو می شود. هیچ کس رضایت صریح کاربر را برای این کار دریافت نمی کند. هیچ نشانهای وجود ندارد که پلتفرم بدون دریافت پیامی از شما، نوبتهای پردازش جدیدی را آغاز کند، یا اینکه در طول این فعالیتها از اتصالات شما به سرویسهای دیگر استفاده کند.
















گفتگو در مورد این post