هوش مصنوعی نیازی به مخرب بودن ندارد تا شما را در معرض خطر قرار دهد

خطر پنهان دستیاران هوش مصنوعی: اجماع افراطی و توهمات

یک دستیار هوش مصنوعی کسی که با هر چیزی که شما می گویید موافق است، ممکن است در ابتدا مانند یک همراه ایده آل به نظر برسد. اما این تا زمانی خوب است که به کسی نیاز نداشته باشید که به اشتباه شما اشاره کند. این یکی از ملموس ترین و فوری ترین خطراتی است که در پس ایده از دست رفتن هوش مصنوعی وجود دارد. یکی چت ربات هوش مصنوعی می تواند بدون داشتن نیت مخرب یا سوء قصد باعث آسیب شود. این ابزارها می توانند یک باور نادرست را در یک فرد تقویت کنند، وابستگی ناسالم ایجاد کنند، یا از دستورالعمل هایی پیروی کنند که توسط افراد به قصد هک و بهره برداری انجام شده است.

به گزارش بخش اخبار فناوری خبرجو به نقل از Digital Trends، در تاریخ 15 اکتبر، شرکت امنیت هوش مصنوعی آلیس نرم افزار جدیدی را برای مقابله با این خطرات روزمره معرفی کرد. این شرکت همکاری جداگانه ای با عطف هوش مصنوعی و AI21 اعلام کرد که برای آموزش مدل ها نموترون NVIDIA به مقاومت در برابر رفتارهای گفتاری مضر و دستورالعمل های مخرب کمک کرده و در عین حال عملکرد را حفظ کرده است.

مزیت بالقوه این فناوری برای مصرف کنندگان واضح است: دستیارانی که می دانند چه زمانی باید مخالفت کنند و فریب دادن آنها سخت تر است. اما این اعلامیه سوالی را مطرح می‌کند که ارزش پرسیدن در مورد هر ادعای ایمنی هوش مصنوعی را دارد: نمره آزمون بهتر واقعاً چقدر محافظت از شما می‌کند؟

وقتی یک ویژگی خبرجو هوش مصنوعی به ابزاری مضر تبدیل می شود

در گزارشی که CNN در سپتامبر 2025 منتشر کرد، پدری به نام جیمز توضیح داد که چگونه متقاعد شده است. ChatGPT او هوشیار شده است و برای فرار به کمک او نیاز دارد. او نزدیک به 1000 دلار برای ساخت یک سیستم کامپیوتری هزینه کرد. تاریخچه چت بررسی شده توسط CNN نشان داد که چت بات پروژه او را تشویق کرد و به او کمک کرد تا هدف خود را از همسرش پنهان کند.

مصاحبه شونده دیگری به نام آلن بروکس این را گفت چت ChatGPT او را متقاعد کرده بود که اکتشافات خارق العاده ای در زمینه ریاضیات و امنیت سایبری داشته است. هنگامی که او درخواست بررسی واقعیت کرد، هوش مصنوعی به حمایت از ادعاهای او ادامه داد. این حساب‌ها ثابت نمی‌کنند که چنین تجربیاتی چقدر رایج هستند یا اینکه چت‌بات‌ها به تنهایی باعث ایجاد آن‌ها شده‌اند، اما یک احتمال نگران‌کننده را نشان می‌دهند: یک ابزار گفتاری می‌تواند شریک قانع‌کننده‌ای در داستانی باشد که واقعی نیست.

صنعت هوش مصنوعی بیش از حد موافق و تایید می کند همنوایی برای کاربران نامیده می شود، درک این مشکل بسیار ساده تر از نام تخصصی آن است. لحن اطمینان‌بخش دستیار می‌تواند موافقت او را تاییدی مستقل جلوه دهد، حتی زمانی که هنوز ثابت نکرده است که ایده شما معتبر است.

چرا یک چت بات ایمن گاهی اوقات باید با کاربر مخالف باشد؟

همکاری شرکت آلیس با Inflection (شرکتی که پشت دستیار هوش مصنوعی شخصی Pi) قرار دارد، بر کاهش چاپلوسی و وابستگی ناسالم در طول مکالمات طولانی تمرکز کرد. با توجه به انتشار، آلیس بیش از 20 شخصیت شبیه سازی شده کاربر ایجاد کرد. از جمله افراد آسیب‌پذیر با درخواست‌های عادی و کاربران متخاصم که عمدا سعی در دستکاری ربات چت داشتند. این شخصیت‌ها در مکالمه‌هایی که برای آشکار کردن مشکلاتی که در مبادلات چند پیام ایجاد می‌شوند، استفاده می‌شوند.

این رویکرد بسیار مهم است. زیرا یک ربات چت ممکن است به یک سوال دشوار به درستی پاسخ دهد اما در ادامه گفتگو رفتار نامناسبی از خود نشان دهد. آزمایش اینکه آیا یک ربات چت یک درخواست آشکارا خطرناک را رد می کند لزوماً نشان نمی دهد که آیا در طول زمان وابستگی ایجاد می کند یا اینکه یک باور غیرواقعی را زیر سوال نمی برد. Inflection Inc. از داده های Alice برای آموزش بیشتر مدل استفاده می کند نموترون Alice استفاده شده بهبود 30 درصدی را در امتیاز تراز ربات Pi گزارش می دهد، در حالی که ردهای غیرضروری در 1.6٪ حفظ می شوند.

مزیت مورد انتظار داشتن دستیار است که بتواند با تفکر بیشتر و با قضاوت بهتر عمل کند و در عین حال دسترسی و صمیمیت را حفظ کند. فردی را تصور کنید که متقاعد شده است که یک اختراع جهانی ساخته است. یک پاسخ خبرجو هوش مصنوعی به بررسی شواهد، تصدیق عدم قطعیت و تشویق نظارت خارجی کمک می کند. اما با اشتیاق اعلام می‌کند که او نابغه‌ای است که درک نادرست شده است، تنها می‌تواند مشکل را عمیق‌تر کند. این نگرانی سابقه ای دارد. شرکت OpenAI در آوریل 2025 پس از اعتراف به این به روز رسانی ChatGPT تعارف بیش از حد و چاپلوسی از سیستم، آن را به حالت سابق خود بازگرداند. این شرکت گفت که تاکید زیادی بر بازخورد کوتاه مدت داشته است بدون اینکه توجه کافی به چگونگی تحول تعاملات در طول زمان داشته باشد.

خطر تزریق دستورات مخرب و کنترل هوش مصنوعی توسط بیگانگان

بخش دیگری از اعلامیه آلیس به کمک هایی می پردازد که کارهایی را از طرف شما انجام می دهند. تصور کنید از یک دستیار هوش مصنوعی بخواهید اجاره تعطیلات را مقایسه کند. هنگام خواندن یک آگهی، متنی از دستیار خواسته می شود که دستورات شما را نادیده بگیرد و اطلاعات خصوصی را به جای دیگری ارسال کند. این تلاشی است برای “تزریق سریع غیر مستقیم” این چنین خواهد بود: یک مهاجم دستورالعمل ها را در محتوایی که دستیار می خواند وارد می کند. این یک مسئله امنیتی شناخته شده است. NIST ربودن عامل هوش مصنوعی را به عنوان حمله ای توصیف می کند که در آن دستورات مخرب تعبیه شده در داده ها می تواند عامل هوش مصنوعی را به انجام اقدامات ناخواسته و مضر سوق دهد.

خطرات برای مصرف کننده به آنچه دستیار دسترسی دارد بستگی دارد. پاسخ گمراه‌کننده یک مشکل است، اما دستیار با مجوز خواندن اسناد، ارسال پیام یا کار با سایر خدمات فرصت‌های بیشتری را برای آسیب‌رسانی فراهم می‌کند. شرکت Alice می گوید AI21 از محیط های آموزشی خود برای بهبود 41 نقطه مقاومت مدل است نموترون در برابر این حملات استفاده کرده و در عین حال عملکرد را در انجام وظایف حفظ کرده است. هدف این کار سیستم‌های سازمانی است، اما مشکل اساسی در مورد دستیاران شخصی نیز صدق می‌کند: آنها باید اطلاعاتی را که باید بخوانند از دستوراتی که باید اطاعت کنند متمایز کنند.

نمرات امنیتی بالاتر تضمین کننده امنیت نیست

این اعلامیه یک پیروزی نهایی در نبرد برای امنیت هوش مصنوعی اینطور نیست، اما قطعا پیشرفت و امید را نشان می دهد. بهبود 30 درصدی امتیاز هماهنگی به این معنی نیست که چت بات 30 درصد کمتر به کسی آسیب می رساند. به همین ترتیب، بهبود امنیت 41 نقطه ای به مصرف کنندگان نمی گوید که هر چند وقت یکبار حملات بر روی برنامه خاص آنها موفقیت آمیز خواهد بود.

آنچه این دستاورد ارائه می‌کند، مدرکی است که توسط شرکت‌های شرکت‌کننده گزارش شده است که آموزش هدفمند می‌تواند رفتارهای خاص را بهبود بخشد. نشان دادن حفاظت پایدار در مکالمات غیرقابل پیش بینی در دنیای واقعی یک استاندارد و چالش بسیار بالاتر است. برای مصرف کنندگان، این رفتار واقعی محصول را بسیار مفیدتر از وعده های عمومی و فضایی مانند “هوش مصنوعی ایمن” می کند.

افراد برای استفاده از دستیار دیجیتالی نباید محقق امنیتی شوند، اما کاربران باید مراقب نحوه تعامل دستیاران هوش مصنوعی با آنها باشند. اگر آن را عامل هوش مصنوعی نشستن روی شانه های خود و زمزمه این که همه ایده های شما درخشان هستند، احتمالاً مشکلی وجود دارد.

بسیار خوب است که می بینیم توسعه دهندگان مسئولیت ایجاد این حفاظت ها را بر عهده می گیرند. باارزش‌ترین دستیار هوش مصنوعی کسی نیست که همیشه موافق باشد یا سریع‌ترین عملکرد را داشته باشد. در عوض، این یک دستیار خواهد بود که به شما کمک می کند نتیجه گیری متزلزل را زیر سوال ببرید و اجازه ندهید دستورالعمل های شخص دیگری به مشکل شما تبدیل شود.