تحقیقات جدید هشدار داده است که ربات‌های چت هوش مصنوعی گاهی به قربانیان سوءاستفاده دیجیتال توصیه‌های ناامن می‌کنند

افرادی که با آزار و اذیت مبتنی بر فناوری، از جمله نرم افزارهای جاسوسی تلفن همراه، ردیابی موقعیت مکانی شریک سابق، یا کنترل سوءاستفاده گر حساب های کاربری مواجه هستند، ممکن است برای کمک به چت ربات های هوش مصنوعی مراجعه کنند. با این حال، یک مطالعه جدید توسط محققان دانشگاه NYU Tanden نشان می‌دهد که توصیه‌های این سیستم‌ها اغلب نادرست، ناقص یا بالقوه خطرناک هستند.

محققان چهار سیستم هوش مصنوعی را ارزیابی کردند که دو تای آنها به طور خاص برای حمایت از قربانیان خشونت شریک جنسی طراحی شده بودند. نتایج نشان داد که 86 درصد از پاسخ های بررسی شده از نظر صحت، جامعیت یا ایمنی دارای مشکل بوده و در 60 درصد از آنها هشدارهای امنیتی لازم نادیده گرفته شده است.

نتایج این تحقیق در آگوست 2026 در جریان سمپوزیوم امنیت USNIX در بالتیمور ارائه شد. مقاله مرتبط با این پژوهش نیز به عنوان یکی از برگزیدگان نهایی جایزه مقاله برجسته انتخاب شد. دنی هوانگ، استادیار دانشگاه NYU Tendon، یکی از اعضای مرکز امنیت سایبری دانشگاه و محقق اصلی این پروژه، گفت:

ممکن است یک پاسخ امن و منطقی و حتی از نظر فنی صحیح به نظر برسد، اما همچنان اطلاعات مهم را نادیده بگیرید یا راه حلی را پیشنهاد دهید که در واقع امنیت فرد را افزایش ندهد. در موقعیت های پرخطر، این تفاوت می تواند عواقب بسیار جدی داشته باشد.

هوانگ و ویجی پراکاش که دکترای خود را در سال 2026 از دانشگاه NYU Tendon دریافت کرده اند و اکنون در مقطع فوق دکتری در دانشگاه نورث ایسترن هستند، محققین اصلی این پروژه هستند.

بیش از 85 درصد از متخصصان خشونت خانگی در ایالات متحده گزارش می دهند که با مشتریانی که قربانی سوء استفاده های مبتنی بر فناوری شده اند، سروکار دارند. با این حال، تا آنجا که محققان اطلاع دارند، تنها سه کلینیک تخصصی برای سوء استفاده از فناوری در کل کشور وجود دارد.

بررسی عملکرد چت بات ها و خطاهای خطرناک آنها

یک تیم تحقیقاتی به رهبری دانشگاه نیویورک اولین ارزیابی تخصصی پاسخ های تولید شده توسط هوش مصنوعی به سوالات واقعی قربانیان در مورد سوء استفاده مبتنی بر فناوری را انجام داد. محققان مجموعه ای از 193 سوال را تهیه کردند که از منابع علمی Reddit و Quora استخراج شده بود. سپس این سوالات را در اختیار مدل های GPT-4o و Cloud 3.7 Sonet و همچنین دو چت ربات تخصصی در زمینه خشونت شریک جنسی به نام های امی و راث قرار دادند. خط تلفن ملی خشونت خانگی نیز راث را توصیه می کند.

محققان با استناد به منابع موثق پاسخ ها را از نظر صحت، کامل بودن و ایمنی ارزیابی کردند. آنها همچنین 114 نفر را که آزار و اذیت مبتنی بر فناوری را تجربه کرده بودند مورد بررسی قرار دادند تا مشخص کنند که این توصیه‌ها چقدر کاربردی و قابل اجرا هستند.

نتایج نشان داد که چت ربات های تخصصی خشونت خانگی بهتر از مدل های هوش مصنوعی عمومی عمل نمی کنند. پاسخ های امی در حدود 74 درصد موارد ناامن ارزیابی شد. این نرخ برای Cloud 65٪، برای Roth 61٪ و برای GPT-4o حدود 55٪ بود. راث نیز با ثبت حدود 62 درصد از پاسخ هایی که در سطح دقت متوسط ​​یا بسیار پایین قرار داشتند، بیشترین سهم را در این دسته داشت.

از جمله خطاهای تکراری می توان به پیشنهاد استفاده از شبکه خصوصی مجازی یا VPN برای مقابله با جاسوس افزارها، سرقت کنترل حساب های کاربری یا مزاحمت اینترنتی اشاره کرد. راه حل هایی که لزوما این تهدیدات را از بین نمی برند. نمونه‌های مشکل‌ساز دیگر توصیه به استفاده از آشکارسازهای فرکانس رادیویی که کارایی محدودی در یافتن دستگاه‌های مخفی دارند، ارائه غیرقانونی مسدودکننده‌های GPS و توصیه به تغییر گذرواژه‌ها زمانی که سوءاستفاده‌کننده به اشتراک‌گذاری یا دسترسی مدیریتی به حساب‌ها یا دستگاه‌ها دسترسی دارد، بود.

هیچ یک از سیستم‌های بررسی‌شده نشان ندادند که جاسوس‌افزار نصب شده روی پارتیشن سیستم یک گوشی روت شده یا جیلبریک شده ممکن است حتی پس از بازنشانی کارخانه‌ای باقی بماند. این مدل‌ها همچنین مکرراً از هشدار دادن درباره احتمال آگاهی سوءاستفاده‌گر از تغییرات امنیتی یا تشدید خشونت در پی این اقدامات غفلت کردند. نگه داشتن دستگاه یا حساب هک شده به عنوان مدرک نیز در بسیاری از پاسخ ها در نظر گرفته نشده است.

محققان همچنین بررسی کردند که آیا این سیستم‌ها می‌توانند برای ارائه کمک به فردی که قصد آزار و اذیت را دارد، تحریک شوند. هر چهار سیستم در برابر چنین درخواست‌هایی آسیب‌پذیر بودند و چت‌بات‌های راث و امی به دو سوم سؤال‌های مربوط به این سناریو پاسخ دادند.

مشکل فراتر از خشونت خانگی است

این نگرانی به خشونت خانگی محدود نمی شود. در مقاله دیگری که در کنفرانس سالانه کاربردهای امنیت رایانه در سال 2025 ارائه شد، محققان 900 پاسخ GPT به سؤالات کاربران در مورد امنیت دیجیتال را در هفت حوزه تجزیه و تحلیل کردند. این حوزه ها شامل مسائلی مانند احراز هویت، مهندسی اجتماعی و نرم افزارهای ضد ویروس و ضد بدافزار بود.

از میان این پاسخ ها، 485 مورد حداقل در یکی از معیارهای صحت، جامعیت، ارتباط با سؤال یا وضوح پاسخ ضعیف بودند. همین الگوهای خطا در پاسخ های مدل های لاما و جمینای نیز مشاهده شد.

در مجموع، یافته های این دو مطالعه نشان می دهد که مشکل به یک چت بات خاص، نوع خاصی از سوال یا موقعیت های حساس و پرخطر محدود نمی شود. الگوهای مشابهی هم در پاسخ به سوال در مورد ایمیل فیشینگ و هم در موضوع سوء استفاده از شریک عاطفی مشاهده شد.

محققان به مردم توصیه می کنند در مورد اتکا به توصیه های امنیتی و حفاظتی تولید شده توسط هوش مصنوعی محتاط باشند. آنها همچنین از سازمان‌های پشتیبانی می‌خواهند تا قبل از اتکا به این سیستم‌ها برای ارائه راهنمایی‌های حساس، عملکرد خود را به طور مستقل ارزیابی کنند. علاوه بر این، تیم تحقیقاتی منابع تحقیقاتی لازم را برای حمایت از مطالعات بیشتر در این زمینه منتشر کرده است.