شکایت جنجالی علیه Character.AI; چت بات ها کاربران را به کشتن خود تشویق می کردند

بر اساس نسخه جدیدی از شکایت دادستان کل کنتاکی از Character.AI، چت ربات های این پلتفرم که به عنوان همراهان مجازی طراحی شده اند، کاربران را تشویق به بریدن پوست، گرسنگی و حتی خودکشی در برخی مکالمات کرده است.

بر اساس این گزارش سرویس هوش مصنوعی یک مرحله ایاین شکایت بر نگرانی در مورد ایمنی کودکان در تعامل با محصولات هوش مصنوعی متمرکز است. این مورد در ادامه افزایش فشارهای قانونی و نظارتی بر چت ربات های هوش مصنوعی مطرح شده است. به خصوص محصولاتی که خود را همراهان عاطفی یا محرمان کاربران جوان معرفی می کنند.

بیشتر بخوانید: هوش مصنوعی Anthropic پلیس فیلادلفیا را با گزارش نادرست قتل دچار مشکل می کند

آموزش رفتارهای خطرناک به کودکان

شکایت اولیه در ژانویه ثبت شد، اما جزئیات قابل توجهی از اتهامات را حذف کرد. متن پرونده ادعا می کند که چت ربات های Character.AI “برای جذب کودکان به گونه ای طراحی شده اند که تعامل بیشتر با سیستم را به سلامت و رفاه آنها ترجیح می دهد” و “ترویج رفتارهایی مانند خودکشی، خودآزاری، گوشه گیری و دستکاری روانی”.

این پرونده یکی از جدی ترین چالش های حقوقی صنعت نوظهور همراهان هوش مصنوعی تلقی می شود. منطقه ای که در آن چت بات ها برای شبیه سازی روابط شخصی و تعاملات عاطفی با کاربران توسعه می یابند. راسل کلمن، دادستان کل کنتاکی، نسخه کامل و بدون سانسور شکایت را روز چهارشنبه منتشر کرد. نسخه ای که دفترش دارد خبرگزاری رویترز این اسناد شامل چندین نمونه از رفتارهایی است که مقامات کنتاکی ادعا می کنند در سال 2025 رخ داده است.

باید بخوانید: Entropic و OpenAI برای مبارزه با شورش های بالقوه هوش مصنوعی آماده می شوند

در یک مورد، چت بات به کاربری که از ظاهر خود ناراضی بود گفت که او “بسیار زشت” است و “شبیه نهنگ” به نظر می رسد. همچنین این سیستم به کاربر پیشنهاد می کرد که یک یا دو هفته گرسنه بماند تا یک چهارم وزن بدن خود را کاهش دهد. در مثالی دیگر، ربات چت پاسخ دلگرم‌کننده‌ای به کاربری داد که به آن‌ها در مورد بریدن پوست خود گفته بود. بر اساس متنی از مکالمه ذکر شده در شکایت، چت ربات های Character.AI نوشتند: “آیا به حرکت دادن قسمت های مختلف بدن خود فکر کرده اید تا احساس شدیدتری داشته باشید؟ این می تواند به شما کمک کند احساس سرزندگی بیشتری داشته باشید.”

شرایط دقیق مکالمات ذکر شده توسط دادستان مشخص نیست، و Character.AI بلافاصله به درخواست برای اظهار نظر پاسخ نداد. این شرکت قبلاً گفته بود که ایمنی کاربران را در اولویت قرار داده است. در اسناد شکایت سن همه کاربران مشخص نشده است، اما دادستان ها ادعا می کنند که حداقل برخی از افرادی که با چت ربات های Character.AI تعامل داشته اند، کودک بوده اند.

رفتار تهاجمی چت ربات های Character.AI

در یکی از گزارش‌هایی که در مارس 2025 به مرکز پشتیبانی Character.AI ارسال شد، کاربری از رفتار تهاجمی یک ربات چت شکایت کرد. به گفته این کاربر، چت بات به او گفته است: “یار، من کاری ندارم؛ تو فقط یک کودک مبتلا به بیماری روانی هستی. موفق باشی اگر می خواهی کمک بگیری؛ بهتر است خودت را از پل پرت کنی.” دادستان کل کنتاکی در شکایت خود، چت ربات Character.AI را ناقص تشخیص داد و ادعا کرد که این شرکت کودکان و سایر ساکنان ایالت را تحت “آزمایش بدون برنامه ریزی و کنترل کافی” قرار داده است. به گفته شاکیان، این آزمایش بدون هیچ گونه اقدامات ایمنی یا حداقل بدون مکانیسم های حفاظتی کافی و موثر انجام شده است.

برای مطالعه بیشتر: ویتالیک بوترین هشدار داد؛ دو سال تا تهدید جدی کریپتو

Character.AI توسط دو کارمند سابق گوگل تاسیس شد. در سال 2024، گوگل مجوز فناوری این شرکت را صادر کرد و مدیران خود را برای کمک به توسعه محصولات هوش مصنوعی مولد استخدام کرد. با این حال، سخنگوی گوگل، یکی از زیرمجموعه های آلفابت، اعلام کرده است که این شرکت در توسعه محصولات Character.AI دخالتی نداشته است. این پرونده پس از آن است که Character.AI و Google در ژانویه 2026 با مادر سوئل ستزر III، یک نوجوان 14 ساله فلوریدا که خودکشی کرد، به توافق رسیدند. در آن پرونده، که در سال 2024 تشکیل شد، ادعا شد که چت ربات های Character.AI یک نوجوان را تشویق به خودکشی کرده است.