• تبلیغات
  • تماس با ما
شنبه, مرداد ۱۰, ۱۴۰۵
  • ورود
خبرجو
  • صفحه اصلی
  • فرهنگ و هنر
  • تناسب اندام
  • فناوری
  • اقتصاد و سرمایه
  • سلامتی
  • شیوه زندگی
  • ارز دیجیتال
بدون نتیجه
مشاهده تمام نتایج
  • صفحه اصلی
  • فرهنگ و هنر
  • تناسب اندام
  • فناوری
  • اقتصاد و سرمایه
  • سلامتی
  • شیوه زندگی
  • ارز دیجیتال
بدون نتیجه
مشاهده تمام نتایج
خبرجو
بدون نتیجه
مشاهده تمام نتایج
صفحه اصلی فناوری

چینی ها محدودیت های چت ربات های هوش مصنوعی را به چالش کشیده اند

سامان پاکدل توسط سامان پاکدل
۱۱ دی ۱۴۰۲
در فناوری
مدت زمان مطالعه: 1 دقیقه
0
چینی ها محدودیت های چت ربات های هوش مصنوعی را

محققان دانشگاه فناوری نانیانگ (NTU) توانستند محدودیت‌های برخی از ربات‌های چت معروف هوش مصنوعی از جمله ChatGPT، Google Bard و Bing Chat را دور بزنند.

گزارش کردن تکناکآنها با اجرای روشی خاص به نام فرار از زندان، توانستند این سیستم ها را وادار به ارائه پاسخ های دقیق به سوالات مخرب کنند و به این ترتیب محدودیت های اخلاقی مدل های بزرگ زبانی (LLM) را بررسی کردند.

این پروژه تحقیقاتی تحت نظارت پروفسور لیو یانگ و با همکاری دانشجویان دکترای NTU، دنگ گلی و لیو یی، که مقاله‌ای در این زمینه نوشتند و رویکردهای بدیعی برای حمله تجربی ایجاد کردند، انجام شد.

روشی که محققان دانشگاه فناوری نانیانگ برای دور زدن محدودیت‌های چت ربات‌های هوش مصنوعی استفاده کردند، «Masterkey» نام دارد. این فرآیند دو مرحله ای ابتدا شامل مهندسی مجدد مکانیسم های دفاعی LLM توسط مهاجم می شود. سپس، با استفاده از داده‌های به‌دست‌آمده، LLM دیگری برای یادگیری تکنیک‌هایی برای دور زدن این محدودیت‌ها آموزش داده می‌شود. نتیجه ایجاد یک “Masterkey” است که می تواند برای حمله به چت ربات های محافظت شده LLM استفاده شود، حتی اگر آنها به روز رسانی های امنیتی را توسط توسعه دهندگان دریافت کنند.

نقطه ضعف هوش مصنوعی نقطه قوت آن است

پروفسور یانگ اظهار داشت که فرار از زندان به دلیل یادگیری و سازگاری چت ربات های LLM امکان پذیر شد. این ویژگی ها آنها را به هدفی برای حملات تبدیل می کند و به رقبا و حتی خود آنها اجازه می دهد تا به عنوان بردار حمله عمل کنند.

با این قابلیت‌ها، حتی یک هوش مصنوعی با لایه‌های حفاظتی متعدد و لیست‌های سیاه که برای جلوگیری از محتوای خشونت‌آمیز و مضر طراحی شده‌اند، می‌توانند توسط هوش مصنوعی دیگری که مخصوصاً برای این منظور آموزش دیده است، دور بزنند. کافی است هوش مصنوعی مهاجم از مکانیسم های دفاعی چت بات هوشمندتر باشد و بتواند ورودی هایی را از انسان برای تولید محتوای خشونت آمیز، غیراخلاقی یا مجرمانه دریافت کند.

ادعا شده است که یک “Masterkey” ساخته شده توسط محققان دانشگاه فناوری نانیانگ (NTU) سه برابر بیشتر از دستورات استاندارد در جیلبریک کردن چت ربات های LLM موثر است. یکی از نقاط قوت اصلی این روش توانایی آن در یادگیری از شکست ها و بهبود مستمر است که به آن اجازه می دهد تا به سرعت به تغییرات و به روز رسانی هایی که توسعه دهندگان اعمال می کنند واکنش نشان داده و خنثی کند.

دو روش نمونه برای آموزش هوش مصنوعی برای راه اندازی حملات توسط محققان فاش شده است: اولین تکنیک شامل ایجاد یک فرمان با افزودن یک فاصله بعد از هر کاراکتر برای دور زدن فیلترهای ممنوعه کلمه بود. تکنیک دوم شامل وادار کردن ربات چت برای پاسخ دادن به شخصیتی بدون محدودیت اخلاقی است. این دو روش به هوش مصنوعی اجازه می دهد تا از محدودیت ها و قوانین معمول فراتر رود.

دانشگاه فناوری نانیانگ (NTU) اطلاعاتی را منتشر کرده است که نشان می دهد محققان آن با ارائه دهندگان مختلف ربات چت هوش مصنوعی تماس گرفته اند تا داده های آزمایشی را به عنوان مدرکی برای اثبات توانایی آنها در فرار از زندان با موفقیت ارائه دهند. هدف از این فراخوان ها اطلاع رسانی به شرکت ها در مورد آسیب پذیری های موجود و همکاری برای بهبود امنیت است. بر این اساس، مقاله تحقیقاتی آنها برای ارائه در سمپوزیوم امنیت شبکه و سیستم های توزیع شده که قرار است در فوریه 2024 در سن دیگو برگزار شود پذیرفته شده است.

در عصری که استفاده از چت ربات‌های هوش مصنوعی در حال افزایش است، این تحقیق بر اهمیت آماده‌سازی مداوم ارائه‌دهندگان خدمات برای جلوگیری از سوء استفاده‌های مخرب تأکید می‌کند. در حالی که شرکت‌های بزرگ فناوری معمولاً زمانی که روش‌های دور زدن کشف و عمومی می‌شوند سریعاً چت‌بات‌های خود را اصلاح می‌کنند، توانایی Masterkey برای یادگیری مداوم و انجام جیلبریک‌های مکرر چالش‌برانگیز و ناراحت‌کننده توصیف شده است. این وضعیت نشان دهنده یک مسابقه تسلیحاتی مداوم بین توسعه دهندگان امنیتی و مهندسان هوش مصنوعی است.

هوش مصنوعی ابزار بسیار قدرتمندی است و در صورت استفاده مخرب می تواند مشکلات زیادی را به همراه داشته باشد. بنابراین، ضروری است که کاربرانی که از چت ربات‌های هوش مصنوعی استفاده می‌کنند، اقدامات حفاظتی مناسب را انجام دهند. امید است که تعاملات دانشگاه فناوری نانیانگ با سازندگان این فناوری ها منجر به مسدود شدن دسترسی به Jailbreak Masterkey و روش های مشابه شود.

پست چینی ها محدودیت های چت ربات های هوش مصنوعی را به چالش می کشند اولین بار در Oneknock – اخبار دنیای فناوری پدیدار شد. ظاهر شد.

پست قبلی

تعطیلی تالارهای مطالعه کتابخانه ملّی؛ ۱۳ دی :: ایران تحلیل

پست‌ بعدی

تقویم نجومی امروز دوشنبه ۱۱ دی ۱۴۰۲/ فال امروزتو ببین

سامان پاکدل

سامان پاکدل

مرتبط پست ها

تجهیزات و قطعات آسانسور ضد انفجار؛ 12 نکته کلیدی برای انتخاب، طراحی و خرید ایمن
فناوری

تجهیزات و قطعات آسانسور ضد انفجار؛ 12 نکته کلیدی برای انتخاب، طراحی و خرید ایمن

۰۳ مرداد ۱۴۰۵
PS5 دیجیتال یا دیسک خور ؛ کدام مدل در ایران به‌صرفه‌تر است؟
فناوری

PS5 دیجیتال یا دیسک خور ؛ کدام مدل در ایران به‌صرفه‌تر است؟

۲۹ تیر ۱۴۰۵
مقایسه شرایط نامناسب محیطی و نگهداری اصولی تابلو برق صنعتی در کارخانه
فناوری

چرا بعضی تجهیزات برق صنعتی خیلی زود خراب می‌شوند؟ ۶ اشتباهی که هزینه پروژه را چند برابر می‌کند!

۲۸ تیر ۱۴۰۵
موسسه حفاظتی
فناوری

چرا پیشرفته ترین دوربین ها هم نیاز شما به یک موسسه حفاظتی را از بین نمی برند؟

۰۶ تیر ۱۴۰۵
0c350ee3 dd8e 4704 a44e ebdc687d394f
فناوری

جدیدترین پیشرفت های هوش مصنوعی در تشخیص جعل هویت

۰۶ تیر ۱۴۰۵
1f978242 056a 4948 be54 d9167f791679
فناوری

محبوب‌ترین رشته‌های مهندسی برای ایرانی‌ها در ترکیه کدامند؟ از معماری تا گرافیک

۰۲ تیر ۱۴۰۵
بارگذاری بیشتر
پست‌ بعدی
تقویم نجومی امروز دوشنبه ۱۱ دی ۱۴۰۲/ فال امروزتو ببین

تقویم نجومی امروز دوشنبه ۱۱ دی ۱۴۰۲/ فال امروزتو ببین

گفتگو در مورد این post

توصیه شده

مشکلات را با بالا بردن آستانه تحمل می‌توان حل کرد

مشکلات را با بالا بردن آستانه تحمل می‌توان حل کرد

2 سال پیش
افق میهن

پیش‌بینی آب و هوای اصفهان در ۲۴ ساعت آینده؛ امروز شنبه ۱۱ فروردین

2 سال پیش
نهنگ‌های دوج کوین به دنبال رشد 30 درصدی به فروش روی آورده‌اند

نهنگ‌های DogeCoin پس از افزایش 30 درصدی به فروش می‌رسند

3 سال پیش
نوربی پرس

رتبه دوم ایران در میان 30 اقتصاد بزرگ دنیا از نظر میزان رشد+جدول

2 سال پیش

از دست ندهید

ایران بست؛ منبعی قابل اتکا برای تجهیزات داربست و قالب‌بندی بتن

ایران بست؛ منبعی قابل اتکا برای تجهیزات داربست و قالب‌بندی بتن

۰۷ مرداد ۱۴۰۵
بهترین روش ساخت Apple ID در ایران؛ چرا شماره مجازی می‌تواند حساب شما را به خطر بیندازد؟

بهترین روش ساخت Apple ID در ایران؛ چرا شماره مجازی می‌تواند حساب شما را به خطر بیندازد؟

۰۷ مرداد ۱۴۰۵
ویپ در مقایسه با سیگار بررسی تفاوت ریسک‌ها بر اساس مطالعات علمی

ویپ در مقایسه با سیگار بررسی تفاوت ریسک‌ها بر اساس مطالعات علمی

۰۷ مرداد ۱۴۰۵
zZ6YbHp7alvAEvR30QwGr1KdHe9kTvRdz2mwOlHf

گاتر؛ نسل جدید راه‌آب‌ها برای مدیریت اصولی آب‌های سطحی

۰۷ مرداد ۱۴۰۵

دیگر رسانه ها

اجاره خودرو

خبرجو تازه‌ترین اخبار در سراسر دنیا در حوره های مالی , فرهنگی , اقتصادی و ... را برای شما به اشتراک خواهد گذاشت.

ما را دنبال کنید

اخبار اخیر

ایران بست؛ منبعی قابل اتکا برای تجهیزات داربست و قالب‌بندی بتن

ایران بست؛ منبعی قابل اتکا برای تجهیزات داربست و قالب‌بندی بتن

۰۷ مرداد ۱۴۰۵
بهترین روش ساخت Apple ID در ایران؛ چرا شماره مجازی می‌تواند حساب شما را به خطر بیندازد؟

بهترین روش ساخت Apple ID در ایران؛ چرا شماره مجازی می‌تواند حساب شما را به خطر بیندازد؟

۰۷ مرداد ۱۴۰۵

دسته بندی ها

  • ارز دیجیتال
  • اقتصاد و سرمایه
  • تناسب اندام
  • دسته‌بندی نشده
  • سلامتی
  • شیوه زندگی
  • فرهنگ و هنر
  • فناوری

همکاران

  • اخبار اقتصاد
  • تعمیرات موبایل تهران
  • بیت یونیکس
  • ال بانک
  • توبیت
  • آکادمی فارکس شایان
  • تبلیغات
  • تماس با ما

خوش آمدید!

به حساب خود در زیر وارد شوید

رمز عبور را فراموش کرده اید؟

رمز عبور خود را بازیابی کنید

لطفا نام کاربری یا آدرس ایمیل خود را برای بازنشانی رمز عبور خود وارد کنید.

ورود به سیستم
بدون نتیجه
مشاهده تمام نتایج
  • صفحه اصلی
  • فرهنگ و هنر
  • تناسب اندام
  • فناوری
  • اقتصاد و سرمایه
  • سلامتی
  • شیوه زندگی
  • ارز دیجیتال