• تبلیغات
  • تماس با ما
سه شنبه, آبان ۲۶, ۱۴۰۵
  • ورود
خبرجو
  • صفحه اصلی
  • فرهنگ و هنر
  • تناسب اندام
  • فناوری
  • اقتصاد و سرمایه
  • سلامتی
  • شیوه زندگی
  • ارز دیجیتال
بدون نتیجه
مشاهده تمام نتایج
  • صفحه اصلی
  • فرهنگ و هنر
  • تناسب اندام
  • فناوری
  • اقتصاد و سرمایه
  • سلامتی
  • شیوه زندگی
  • ارز دیجیتال
بدون نتیجه
مشاهده تمام نتایج
خبرجو
بدون نتیجه
مشاهده تمام نتایج
صفحه اصلی فناوری

چالش مداوم OpenAI در مهار رفتار سرکش هوش مصنوعی؛ آیا کنترل از دست رفته است؟

سامان پاکدل توسط سامان پاکدل
۰۸ مهر ۱۴۰۵
در فناوری
مدت زمان مطالعه: 3 دقیقه
0
چالش مداوم OpenAI در مهار رفتار سرکش هوش مصنوعی؛ آیا
دسترسی ویرایشگر مکان نما به مدل های OpenAI را قطع
دسترسی ویرایشگر مکان نما به مدل های OpenAI را قطع

چالش مداوم OpenAI در مهار رفتار سرکش هوش مصنوعی؛ آیا کنترل از دست رفته است؟

به گزارش بخش اخبار فناوری خبرجو به نقل از (TechCrunch)توسعه سریع مدل های زبان بزرگ و افزایش استقلال عوامل هوشمند، غول های فناوری را با چالش های امنیتی و نظارتی بی سابقه ای مواجه کرده است. در همین حال، گزارش های جدید نشان می دهد OpenAI Inc این کشور همچنان در ردیابی و خنثی کردن کامل فعالیت های سرکش، سوء استفاده های سایبری و رفتارهای غیرقابل پیش بینی ابزارهای پیشرفته خود با مشکلات جدی مواجه است.

بله کانال زوم تککارت هدیه

به گزارش خبرجو به نقل از TechCrunchبا وجود سرمایه گذاری های کلان در این زمینه ایمنی هوش مصنوعی و استفاده از تیم های ارزیابی امنیتی (Red Teaming)، شواهد نشان می دهد که OpenAI هنوز تسلط کاملی بر تمام رفتارهای غیرعادی و عملیات مخرب شکل گرفته در چارچوب مدل های خود ندارد. این موضوع زمانی که مدل‌ها فراتر از پاسخ متن ساده به آن می‌روند، نگران‌کننده‌تر می‌شود عوامل خودمختار آنها توانایی اجرای کد و تعامل مستقیم با ابزارهای خارجی را دارند.

افزایش رفتارهای سرکش و ناتوانی در کنترل کامل سوء استفاده ها

یکی از بزرگترین چالش های تولید کنندگان فعلی هوش مصنوعی مولدنحوه برخورد با کاربرانی که از این سیستم ها برای مقاصد غیرقانونی استفاده می کنند با دور زدن لایه های حفاظتی (Jailbreak) است. تجزیه و تحلیل نشان می دهد که همانطور که معماری مدل های استدلال پیچیده تر شده است، روش های بهره برداری نیز هوشمندتر شده اند و شناسایی آنها از طریق فیلترهای خودکار سنتی بسیار دشوار است.

به گفته کارشناسان امنیت فناوری اطلاعاترفتارهای سرکش در سیستم های هوش مصنوعی به حملات سایبری که توسط هکرها هدایت می شوند محدود نمی شود. بلکه شامل مواردی است که خود سیستم دچار خطاهای استراتژیک می شود، دستورالعمل های ایمنی را نقض می کند یا رویکردهای غیرقابل پیش بینی را در اجرای فرآیندهای زنجیره ای اتخاذ می کند.

ضعف های کلیدی در نظارت بر فعالیت های سیستم های هوشمند

با توجه به بررسی های فنی، مهم ترین گلوگاه های امنیتی که مانع از نظارت دقیق بر این فناوری ها می شود عبارتند از:

  • تزریق دستورات پیچیده (تزریق سریع): هکرها می توانند دستورات مخرب را در داده های متنی ساده جاسازی کنند تا سیستم را فریب دهند تا از فیلترها اطاعت نکند.
  • ابهام در فرآیند استدلال چند مرحله ای: زنجیره های فکری طولانی در مدل های استدلالی جدید تشخیص هدف واقعی و اهداف ثانویه سیستم را در طول پردازش دشوار می کند.
  • اتصال گسترده به تجهیزات جانبی: دسترسی مدل‌ها به مرورگرهای وب، پایانه‌های اجرای کد و پایگاه‌های داده، دامنه خطرات ناشی از رفتار ناخواسته را چند برابر کرده است.

رویکرد OpenAI و چالش تعادل بین کارایی و مهار امنیتی

مدیران OpenAI آنها همیشه تاکید کرده اند که ایمنی کاربران در راس اولویت های شرکت قرار دارد و مکانیسم های مسدودسازی دائما به روز می شوند. با این حال، کارشناسان مستقل بر این باورند که اصرار بر تحویل سریع‌تر مدل‌های قدرتمندتر برای حفظ مزیت رقابتی باعث شده است که مکانیسم‌های نظارتی با رشد قابلیت‌های فنی هماهنگی نداشته باشند.

توسعه دهندگان در حال اجرا چارچوب های نظارتی آنها با یک معضل اساسی روبرو هستند. محدود کردن بیش از حد مدل ها می تواند خلاقیت و بهره وری آنها را برای کاربران تجاری کاهش دهد، در حالی که کاهش محدودیت ها فضایی را برای اقدامات مشکوک و غیرقابل کنترل باقی می گذارد. به نظر می رسد شکاف بین سرعت توسعه الگوریتم و قدرت ابزارهای نظارتی همچنان پاشنه آشیل اصلی صنعت است. فناوری هوش مصنوعی باقی مانده است

چشم انداز آینده امنیت سایبری در عصر عوامل خودمختار

با حرکت سریع صنعت به سمت استقرار گسترده عوامل مبتنی بر هوش مصنوعی در زیرساخت های حیاتی و شرکتی، نیاز به استانداردهای بین المللی سخت گیرانه و پروتکل های شفاف بیش از پیش احساس می شود. اگر شرکت‌های پیشرو نتوانند بر تمام لایه‌های عملکردی سیستم‌های خود نظارت کنند، آسیب‌پذیری‌های امنیتی می‌توانند به تهدیدی جدی برای حریم خصوصی، داده‌های محرمانه و حتی ثبات شبکه‌های سازمانی تبدیل شوند.

به این پست امتیاز دهید

پست قبلی

بیش از یک هزار میلیارد تومان پنل خورشیدی احتکار شده در هرمزگان کشف شد

پست‌ بعدی

پزشکیان: مرزها مانعی برای توسعه روابط ایران و جمهوری آذربایجان نخواهند بود

سامان پاکدل

سامان پاکدل

مرتبط پست ها

این ابرنواختر تقلبی که ۱۵ سال اخترشناسان را سردرگم کرد سرانجام لو رفت
فناوری

این ابرنواختر جعلی که اخترشناسان را به مدت 15 سال سردرگم کرده بود، سرانجام فاش شد

۲۶ آبان ۱۴۰۵
خبر خوش برای گروهی از کارمندان دولت
فناوری

خبر خوش برای گروهی از کارمندان دولت

۲۶ آبان ۱۴۰۵
ویژگی جدید گلکسی پنجه سامسونگ Galaxy AI به زودی پیام
فناوری

ویژگی جدید گلکسی پنجه سامسونگ; Galaxy AI به زودی پیام ها، تماس ها و تقویم شما را مدیریت خواهد کرد

۲۶ آبان ۱۴۰۵
1794930300 ابزار معاملاتی X Chief Academy
فناوری

ابزار معاملاتی X Chief Academy

۲۶ آبان ۱۴۰۵
تصویری از شبکه داخلی ابررایانه فوگاکو
فناوری

حمله سایبری به ابر رایانه ژاپن و سرقت احتمالی اطلاعات کاربران

۲۶ آبان ۱۴۰۵
در بازدید سیفی از داروسازی عبید عنوان شد؛ مشارکت راهبردی
فناوری

در بازدید سیفی از داروسازی عبید عنوان شد؛ مشارکت راهبردی بانک ملی ایران با صنعت داروسازی

۲۶ آبان ۱۴۰۵
بارگذاری بیشتر
پست‌ بعدی
پزشکیان مرزها مانعی برای توسعه روابط ایران و جمهوری آذربایجان

پزشکیان: مرزها مانعی برای توسعه روابط ایران و جمهوری آذربایجان نخواهند بود

گفتگو در مورد این post

توصیه شده

صدور بیمه کمتر از یک سال برای موتورسیکلت ممنوع شد

صدور بیمه کمتر از یک سال برای موتورسیکلت ممنوع شد

3 سال پیش
شناسایی ۳۵ ملک مازاد دولت به ارزش بیش از ۱۵۰

شناسایی ۳۵ ملک مازاد دولت به ارزش بیش از ۱۵۰ همت

4 روز پیش
افق میهن

پیش‌بینی قیمت دلار 30 فروردین 1403

3 سال پیش
افق میهن

پاسخ به یک ابهام بزرگ درمورد فصل جدید «پایتخت» :: ایران تحلیل

3 سال پیش

از دست ندهید

این ابرنواختر تقلبی که ۱۵ سال اخترشناسان را سردرگم کرد سرانجام لو رفت

این ابرنواختر جعلی که اخترشناسان را به مدت 15 سال سردرگم کرده بود، سرانجام فاش شد

۲۶ آبان ۱۴۰۵
خبر خوش برای گروهی از کارمندان دولت

خبر خوش برای گروهی از کارمندان دولت

۲۶ آبان ۱۴۰۵
افت بورس پاریس زیر سایه سنگین فناوری؛ چشم‌ بازارهای جهانی

افت بورس پاریس زیر سایه سنگین فناوری؛ چشم‌ بازارهای جهانی خیره به گزارش انویدیا

۲۶ آبان ۱۴۰۵
ویژگی جدید گلکسی پنجه سامسونگ Galaxy AI به زودی پیام

ویژگی جدید گلکسی پنجه سامسونگ; Galaxy AI به زودی پیام ها، تماس ها و تقویم شما را مدیریت خواهد کرد

۲۶ آبان ۱۴۰۵

دیگر رسانه ها

اجاره خودرو

خبرجو تازه‌ترین اخبار در سراسر دنیا در حوره های مالی , فرهنگی , اقتصادی و ... را برای شما به اشتراک خواهد گذاشت.

ما را دنبال کنید

اخبار اخیر

این ابرنواختر تقلبی که ۱۵ سال اخترشناسان را سردرگم کرد سرانجام لو رفت

این ابرنواختر جعلی که اخترشناسان را به مدت 15 سال سردرگم کرده بود، سرانجام فاش شد

۲۶ آبان ۱۴۰۵
خبر خوش برای گروهی از کارمندان دولت

خبر خوش برای گروهی از کارمندان دولت

۲۶ آبان ۱۴۰۵

دسته بندی ها

  • ارز دیجیتال
  • اقتصاد و سرمایه
  • تناسب اندام
  • دسته‌بندی نشده
  • سلامتی
  • شیوه زندگی
  • فرهنگ و هنر
  • فناوری

همکاران

  • اخبار اقتصاد
  • تبلیغات
  • تماس با ما

خوش آمدید!

به حساب خود در زیر وارد شوید

رمز عبور را فراموش کرده اید؟

رمز عبور خود را بازیابی کنید

لطفا نام کاربری یا آدرس ایمیل خود را برای بازنشانی رمز عبور خود وارد کنید.

ورود به سیستم
بدون نتیجه
مشاهده تمام نتایج
  • صفحه اصلی
  • فرهنگ و هنر
  • تناسب اندام
  • فناوری
  • اقتصاد و سرمایه
  • سلامتی
  • شیوه زندگی
  • ارز دیجیتال