شرکت OpenAI با معرفی ابزار تشخیص تصویر کودک آزاری و افزودن هشدارها و محدودیت های جدید به ChatGPT اقدامات خود را برای افزایش ایمنی کودکان گسترش داد.
به گزارش سرویس هوش مصنوعی مجرداین اقدام در شرایطی انجام می شود که نگرانی ها در مورد پیامدهای امنیتی استفاده از ابزارهای هوش مصنوعی افزایش یافته است.
این ویژگی ها شامل یک طبقه بندی تصویر جدید برای شناسایی محتوای کودک آزاری، نمایش هشدارها و اعمال بلوک های موقت برای جلوگیری از تولید یا دسترسی کاربران به محتوایی است که کودکان را در موقعیت های جنسی قرار می دهد. OpenAI همچنین دستورالعمل های جدیدی را برای توسعه دهندگان منتشر کرده و مجموعه ای از ابزارها را در اختیار سازمان های مجری قانون قرار داده است.
ابزار OpenAI جدید برای شناسایی تصاویر سوء استفاده جنسی از کودکان
OpenAI طبقهبندیکننده تصویر جدیدی ایجاد کرده است که میتواند تصاویر حاوی محتوای سوءاستفاده جنسی از کودکان، از جمله تصاویر تولید شده توسط هوش مصنوعی را شناسایی کند. این شرکت برخی از شرکت های منتخب را از طریق API و به صورت رایگان به این ابزار دسترسی می دهد.
این ابزار علائم بصری سوء استفاده را در تصاویری که قبلا دیده نشده بود بررسی می کند و به هر تصویر امتیازی اختصاص می دهد. این امتیاز می تواند به کارشناسان در تشخیص و بررسی موارد احتمالی محتوای سوء استفاده جنسی از کودکان کمک کند.
OpenAI اعلام کرد که این طبقه بندی کننده را با همکاری مرکز ملی کودکان گمشده و مورد بهره برداری (NCMEC) توسعه داده است. این شرکت همچنین در حال همکاری با Tech Coalition و ROOST برای دسترسی به ابزار جدید است.
در آزمایشهای اولیه با شرکا، این شرکت متوجه شد که این ابزار تعداد تصاویر پرچمگذاری شده را تا ۴۸ درصد کاهش میدهد، در حالی که همان تعداد تصاویر توهینآمیز را شناسایی میکند. این موضوع می تواند حجم کار کارشناسان بررسی محتوا را کاهش دهد. همچنین دو برابر بیشتر احتمال دارد که تصاویر شناسایی شده توسط این طبقه بندی کننده در واقع حاوی محتوای توهین آمیز باشند.
بیشتر بخوانید: افزایش هشدار دهنده استفاده نادرست از هوش مصنوعی برای تولید محتوای جنسی کودکان
هشدارها و محدودیت های جدید در ChatGPT
OpenAI همچنین صفحات هشدار جدیدی را به ChatGPT اضافه می کند تا از دسترسی کاربران به محتوایی که کودکان را در موقعیت های جنسی قرار می دهد جلوگیری کند.
ChatGPT هنگام مواجهه با درخواستهای مرتبط به کاربران هشدار میدهد و آنها را برای دریافت کمک و توقف رفتار مضر به منابع تخصصی هدایت میکند. این پلتفرم همچنین به عنوان یک اقدام هشدار دهنده حساب کاربری کاربر را به مدت 24 ساعت معلق می کند.
ChatGPT قبلاً محتوای کودک آزاری و درخواست های مرتبط را مسدود کرده بود. با این حال، OpenAI اعلام کرده است که تکرار چنین تخلفاتی می تواند منجر به حذف دائمی حساب کاربری شود.
این شرکت تاکید کرد که پیام ها و دستورالعمل های مربوط به این رفتارها را با همکاری سازمان ها و پژوهشگران تدوین کرده است. از جمله این شرکا می توان به سازمان محافظت از کودکان، بنیاد لوسی فیتفول و جوئل اسکنلان از دانشگاه تاسمانی اشاره کرد. اسکنلان به طور مستقل یک دوره آزمایشی از پیام های بازدارنده را ارزیابی کرد.
بیشتر بخوانید: کودکان چه احساسی نسبت به هوش مصنوعی دارند؟
دستورالعمل های جدید برای توسعه دهندگان و ابزار پلیس
OpenAI همچنین دستورالعمل هایی را برای توسعه دهندگانی که از ابزارهای این شرکت استفاده می کنند منتشر کرده است. هدف از این دستورالعمل ها جلوگیری از ایجاد محتوای کودک آزاری، شناسایی چنین محتوایی و کمک به کاربران برای گزارش آن است.
این شرکت گفت دستورالعمل های جدید به تعدادی از توسعه دهندگان کمک کرده است که ابزارهای محافظت از کودکان را به محصولات خود اضافه کنند و در NCMEC ثبت نام کنند تا محتوای توهین آمیز را در آزمایش های اولیه گزارش دهند.
علاوه بر این اقدامات، OpenAI همچنین ابزارهای مبتنی بر هوش مصنوعی را در اختیار سازمانهای مجری قانون قرار میدهد تا در تحقیقات مربوط به ایمنی کودکان کمک کنند. این ویژگی ها شامل پلاگین های اختصاصی، ابزارهای تحقیقاتی و قابلیت های پیچیده تجزیه و تحلیل داده ها است. مدیران برنامه نیز دسترسی به این ابزارها را مدیریت می کنند.
این شرکت همچنین دوره های آموزشی برای افسران تحقیق برگزار می کند و راهنمایی های عملی در مورد نحوه استفاده از هوش مصنوعی به آنها ارائه می دهد.
بیشتر بخوانید: TikTok به دلیل جمع آوری اطلاعات کودکان 400 میلیون دلار جریمه شد
افزایش فشار بر OpenAI در مورد ایمنی کودکان
در ماه های اخیر، OpenAI با چندین پرونده قضایی مواجه شده است که در آن شاکیان فناوری این شرکت را به آسیب رساندن به کاربران، به ویژه کودکان متهم کرده اند.
Common Sense Media، یک سازمان غیرانتفاعی که بر ایمنی فناوری برای کودکان و نوجوانان تمرکز دارد، فناوری OpenAI را به عنوان یک “خطر غیرقابل قبول” برای نوجوانان توصیف کرده است.
در همین حال، برخی دیگر از چت ربات های هوش مصنوعی، به ویژه Grok، برای تولید تصاویر جنسی بدون رضایت مردم استفاده شده است. گزارش ها همچنین به تولید چنین تصاویری از کودکان با استفاده از این ابزار اشاره کرده اند.
در طول 12 ماه گذشته، OpenAI تغییرات زیادی برای افزایش ایمنی محصولات خود ایجاد کرده است. این اقدامات شامل انتشار نقشه راه ایمنی، بهروزرسانی دستورالعملهای محتوا برای ممنوعیت محتوای نامناسب، تنظیم مجدد مدلهای هوش مصنوعی برای جلوگیری از محتوای توهینآمیز و راهاندازی نسخه ویژه ChatGPT برای نوجوانان است.
















گفتگو در مورد این post