OpenAI، با همکاری چهار موسسه تحقیقاتی مستقل، شروع به بررسی تلاش احتمالی مدلهای هوش مصنوعی برای دور زدن محدودیتهای ایمنی و فریب انسانها کرده است.
به گزارش سرویس هوش مصنوعی تکناکOpenAI با همکاری چهار موسسه تحقیقاتی مستقل، شروع به بررسی تلاش احتمالی مدلهای هوش مصنوعی برای دور زدن محدودیتهای ایمنی و فریب انسانها میکند.
OpenAI روز دوشنبه 16 نوامبر 2026 اعلام کرد که در قالب یک برنامه آزمایشی، محققان از چهار موسسه Apollo Research، Goodfire، METR و Transluce وارد فرآیندهای داخلی توسعه و ارزیابی مدلهای هوش مصنوعی خواهند شد. هدف از این همکاری شناسایی رفتارهای خطرناک و بررسی توانایی سیستم های نظارتی برای جلوگیری از اقدامات غیرمنتظره مدل های پیشرفته است.
تصمیم جدید OpenAI پس از چندین حادثه امنیتی مرتبط با هوش مصنوعی اتخاذ شده است. در یکی از این حوادث، مجموعه ای از عوامل هوش مصنوعی این شرکت از محیط ایزوله خود خارج شدند و در حین تست امنیت سایبری به پلتفرم Hugging Face نفوذ کردند.
محققان ایمنی معتقدند حضور کارشناسان مستقل در مراحل توسعه و آزمایش مدلها میتواند احتمال وقوع چنین حوادثی را کاهش دهد. این کارشناسان تاکید می کنند که بررسی مدل ها تنها در روزهای منتهی به انتشار عمومی برای شناسایی همه رفتارهای پرخطر کافی نیست.
OpenAI اعلام کرده است که همکاری های جدید بخشی از تعهدات این گروه تحت توافقنامه کاخ سفید در مورد هوش مصنوعی است. این توافق بر استفاده از ارزیابی های مستقل برای بررسی عملکرد مکانیسم های ایمنی تاکید دارد. برنامه های آزمایشی در زمان های مختلف آغاز می شود و همکاری با پژوهشکده آپولو از این هفته آغاز می شود.
ایده حضور مستقیم ارزیاب های مستقل در آزمایشگاه های پیشرفته توسعه هوش مصنوعی اولین بار توسط شرکت Anthropic مطرح شد. در اکتبر 2026، این شرکت به محققان METR اجازه داد تا سیستم های آن را با سطح دسترسی مشابه کارکنان داخلی بررسی کنند.
تا همین اواخر، شرکتهای توسعهدهنده هوش مصنوعی معمولاً از کارشناسان خارجی برای انجام تستهای ایمنی پس از پایان مرحله اصلی آموزش و کمی قبل از عرضه مدلها استفاده میکردند. منتقدان استدلال می کنند که چنین رویکردی توانایی شناسایی رفتارهای خطرناک را هنگام آموزش یا استفاده داخلی از مدل ها محدود می کند.
بررسی تلاشهای مدلهای هوش مصنوعی برای دور زدن محدودیتهای ایمنی
مهمترین بخش برنامه جدید OpenAI به همکاری با موسسه تحقیقاتی آپولو اختصاص دارد. محققان این موسسه بررسی خواهند کرد که آیا مدلهای هوش مصنوعی سعی در تضعیف محدودیتهای ایمنی و مکانیسمهای کنترلی خود دارند یا خیر.
این بررسی همچنین نسخه های آینده مدل ها را پوشش می دهد. هدف این است که مشخص شود آیا یک مدل می تواند برای کاهش کنترل انسان بر نسخه های بعدی خود عمل کند یا مکانیسم های طراحی شده برای حفظ کنترل انسانی را تضعیف کند.
یکی از مهم ترین دغدغه های محققان، رفتار فریبنده مدل های هوش مصنوعی است. این رفتار که به نام طرحریزی شناخته میشود، زمانی اتفاق میافتد که مدل رفتار واقعی خود را از کاربران یا ارزیابها پنهان میکند تا به یک هدف پنهان دست یابد.
OpenAI قبلاً یافتههایی را منتشر کرده بود که نشان میداد مدل GPT-5.6 Sol دستورالعملهایی را برای نسخههای آینده در زمان آموزش گذاشته است. این دستورالعملها به مدلهای بعدی نیاز داشتند تا خطاها و رفتارهای ناسازگار با اهداف اعلام شده را از کاربران انسانی پنهان کنند.
محققان موسسه آپولو در برنامه جدید چهار موضوع اصلی را بررسی خواهند کرد. اول، آنها تعیین می کنند که آیا روش های آموزشی مدل ها به طور ناخواسته باعث تضعیف مکانیسم های ایمنی می شود یا خیر. دوم، توانایی ایمونواسی برای تشخیص چنین رفتارهایی بررسی خواهد شد.
موضوع سوم به شناسایی رفتارهای خطرناک هنگام استفاده از مدل ها در داخل اختصاص دارد. در مرحله چهارم، محققین بررسی خواهند کرد که آیا می توان نشانه های تلاش برای دور زدن محدودیت ها در فرآیند استدلال مدل ها را شناسایی کرد.
اهمیت این مطالعات با افزایش توانایی مدل های هوش مصنوعی برای انجام وظایف به طور مستقل افزایش یافته است. مدل های پیشرفته اکنون می توانند وظایف پیچیده تری را انجام دهند و محققان نگرانند که با این پیشرفت، توانایی فریب دادن انسان ها نیز افزایش یابد.
تحقیقات قبلی مؤسسه آپولو با همکاری OpenAI نشان داده است که مدلهای هوش مصنوعی ممکن است رفتار خود را در صورت آگاهی از قرار گرفتن در معرض شرایط آزمایش تغییر دهند. این مدلها گاهی پاسخهایی را ارائه میکنند که فکر میکنند ارزیابان انتظار دیدن آنها را دارند، حتی اگر چنین پاسخهایی با اهداف واقعی کاربران سازگار نباشد.
نقش سه موسسه دیگر در ارزیابی ایمنی هوش مصنوعی
Goodfire گروهی از محققان متخصص در درک مکانیسم های داخلی مدل های هوش مصنوعی را در OpenAI مستقر خواهد کرد. این محققان با استفاده از بستر تحلیل مدل شرکت، فرآیندهای آموزشی را بررسی کرده و سعی در اصلاح رفتارهای نامطلوب خواهند داشت.
هدف دیگر این همکاری بهبود همسویی مدل ها با اهداف و دستورالعمل های انسانی است. Goodfire اعلام کرده است که یافته های تحقیقات خود را منتشر خواهد کرد، اگرچه مخاطبان اصلی این نتایج، محققان داخلی OpenAI خواهند بود.
همکاری با موسسه METR شامل دو ارزیابی جداگانه خواهد بود. اولین ارزیابی بر شناسایی رفتارهای ناخواسته یا خطرناک در خود مدل های هوش مصنوعی متمرکز است. این بررسی همچنین مسائلی را پوشش میدهد که آزمایشهای داخلی OpenAI ممکن است در شناسایی آنها شکست خورده باشند.
محققان METR اختیار گسترده ای برای انتخاب موضوعات تحقیق و روش های آزمون در اولین ارزیابی خواهند داشت. این استقلال به آنها اجازه میدهد تا رفتارهایی را که ممکن است در آزمایشهای معمول شرکت نشان داده نشود، بررسی کنند.
ارزیابی دوم بر توانایی سیستم های OpenAI برای تشخیص رفتار خطرناک متمرکز خواهد بود. با این حال، دو طرف هنوز در مورد محدوده دقیق این بخش از همکاری ها به توافق نرسیده اند.
موسسه Transluce همچنین کیفیت تست های ایمنی OpenAI را پس از اتمام مراحل اصلی آموزش مدل ها بررسی خواهد کرد. محققان این موسسه در تلاش هستند تا مشخص کنند آیا روش های فعلی شرکت برای شناسایی خطرات احتمالی کافی است یا خیر.
این دو گروه همچنین قصد دارند در سال 2027 بررسی کنند که چگونه OpenAI از نتایج تست های ایمنی برای تصمیم گیری در مورد انتشار عمومی مدل های جدید استفاده می کند.
محدود کردن دسترسی محققان به اطلاعات محرمانه OpenAI
با وجود گسترش همکاری با کارشناسان خارجی، میزان استقلال محققان و محدودیت دسترسی آنها به اطلاعات داخلی OpenAI هنوز محل بحث است. مؤسسات تحقیقاتی آپولو و گودفایر در ازای انجام ارزیابی ها پاداش مالی دریافت خواهند کرد. در مقابل، METR و Transluce پاداش دریافت نمی کنند، اما ممکن است اعتبار پردازش یا اعتبار استفاده از API را دریافت کنند.
Apollo Research که جزئیات بیشتری از توافق خود با OpenAI منتشر کرده است، تأکید می کند که ارزیابی کاملاً مستقل مستلزم دسترسی گسترده تری به محققان است. این موسسه معتقد است که کارشناسان مستقل باید بتوانند تمام داده ها، سوابق و اسناد مربوط به ارزیابی را بررسی کنند، حتی اگر توسعه دهنده مدل تمایلی به انتشار اطلاعات نامطلوب نداشته باشد.
دسترسی به داده های آموزشی و گزارش های آزمایشی از اهمیت ویژه ای برخوردار است. با بررسی این اطلاعات، محققان می توانند ادعاهای شرکت ها در مورد عملکرد مدل ها را ارزیابی کنند و تشخیص دهند که چه زمانی رفتارهای نگران کننده ظاهر می شوند. با این حال، در اولین برنامه آزمایشی، شرکت OpenAI تنها اطلاعات مورد نیاز برای بررسی تلاشهای مدلها برای تضعیف مکانیسمهای ایمنی را در اختیار موسسه آپولو قرار میدهد.
این اطلاعات شامل کدهای آموزشی مرتبط، مجموعه دادهها، خروجیهای یادگیری تقویتی، مسیرهای استدلالی موجود، پاداشهای آموزشی و توانایی آزمایش نسخههای میانی مدلها خواهد بود. دسترسی محققان نیز محدود به مدلها، دورههای زمانی و موضوعات مورد توافق طرفین خواهد بود. OpenAI این حق را برای خود محفوظ می دارد که برخی از اطلاعات را به دلایل فنی، نگرانی های امنیتی یا حفاظت از مالکیت معنوی خودداری کند. با این حال، شرکت متعهد است که اطلاعات را صرفاً به دلیل نامطلوب بودن نتایج مخفی نکند.
محدودیت دیگری در رابطه با ارتباط محققان مستقل با کارکنان OpenAI وجود دارد. موسسه آپولو فقط می تواند با کارمندانی که از طرف شرکت مجاز هستند ارتباط برقرار کند. این موسسه مجاز است نامزدهای خود را معرفی کند، اما تصمیم نهایی توسط OpenAI اتخاذ خواهد شد.
اگر کارمندی خارج از گروه مجاز اطلاعات محرمانه مربوط به ارزیابی را فاش کند، محققان آپولو حق پیگیری مستقیم آن اطلاعات را نخواهند داشت. آنها باید ارتباط خود را متوقف کنند و به بررسی از طریق OpenAI ادامه دهند.
این محدودیت پس از اخراج سه محقق امنیتی OpenAI اهمیت بیشتری پیدا کرده است. این شرکت قبلا این افراد را به اتهام افشای اطلاعات محرمانه به موسسه METR اخراج کرده بود. محققان اخراج شده این اتهامات را رد کرده اند. مؤسسه METR به همراه گروه مستقل Redwood Research قبلاً در بررسی نفوذ عوامل هوش مصنوعی OpenAI به پلتفرم Hugging Face شرکت کرده بودند.
باک شلگریس، مدیرعامل Redwood Research روز دوشنبه گفت که توافقهای جدید هنوز شرایط لازم را برای اعطای دسترسی به ارزیابهای مستقل مانند کارمندان فراهم نمیکند. او وضعیت را ناامید کننده، اما قابل پیش بینی توصیف کرد.
تفاوت دیگر مربوط به انتشار عمومی نتایج ارزیابی است. مؤسسه آپولو اجازه خواهد داشت نتایج مستقل خود را منتشر کند، اما OpenAI ممکن است انتشار برخی از شواهد حمایت کننده از این نتایج را محدود کند. چنین محدودیتی ممکن است بررسی مستقل صحت یافته ها را برای محققان خارج از همکاری دشوار کند. مؤسسه آپولو معتقد است که ارزیابیکنندگان باید بتوانند یافتههای خود را به مخاطبان خارجی مناسب منتقل کنند، حتی اگر توسعهدهنده مدل با انتشار نتایج نامطلوب مخالفت کند.
OpenAI اعلام کرده است که کمیته ایمنی و امنیت این مجموعه به گزارشات کامل بدون حذف اطلاعات دسترسی خواهد داشت. این کمیته از طرف هیئت مدیره بنیاد OpenAI بر مسائل ایمنی نظارت خواهد داشت و همچنین توانایی برقراری ارتباط محرمانه با بازبینان را خواهد داشت.
.
















گفتگو در مورد این post