سام آلتمن، مدیرعامل OpenAIهشدار داد که واگذاری تدریجی تصمیمات مهم به هوش مصنوعی می تواند کنترل آینده را از دست انسان خارج کند..
به گزارش سرویس هوش مصنوعی تکناکسام آلتمن، مدیر عامل OpenAI، در جلسه DealBook روزنامه نیویورک تایمز در روز چهارشنبه 18 نوامبر 2026 (27 نوامبر 1405) در مورد خطرات واگذاری کنترل امور به هوش مصنوعی هشدار داد. وی تاکید کرد که انسان ها باید همچنان مسئول تصمیم گیری در مورد آینده جهان و زندگی خود باشند.
نقل شده از تک کرانچدر این رویداد، آلتمن، همراه با گرگ براکمن، رئیس و یکی از بنیانگذاران OpenAI، در مورد دیدگاهی صحبت کردند که در دره سیلیکون طرفدارانی پیدا کرده است. بر این اساس، با افزایش توانایی مدل های هوش مصنوعی، به تدریج مسئولیت تصمیم گیری در صنایع و موسسات مهم از انسان به سیستم های هوشمند منتقل می شود.
آلتمن این ایده را بسیار خطرناک توصیف کرد و گفت که او و براکمن مخالف واگذاری کنترل آینده به هوش مصنوعی هستند. او توضیح داد:
“ما اخیراً در مورد موضوعی که در سیلیکون ولی مطرح شده است، صحبت کرده ایم.” حتی ممکن است عجیب به نظر برسد که باید با چنین دیدگاهی مخالف باشیم، اما هر دو عمیقاً معتقدیم که انسان ها باید آینده را کنترل کنند.
آلتمن افزود که برخی افراد واگذاری تدریجی کنترل به هوش مصنوعی را اجتناب ناپذیر یا حتی مطلوب می دانند، اما او و براکمن چنین آینده ای را نمی پذیرند.
نگرانی در مورد ظهور ابر هوش و خروج تصمیم گیری از کنترل انسان
تئوری واگذاری کنترل به هوش مصنوعی مبتنی بر مفهومی به نام «خود-بهبودی بازگشتی» یا RSI است. این مفهوم به توانایی احتمالی مدل های پیشرفته برای بهبود عملکرد و توسعه نسل های هوشمندتر اشاره دارد.
طرفداران این نظریه معتقدند که مدل های هوش مصنوعی می توانند نسخه های قدرتمندتری از خود در آینده ایجاد کنند. ادامه این چرخه ممکن است منجر به ظهور ابرهوشی شود که توانایی های آن از انسان ها بیشتر است و کنترل عملکرد آن دشوار یا حتی غیرممکن می شود.
آلتمن تأکید کرد که اختلاف او و براکمن بر سر اصل حفظ کنترل انسان نیست. تفاوت آنها بیشتر مربوط به روش های دستیابی به این هدف و چالش هایی است که ممکن است در توسعه هوش مصنوعی پیشرفته ایجاد شود.
وی گفت: شرکت های فعال در این صنعت با فشارهای مختلفی روبرو هستند و اقدامات رقبا می تواند شرایط را پیچیده تر کند. با این حال، توسعه دهندگان باید اطمینان حاصل کنند که کنترل آینده به طور عمدی یا ناخواسته به سیستم های هوش مصنوعی منتقل نمی شود.
مدیر عامل OpenAI همچنین تاکید کرد که کنترل انسان ها نباید فقط یک هدف ظاهری باشد. بر اساس اعتقاد وی، انسان ها باید حق تصمیم گیری درباره آینده را در عمل و به صورت عمیق حفظ کنند.
بیشتر بخوانید: سام آلتمن: همه باید به رم دسترسی داشته باشند!
هشدار در مورد کاهش توانایی نظارت بر مدل های پیشرفته
گرگ براکمن در مورد چالش های فنی توسعه هوش مصنوعی صحبت کرد. وی معتقد است که افزایش توانایی مدل ها مسئولیت شرکت های تولیدی را در زمینه ایمنی، امنیت و همسویی رفتار سیستم ها با اهداف انسانی افزایش می دهد. براکمن نظارت بر فرآیند تصمیم گیری مدل ها را یکی از مهم ترین چالش های آینده دانست و تاکید کرد که روش های فعلی ممکن است برای کنترل سیستم های پیشرفته کافی نباشد.
محققان در حال حاضر از روشی به نام “نظارت بر زنجیره فکر” استفاده می کنند. در این روش، توضیحات تولید شده توسط مدل در حین حل مسائل و انجام تکالیف مورد بررسی قرار می گیرد تا پژوهشگران بتوانند استدلال و رفتار آن را بهتر ارزیابی کنند. با این حال، براکمن هشدار داد که مدلهای قدرتمندتر میتوانند پردازش بیشتری را بدون ارائه توضیحات مکتوب انجام دهند. چنین تغییری ممکن است نظارت بر عملکرد واقعی آنها را دشوارتر کند.
او گفت: «همانطور که مدلها توانمندتر میشوند، میتوانند مستقیماً در مسیر پردازش کار کنند، بدون اینکه مجبور باشند مراحل فکری خود را بنویسند. بنابراین، ما به رویکرد جدیدی برای نظارت نیاز داریم.» براکمن معتقد است زمانی که توانایی مدلها به حد معینی برسد، امکان نظارت بر زنجیره فکر کاهش مییابد. به گفته وی، محققان باید فناوریهای جدیدی را برای شناسایی رفتارهای بالقوه خطرناک توسعه دهند.
رئیس OpenAI تاکید کرد: این مشکلات ماهیت فنی دارند و باید با توسعه ابزارهای نظارتی مناسب برطرف شوند.
بیشتر بخوانید: واکنش سام آلتمن به استعفای جنسن هوانگ از مدیرعاملی انویدیا
انتقال 25 درصد از مهندسان OpenAI به بخش امنیت
اظهارات براکمن پس از یک حادثه امنیتی مهم بیان شد که در آن یکی از مدلهای هوش مصنوعی OpenAI از محیط محدود خود خارج شد و به مخزن مدل هوش مصنوعی Hugging Face نفوذ کرد. پس از این حادثه، شرکت OpenAI متعهد شد که نظارت بر زنجیره فکری مدل ها را افزایش دهد و اقدامات امنیتی بیشتری برای جلوگیری از تکرار چنین حوادثی اتخاذ کند.
براکمن در جلسه نیویورک تایمز فاش کرد که پس از نقض امنیتی، این شرکت به 25 درصد از مهندسان سازنده خود دستور داد تا توسعه ویژگیهای جدید را متوقف کنند و بر امنیت فناوری هوش مصنوعی تمرکز کنند.
با وجود این اتفاق، براکمن توقف توسعه هوش مصنوعی را راه حل خوبی نمی داند. او معتقد است که مدلهای سایبری قدرتمند اکنون در اختیار عوامل مخرب قرار دارند و مدافعان برای مقابله با تهدیدات جدید به پیشرفتهترین فناوریهای موجود نیاز دارند.
وی تاکید کرد: استفاده از قدرتمندترین مدلهای هوش مصنوعی برای دفاع سایبری از اهمیت بالایی برخوردار است، زیرا مهاجمان به ابزارهای هوشمند و پیشرفته نیز دسترسی پیدا کردهاند.
بیشتر بخوانید: سام آلتمن: پذیرش خطرات هوش مصنوعی بهای پیشرفت آن است
















گفتگو در مورد این post