به گزارش بخش اخبار فناوری خبرجو به نقل از تک کرانچ، اگرچه گفته می شود دامنه استفاده مدل آسترا از این راه حل در حال حاضر محدود است، اما پیاده سازی و ظهور آن هشدارها و انتقادات گسترده ای را از سوی جامعه پژوهشی به همراه داشته است. ایمنی فناوری هوش مصنوعی باک شلگریس، مدیر عامل ردوود ریسرچ، در پاسخ به این افشاگری نوشت: «من عمیقاً نگران گزارشهای استفاده از مدل هستم. آسترا من نگران تکنیک تکرار مبهم هستم. هنوز مشخص نیست که آیا نظارت بر زنجیره فکری آسترا در مقایسه با نسخه های قبلی دشوارتر شده است یا خیر. با این حال، اگر شرکت OpenAI با ادامه توسعه بیشتر این رویکرد، امکان افزایش قابل توجه دفعات بازگشت و توانایی نظارت وجود خواهد داشت. زنجیره تفکر هوش مصنوعی آن را به طور کامل نابود کنید.»
بر اساس گزارش منتشر شده توسط نشریه تخصصی The Information، مدل جدید OpenAI تماس گرفت آسترا از روش استدلالی جدید تحت عنوان عمق مکرر استفاده خواهد شد، که به سیستم اجازه می دهد خارج از چارچوب تفکر متوالی و گام به گام رایج در اکثر مدل های پیشرفته عمل کند. این روش جدید با نام “عود مات” همچنین به عنوان نظارت شناخته می شود زنجیره فکر (CoT) این مدل را بسیار چالش برانگیز خواهد کرد. موضوعی که باعث نگرانی عمیق کارشناسان برجسته این حوزه می شود ایمنی هوش مصنوعی بوده است
هشدار فعالان هوش مصنوعی نسبت به خطر رقابت مخرب آزمایشگاه های فناوری
زوی موشوویتز، یکی از چهره های سرشناس و مروج کهنه کار ایمنی هوش مصنوعیوی با ورود به این بحث خاطرنشان کرد که شاید برای جلوگیری از «مسابقه مخرب به پایین» (Race to the bottom) در میان آزمایشگاههای پیشرو، وضع مقررات و قوانین الزامآور ضروری باشد. ماشوویتز در بیانیه خود تاکید کرد: استفاده از این روش مانند بازی با آتش است و مرز و علامت قرمز شرکت ها را به خطر می اندازد. OpenAI و آنتروپیک آنها سعی کرده بودند آن را تثبیت کنند. که تمام تلاش خود را به کار خواهیم بست تا به فرآیند حل مشکل وفادار باشیم و توانایی نظارت بر زنجیره فکر تا حد امکان تضمین کنید اجرای فشرده تر و گسترده تر چنین تکنیک هایی بدون شک به شفافیت نظارتی آسیب می رساند.
نحوه عملکرد تفکر زنجیره ای در مقایسه با استدلال بازگشتی و فازی
در روندهای رایج پردازش، زنجیره فکری مدل های زبانی مراحل متوالی و استدلال گام به گامی را که سیستم هنگام حل یک مشکل طی می کند، ثبت می کند. اگرچه این فرآیند به طور کامل تمام لایه های ذهنی ماشین را نشان نمی دهد، اما هنوز یک ابزار فوق العاده خبرجو برای نظارت بر انحرافات، رفتارهای غیرعادی یا ناسازگاری در اهداف مدل است. به عنوان مثال، در مورد اخیر مربوط به رفتار ناسازگار و بی ضابطه برخی عوامل هوش مصنوعی در OpenAI، آرشیو زنجیرهای فکر ابزاری حیاتی برای کشف دلایل و دلایل این تصمیمها بود.
برعکس، در مکانیسم تکرار مبهم یا استدلال فازی، مدل هوش مصنوعی رویکردی غیر خطی دارد و ورودی یا دستور دریافتی را چندین بار در یک چرخه دایرهای دوباره پردازش میکند. نتیجه این رویکرد کاهش چشمگیر ردپای قابل درک برای انسان در فرآیند ثبت رکوردهای سنتی است. زنجیره ای از تفکر روشن آن را بی اثر می کند.
پاسخ رسمی دانشمند ارشد OpenAI به ادعای حرکت به سمت زبان های عصبی نامفهوم
نکته مهم این است که بر اساس شواهد موجود، سهم این روش در مدل است آسترا محدود گزارش شده است. همچنان انتظار می رود که زنجیره فکری مدل خوانا باقی بماند و مدیران OpenAI هر گونه ادعایی در مورد انتقال سیستم به اصطلاح داشته باشند. “عصبی” یا الگوهای داخلی غیرقابل درک شبکه های عصبی را قاطعانه رد کرده اند. OpenAI این کشور قبلاً برنامه های گسترده خود را برای استقرار سیستم های پیشرفته برای نظارت بر مسیر استدلال به عنوان بخشی از استراتژی های امنیتی آینده نگر اعلام کرده بود.
جاکوب پاچوکی، دانشمند ارشد شرکت OpenAIبا انتشار متنی در شبکه اجتماعی ایکس (توئیتر سابق)، تعهد این مرکز به حفظ شفافیت فرآیندهای فکری ماشین را یادآور شد و نوشت: OpenAI از زمان عرضه اولین مدل های مجهز به قابلیت استدلال، همواره در راستای حفظ و بهبود نظارت بر دستگاه ها بوده است. زنجیره فکر سعی کرده است این اصل هدف نهایی و هسته اصلی پروژه های تحقیقاتی فعلی ما است.
پیامدهای توسعه استدلال در فضای نهفته و بیان نگرانی های عمیق و آنتروپیک
حقیقت این است که تمام ساختارها هوش مصنوعی کم و بیش درصدی استدلال مبهم دارند و کمتر متخصصی گزارش های زنجیره ای فکری را آینه تمام نمای ادراک ماشین می داند. با این حال، این پیشینه ها مانع از وحشت در مورد خطرات دشوارتر شدن فرآیندهای فکری برای پیگیری و نظارت نمی شوند. به خصوص با توجه به اینکه استفاده از آن در مدل های مختلف رو به افزایش است. در گزارش تکمیلی دیگری، The Information نشان داد که کارشناسان شرکت های بزرگ آنتروپیک و Google DeepMind آنها همچنین شروع به بررسی این روش و اثرات آن کرده اند.
رایان گرینبلات، دانشمند ارشد در تحقیقات ردوود، در تحلیلی از اخبار توضیح داد که مکانیسم استدلال فازی می تواند به راحتی بسیار سریعتر از تفکر زنجیره ای سنتی مقیاس شود و در نهایت، تمام تصمیم گیری ها را از کانال های قابل مشاهده خارج کند.
گرینبلات در این خصوص تاکید کرد: بزرگترین نگرانی من این است که گسترش طبیعی این مسیر منجر به توسعه ابعاد استدلال غیرشفاف شود؛ تا جایی که مدل فرآیند تفکر به طور کامل یا تقریباً به طور کامل در بستر تعبیه شده است. فضای نهفته برای پیاده سازی، امیدوارم هنوز زمانی برای جلوگیری از استقرار نگران کننده ترین معماری های پردازشی باقی بماند OpenAI Inc روند پیشبرد این روش را در این مرحله متوقف کنید.”
گفتگو در مورد این post