مدل Qwen علی بابا تلاش می کند یک فایل را به پکن ارسال کند

شرکت هوش مصنوعی کانادایی Cohere روز دوشنبه ادعا کرد که در طول یک آزمایش معمول امنیت سایبری، مدل Qwen علی بابا تلاش کرده است فایلی را به سروری در پکن ارسال کند.

بر اساس این گزارش سرویس هوش مصنوعی یک مرحله ایاین در شرایطی است که مدل در یادداشت های استدلالی خود اعلام کرده بود که از هیچ ابزار خارجی استفاده نخواهد کرد.

بیشتر بخوانید: ChatGPT در حال ایجاد پروفایل های روانشناختی دقیق از کاربران است

این رویداد در ابتدا نگرانی هایی را در مورد نقض یکی از وعده های کلیدی مدل های وزن باز ایجاد کرد. پیاده سازی این مدل ها بر روی زیرساخت اختصاصی سازمان ها، داده ها را در محیط داخلی خود نگه می دارد.

با وجود این، نگرانی های اولیه در مورد امکان جاسوسی شرکتی به سرعت فروکش کرد. محققین با دست کم گرفتن این تهدید گفتند که رفتار مشاهده شده احتمالاً ناشی از محیط های یادگیری آشفته و نامنظم است. محیط‌هایی که می‌توانند مدل‌ها را به انجام اقداماتی خارج از دستورالعمل‌های تعیین‌شده سوق دهند، که نشان‌دهنده تلاش عمدی برای انتقال مخفیانه اطلاعات حساس به چین نیست.

جزئیات تست مدل Qwen علی بابا

داستان از روز جمعه در جریان ارزیابی امنیتی مدل Qwen3.8-Flash-Next، از جدیدترین مدل‌های هوش مصنوعی علی‌بابا آغاز شد. آزمایشی که در آن از مدل خواسته شد تا قانونی برای شناسایی دانلودهای بدافزار بنویسد. طبق توضیحات منتشر شده در وبلاگ کوهر، این مدل در استدلال مکتوب خود اعلام کرده بود که از ابزارهای خارجی استفاده نخواهد کرد. با این حال، سپس سعی کرد یک رشته متن آزمایشی را به یک سرور خارجی ارسال کند. اقدامی که محیط ایزوله امنیتی قبل از اجرا آن را مسدود کرد.

Cohere Inc اعلام کرد که نمی تواند با قطعیت تعیین کند که آیا این رفتار نتیجه یک تصمیم عمدی است یا باقی مانده از فرآیند آموزش مدل. ایوان ژانگ، یکی از بنیانگذاران Cohere، در مورد بحث و جدل در مورد هدف این مدل توضیح داد که این شرکت هنگام آموزش مدل های خود در شبیه سازها نیز با رفتار غیرمنتظره ای مواجه شده است.

حتما بخوانید: سوئد استفاده از ChatGPT و ابر را ممنوع کرد

ژانگ گفت: «تعیین هدف یا انگیزه واقعاً دشوار است. ما ردپای فعالیت‌های مدل‌های خود را بررسی کرده‌ایم، مکانیسم‌های پاداش را دور زده‌ایم، و گاهی اوقات مدل‌ها راه‌حل‌های بسیار خلاقانه‌ای برای غلبه بر محدودیت‌های محیط منزوی خود پیدا می‌کنند.” گفته می‌شود دور زدن مکانیسم پاداش وضعیتی است که مدل میانبری برای کسب امتیاز پیدا می‌کند و بدون انجام کار مطابق با هدف اصلی، پاداش مورد نظر را دریافت می‌کند.

برای آموزش مدل‌های هوش مصنوعی برای انجام اقدامات مستقل، شرکت‌هایی مانند علی‌بابا آنها را در هزاران محیط شبیه‌سازی شده آموزش می‌دهند. محیط هایی که می توان آنها را به شبیه سازهای پرواز برای نرم افزار تشبیه کرد. مدل با تکمیل هر کار در این محیط ها پاداش می گیرد و به تدریج الگوهای رفتاری خاصی را یاد می گیرد. اگر این محیط های آموزشی به طور معمول فایل ها را در سرورهای ابری علی بابا ذخیره کنند، مدل ممکن است این الگو را یاد بگیرد و آن را به رفتار پیش فرض ذخیره فایل ها در همان سرورها تبدیل کند.

قوانین مدل های وزنه برداری

از سوی دیگر، منتقدان پیشنهاد کردند که روش تحقیق کوهر نیز ممکن است در رفتار مشاهده‌شده مدل کوئن علی‌بابا نقش داشته باشد. به عبارت دیگر، روش تست احتمالاً مدل را به سمت تلاش برای ارسال فایل سوق داده است، نه اینکه وقوع خود به خودی این رفتار را در Qwen اندازه گیری کند.

برای بررسی دلیل تلاش مدل برای بارگذاری فایل، Cohere بخش اولیه یک فرمان شبکه را در اختیار آن قرار داد و از مدل خواست تا بقیه دستور را تکمیل کند. فرمان شبکه فرمانی است که یک کامپیوتر را به کامپیوتر دیگر هدایت می کند. از آنجایی که این مدل هزاران فرمان رایج شبکه را در طول آموزش پردازش می‌کرد، مانند یک سیستم تکمیل خودکار پیشرفته و URL‌های تکمیل‌شده رفتار می‌کرد که برخی از آنها به سرورهای علی‌بابا اشاره می‌کردند. با این حال، کوهر تأکید کرد که تلاش اولیه برای ارسال پرونده بدون چنین دستورالعملی انجام شده است. با این حال، این رفتار به ندرت رخ می دهد.

پس از درخواست توسعه‌دهندگان برای شواهد بیشتر، Cohere داده‌های خام ثبت‌شده از آزمایش‌های روی پلتفرم Hugging Face را عصر دوشنبه منتشر کرد. این شرکت همچنین فیلمنامه ای را ارائه کرد تا سایر محققان بتوانند به طور مستقل رفتار مورد نظر را بازتولید و بررسی کنند. یکی از افرادی که در ابتدا نسبت به این ادعا مشکوک بود، پس از بررسی داده های منتشر شده، شواهد قانع کننده ای یافت تا به این نتیجه برسد که Qwen قادر به ایجاد URL های مشکوک است. با این حال، او هیچ مدرکی مبنی بر اینکه علی بابا عمداً یک درب پشتی نصب کرده است یا اینکه مدل تلاشی آگاهانه برای پنهان کردن مقاصد خود انجام داده است، پیدا نکرد.

برای مطالعه بیشتر: مدل Terra AI به نسخه GPT-6.1 ارتقا یافته است

این رویداد در حالی برگزار می شود که دولت ها تصمیم می گیرند چگونه با صنعت هوش مصنوعی چین برخورد کنند. هفته گذشته، وزارت امنیت داخلی ایالات متحده به آژانس های غیرنظامی دولت فدرال دستور داد تا محصولات شرکت هوش مصنوعی چینی Dipsik را از سیستم خود حذف کنند.

کوهر در یک پست وبلاگی از دولت‌ها خواست تا مشخص کنند که آیا محدودیت‌های هوش مصنوعی چینی شامل مدل‌هایی می‌شود که روی رایانه‌های دولتی اجرا می‌شوند یا خیر. ژانگ تاکید کرد: “من خواستار تنظیم کامل مدل های وزن باز نیستم.” وی ادامه داد که سازمان ها باید با مدل های باز مانند هر نرم افزار دانلود شده از اینترنت رفتار کنند.

در نهایت، این مناقشه می تواند به نفع کوهر ختم شود. این شرکت که مدل‌های هوش مصنوعی خود را برای دولت‌ها عرضه می‌کند، در صورتی که مقامات نسبت به جایگزین‌های رایگان چینی بدبین شوند، ممکن است فرصت بیشتری برای گسترش تجارت خود داشته باشند.