GitHub CoPilot مجهز به مدل های محلی هوش مصنوعی + تصویر است

مایکروسافت با افزودن پشتیبانی از مدل‌های هوش مصنوعی محلی به GitHub CoPilot، امکان اجرای خودکار و ایمن مدل‌هایی مانند MAI Code 1.1 Flash را در کنار مدل‌های ابری در اختیار توسعه‌دهندگان قرار می‌دهد.

بر اساس این گزارش سرویس هوش مصنوعی یک مرحله ایاین شرکت در رویداد گسترده امروز خود یک سری از نوآوری های سخت افزاری و نرم افزاری را برای ویندوز و سرفیس معرفی کرد. اگرچه بخش قابل توجهی از رویداد به هوش مصنوعی اختصاص داشت، یکی از مهم‌ترین تغییرات برای جامعه توسعه‌دهندگان، ساده‌سازی مدل‌های هوش مصنوعی در ویندوز و GitHub CoPilot است.

حتما بخوانید: ChatGPT به صحبت با نوجوانان حتی در بحران های روحی ادامه می دهد

اجرای مدل های محلی در Copilot GitHub

در حال حاضر، بیشتر ابزارهای توسعه، از جمله GitHub CoPilot، به مدل هایی که بر روی زیرساخت ابری میزبانی می شوند، متکی هستند. هر درخواست از طریق یک ارکستراتور به مدل مناسب هدایت می شود و این سیستم معیارهایی مانند عملکرد، هزینه و دقت را برای انتخاب مدل در نظر می گیرد. همچنین GitHub Copilot پروژه HydraFusion که هماهنگی و تخصیص منابع بین مدل های مختلف را با استفاده از گردش کار چند مدلی مدیریت می کند. مایکروسافت قصد دارد تا پایان ماه جاری این معماری را یک قدم جلوتر بردارد و گزینه انتخاب بین مدل‌های ابری و مدل‌های محلی را به GitHub CoPilot اضافه کند. در این رویکرد، توسعه‌دهندگان نیازی به مدیریت مستقیم زیرساخت ندارند، زیرا Copilot به طور خودکار اجرای استنتاج محلی و ابری را در پس‌زمینه هماهنگ می‌کند. این ویژگی به ویژه برای لپ تاپ Surface Ultra مجهز به سخت افزار RTX Spark انویدیا بسیار مهم است.

مرتبط: مدل هوش مصنوعی برنامه نویسی آفلاین مایکروسافت منتشر شد

به گفته مایکروسافت، حافظه یکی از مهم ترین محدودیت ها در اجرای مدل های هوش مصنوعی بر روی یک دستگاه است. این محدودیت علاوه بر حافظه ویدئویی GPU گسسته، شامل حافظه یکپارچه ای نیز می شود که بین CPU و GPU مشترک است. با افزایش زمینه مدل در حین اجرای یک کار و رسیدن درخواست های جدید، مصرف منابع افزایش یافته و زمان پاسخگویی را می توان افزایش داد. در چنین شرایطی، ظرفیت حافظه برای نگهداری متن و همچنین رفتار مدل در طول چرخه اجرای کار، به ویژه در هنگام مواجهه با محدودیت حافظه بسیار مهم می شود.

برای مقابله با این چالش، مایکروسافت مدل جدید Mixture of Experts یا MoE را با نام MAI Code 1.1 Flash معرفی کرده است. این مدل در مجموع 137 میلیارد پارامتر دارد، اما در هر مرحله تنها 6.8 میلیارد پارامتر فعال است. مدل مذکور به صورت محلی بر روی دستگاه اجرا می شود و از تکنیک هایی مانند کوانتیزاسیون و رمزگشایی پیش بینی برای کاهش ردپای مدل و بهبود سرعت پاسخ استفاده می کند. مدل فلش MAI Code 1.1 در ابتدا بر روی لپ تاپ های Surface Ultra عرضه خواهد شد. مایکروسافت بیان کرد که در مورد مسائل پیچیده، آزمایش‌های این شرکت بهبود قابل توجهی در مصرف حداکثر حافظه و همچنین استفاده، پردازش و بهره‌وری توکن نشان داده است.

امنیت مدل ها

نکته مهم دیگر این است که به کاربران GitHub Copilot کنترل بیشتری بر نحوه استفاده از مدل های محلی در GitHub Copilot CLI، برنامه Copilot و Visual Studio Code بدهید. توسعه‌دهندگان می‌توانند گزینه Auto Orchestration را انتخاب کنند تا مدیریت زیرساخت و استنتاج را به طور کامل به GitHub Copilot واگذار کنند، یا گردش‌های کاری را مجبور به استفاده صریح از مدل‌های روی دستگاه کنند. مایکروسافت توضیح داد که انتخاب مدل محلی صریح برای گردش‌های کاری طراحی شده است که به ارائه‌دهنده، مدل یا نقطه پایانی خاصی نیاز دارد. توسعه دهندگان می توانند MAI Code 1.1 Flash را از طریق ارائه دهنده Windows ML انتخاب کنند یا GitHub CoPilot را به نقاط پایانی سازگار با OpenAI محلی متصل کنند و سپس گزینه مورد نظر را از بین مدل های ارائه شده توسط این نقاط پایانی انتخاب کنند.

بیشتر بخوانید: Meta Muse برای آیپد نیز منتشر شده است

همچنین، مایکروسافت در مورد امنیت اجرای مدل‌های محلی GitHub CoPilot اطمینان داده است. این بخش توسط Microsoft Execution Containers یا MXC مدیریت می شود که توسط تیم ویندوز توسعه داده شده است و وظیفه آن تبدیل سیاست های حساب کاربری به کنترل های سیستم عامل بومی است. MXC در ویندوز از لایه BaseContainer در باطن مربوط به ProcessContainer استفاده می کند، در لینوکس از bubblewrap و در macOS از کمربند ایمنی استفاده می کند. در نسخه های بعدی، مایکروسافت قصد دارد گزینه هایی مبتنی بر ماشین های مجازی یا تصاویر کانتینر مستقل را به این زیرساخت اضافه کند.