آخرین مدل زبان مایکروسافت با 1.3 میلیارد پارامتر و با نام فی-1 رونمایی شد.
گزارش کردن تکناکبرخلاف تصور رایج که مدل های بزرگتر عملکرد بهتری دارند، مایکروسافت در اینجا بر کیفیت داده های آموزشی تمرکز کرده است. Phi-1 با استفاده از یک مجموعه داده در سطح کتاب درسی با دقت بالا آموزش داده شده است و عملکرد بهتری از GPT-3.5 با 100 میلیارد پارامتر دارد.
زمان آموزش مدل مایکروسافت تنها 4 روز بود
مدل زبان Microsoft Phi-1 که مبتنی بر معماری Transformer است به دلیل عملکرد قابل قبولی که دارد توجه بسیاری را به خود جلب کرده است. تیم پشتیبان Phi-1 بر کیفیت داده های آموزشی تأکید داشت که منجر به تغییر اندازه مدل در حال افزایش شد.
تیم مایکروسافت با استفاده از یک مجموعه داده با کیفیت بالا متشکل از منابع اینترنتی و محتوای سطح کتاب درسی، داده ها را با استفاده از GPT-3.5 پردازش کرد. با استفاده از 8 پردازنده گرافیکی Nvidia A100، فرآیند آموزش تنها در چهار روز به پایان رسید.
به گفته مایکروسافت، تمرکز بر بهبود کیفیت داده های آموزشی در مقایسه با افزایش تعداد پارامترها، نتایج قابل ستایشی را به همراه داشته است. در آزمایشهای مقایسهای، Phi-1 به امتیاز دقت 50.6% رسید که از عملکرد 47% GPT-3.5 با 175 میلیارد پارامتر پیشی گرفت.
مایکروسافت قصد دارد مدل زبان Phi-1 را با استفاده از پلتفرم HuggingFace منتشر کند و بخشی از کد آن را به صورت رایگان در دسترس عموم قرار دهد. این اقدام دسترسی به این مدل زبان و پتانسیل همکاری بیشتر را افزایش می دهد.
این اولین بار نیست که مایکروسافت مدل های زبانی کوچکتری تولید می کند. پیش از این، مدل Orca با 13 میلیارد پارامتر با استفاده از داده های مصنوعی با استفاده از GPT-4 آموزش داده شده بود. حتی این مدل در مقایسه با ChatGPT قدیمی است. یک مقاله تحقیقاتی در مورد Phi-1 در arXiv منتشر شده است که جزئیات ساختار و روش آموزشی آن را ارائه می دهد. برای کسانی که علاقه مند به بررسی جنبه های فنی هستند، این مقاله یک نمای کلی از توسعه Phi-1 ارائه می دهد.
مدل زبان Phi-1 مایکروسافت، با تمرکز بر داده های آموزشی با کیفیت بالا، نشان داده است که افزایش حجم پارامترها برای بهبود عملکرد ضروری نیست. نشان داده شده است که Phi-1 بسیار دقیق است و حتی از مدل های بزرگتر نیز بهتر عمل می کند. در دسترس قرار دادن رایگان Phi-1 نشان دهنده تعهد مایکروسافت به پیشرفت در زمینه پردازش زبان طبیعی است.
نوآوری مایکروسافت در مدل زبان Phi-1 اولین بار در TechNock – اخبار دنیای فناوری پدیدار شد. ظاهر شد.
گفتگو در مورد این post