Phi-2 2.7B مایکروسافت بهتر از Gemini Nano-2 3.2B عمل می کند.

بر اساس نتایج بنچمارک ها، مدل Phi-2 2.7B مایکروسافت عملکرد بهتری نسبت به مدل جدید معرفی شده Gemini Nano-2 3.2B گوگل دارد.

در چند ماه گذشته، Microsoft Research مجموعه‌ای از مدل‌های زبان کوچک (SLM) به نام Phi را منتشر کرده است. ابتدا مدل Phi-1 با 1.3 میلیارد پارامتر منتشر شد و برای کدگذاری ابتدایی پایتون بود. در سپتامبر 2023، Microsoft Research مدل Phi-1.5 را با 1.3 میلیارد پارامتر منتشر کرد. اما این مدل با استفاده از یک منبع داده جدید که شامل متون ترکیبی NLP بود، آموزش داده شد. با وجود اندازه کوچک، Phi-1.5 عملکرد تقریباً به روزی را در مقایسه با مدل های با اندازه مشابه ارائه می دهد.

MSPowerUser او می نویسد که اخیرا مایکروسافت اعلام کرد که مدل Phi-2 AI را با 2.7 میلیارد پارامتر منتشر کرده است. تحقیقات مایکروسافت ادعا می کند که این مدل جدید SLM عملکردی پیشرفته را در بین مدل های زبان پایه با کمتر از 13 میلیارد پارامتر ارائه می دهد. در برخی از معیارهای پیچیده، Phi-2 عملکردی برابر یا بهتر از مدل های 25 برابر بزرگتر دارد.

هفته گذشته گوگل مجموعه مدل زبان Gemini را معرفی کرد. مدل Gemini Nano کارآمدترین مدل گوگل است که برای انجام کارهای مختلف بر روی دستگاه ساخته شده است و می تواند مستقیماً روی تراشه های موبایل اجرا شود. مدل‌های کوچک‌تر مانند Gemini Nano ویژگی‌هایی مانند خلاصه‌سازی متن، پاسخ‌های هوشمند مبتنی بر متن و تصحیح گرامر پیشرفته را ارائه می‌کنند.

به گفته مایکروسافت، مدل جدید Phi-2 برابر یا بهتر از مدل جدید Gemini Nano-2 گوگل است. در جدول زیر مقایسه بنچمارک بین مدل های Gemini Nano-2 و Phi-2 را مشاهده می کنید:

مدل	اندازه	BBH	BoolQ	MBPP	MMLU
Gemini Nano 2	3.2B	42.4	79.3	27.2	55.8
فی-2	2.7B	59.3	83.3	59.1	56.7

علاوه بر عملکرد بهتر از Gemini Nano-2، مدل Phi-2 در معیارهای مختلف با پارامترهای 7 میلیارد و 13 میلیارد از عملکرد مدل های Mistral و Llama-2 فراتر رفته است. جزئیات این تابع را در جدول زیر مشاهده می کنید:

مدل	اندازه	BBH	یک عقل مشترک از استدلال	درک کردن زبان	ریاضی	کد نویسی
لاما-2	7B	40.0	62.2	56.7	16.5	21.0
	13B	47.8	65.0	61.9	34.2	25.4
	70B	66.5	69.2	67.6	64.1	38.3
میسترال	7B	57.2	66.4	63.7	46.4	39.4
فی-2	2.7B	59.2	68.8	62.0	61.1	53.7