
یک مدل هوش مصنوعی بسیار کوچک با حجمی در حدود 380 کیلوبایت ساخته شده است که می تواند روی یک فلاپی دیسک قدیمی قرار بگیرد و حتی روی کامپیوترهای مجهز به سیستم عامل MS-DOS نیز اجرا شود.
گزارش کردن سرویس هوش مصنوعی یک مرحله ایاین مدل زبان کوچک علیرغم داشتن ساختار ترانسفورماتور توانایی محدودی دارد و گاهی در پاسخ به سوالات ساده اشتباهات عجیبی مرتکب می شود.
چگونه یک مدل هوش مصنوعی 380 کیلوبایتی بسازیم
در دورانی که مدلهای هوش مصنوعی با میلیاردها و حتی تریلیونها پارامتر توسعه مییابند، ساخت یک مدل زبان با اندازه تنها 380 کیلوبایت چیز جالبی به نظر میرسد.
بر اساس اطلاعات منتشر شده در صفحه پروژه GitHub، این مدل کوچک شناسایی شده توسط وب سایت HackD به زبان برنامه نویسی C و کامپایلر Turbo C 2.0 نوشته شده است.
مدل مورد نظر از معماری ترانسفورماتور استفاده می کند. همان معماری اساسی که در بسیاری از مدل های زبان مدرن دیده می شود. البته شباهت معماری به معنای داشتن توانایی های مشابه نیست.

بر اساس اطلاعات منتشر شده، این مدل تنها 367 هزار پارامتر دارد. در مقایسه، مدلهای زبان سبک امروزی معمولاً از میلیاردها پارامتر استفاده میکنند.
وزن های مدل نیز با دقت 8 بیتی ذخیره شده و حجم آنها در مجموع به حدود 380 کیلوبایت می رسد. این هوش مصنوعی برای اجرا به حدود 540 کیلوبایت حافظه نیاز دارد.
ویژگی های اصلی این پروژه عبارتند از:
- حجم مدل: حدود 380 کیلوبایت
- تعداد پارامترها: 367 هزار
- حافظه مورد نیاز برای اجرا: حدود 540 کیلوبایت
- تعداد اطلاعات آموزشی: حدود 3500 واقعیت
- زبان برنامه نویسی: توربو C 2.0
- سیستم عامل سازگار: MS-DOS
نکته جالب دیگر مربوط به نحوه ساخت این مدل است. طبق توضیحات سازنده، او از Entropic Fable 5.2 برای نوشتن مدل و Entropic Opus 5.5 برای آموزش آن استفاده کرده است.
به عبارت دیگر، یک مدل هوش مصنوعی کوچک با کمک مدل های هوش مصنوعی بسیار بزرگتر ساخته و آموزش داده می شود.
چرا این چت بات کوچک پاسخ های اشتباه می دهد؟
با وجود طراحی جالب مدل هوش مصنوعی 380 کیلوبایتی، نباید انتظار عملکردی مشابه چت ربات های پیشرفته مانند Cloud از این مدل داشته باشیم.
این هوش مصنوعی تنها با حدود 3500 واقعیت آموزش داده شده و دانش بسیار محدودی در مورد جهان دارد. به همین دلیل، بسیاری از اوقات پاسخ هایی را تولید می کند که کاملاً اشتباه است.
به عنوان مثال، در پاسخ به سوالی در مورد نهنگ ها، مدل به درستی بیان کرد که آنها پستانداران هستند و ماهی نیستند. همچنین توانسته الکساندر گراهام بل را به عنوان مخترع تلفن معرفی کند.
اما در مثال عجیبتر، وقتی از او پرسیده شد که حاصل ضرب 17 در 23 چیست، پاسخ 96 را داد. در حالی که پاسخ صحیح 391 است.
این مدل حتی به این سوال که پادشاه فرانسه کیست پاسخ داد؟ نام عجیبی به زبان آورد و با اطمینان کامل اعلام کرد که پادشاه فرانسه شخصی به نام آنتارس نیوتن است!
این مثال ها نشان می دهد که کوچک بودن یک مدل هوش مصنوعی لزوماً به معنای کارآمد بودن آن نیست. مدل برای پاسخگویی دقیق به اطلاعات آموزشی گسترده تر و توانایی پردازش بهتر نیاز دارد.

آیا مدل های کوچک هوش مصنوعی آینده بهتری دارند؟
اهمیت این پروژه بیشتر به نشان دادن امکان اجرای مدل های زبان بر روی سخت افزار بسیار قدیمی مربوط می شود تا توانایی مدل در پاسخگویی.
امروزه بسیاری از مدل های پیشرفته هوش مصنوعی نیازمند پردازش و منابع حافظه قابل توجهی هستند. در مقابل، این پروژه نشان می دهد که یک نسخه بسیار ساده از یک مدل زبان را می توان با منابع سخت افزاری محدود پیاده سازی کرد.
البته این مدل برای انجام کارهای جدی، پاسخگویی دقیق و یا جایگزینی دستیارهای هوشمند امروزی مناسب نیست. محدودیت اطلاعات آموزشی و خطاهای متعدد آن، استفاده عملی از چنین مدلی را دشوار می کند.
با وجود این، پروژه مذکور نمونه جالبی از کوچک سازی مدل های هوش مصنوعی و پیاده سازی آن ها بر روی سیستم های قدیمی است. شاید مهم ترین دستاورد این باشد که نشان می دهد ما همیشه برای تجربه یک مدل زبان ساده به کامپیوترهای قدرتمند و سخت افزار گران قیمت نیاز نداریم.

















گفتگو در مورد این post