تست GPT-4 با Doom

یک محقق مایکروسافت راهی برای بازی Doom با مدل GPT-4 از OpenAI اختراع کرده است. بازی ای که به نظر نمی رسد هوش مصنوعی در آن عالی باشد.

به گفته تکنوک، مدل GPT-4 AI می تواند Doom را بازی کند. اما به گفته آدریان دی وینتر، محقق مایکروسافت، این هوش مصنوعی در انجام بازی مذکور چندان نمی درخشد. محقق هشدار می دهد که اشتباهات در مدل GPT-4 در Doom می تواند منجر به سوء استفاده های احتمالی در برنامه های جدی تر شود.

آدریان دی وینتر یک مقاله منتشر کرد و در وبلاگش نوشت که سعی کرده ببیند آیا مدل GPT-4 می تواند بازی کلاسیک Doom را بازی کند یا خیر. برای انجام این کار، او GPT-4 را به Vision API متصل کرده است تا مدل هوش مصنوعی بتواند تصاویر بصری را دریافت کند و اقدامات مناسب را انجام دهد.

در مرحله بعد، DeWinter برنامه ای برای گرفتن اسکرین شات از کامپیوتری که Doom را اجرا می کرد، نوشت. این اسکرین شات ها به GPT-4 داده شد تا بتواند بازی را تمام کند. سپس پاسخ‌های GPT-4 به دستورات مورد استفاده برای کنترل بازی تبدیل شدند.

در این آزمایش، DeWinter مجموعه‌ای از مولدهای پیام را به GPT-4 داد که دستورالعمل‌هایی برای تکمیل بازی دریافت کرده بودند و می‌توانستند اقدامات قبلی انجام شده را در نظر بگیرند. نتایج نشان داد که فناوری OpenAI می تواند Doom را نسبتاً موفقیت آمیز بازی کند. یعنی هوش مصنوعی آنقدر هوشمند است که بتواند در نقشه حرکت کند و به دشمنان شلیک کند.

با این حال، محقق مایکروسافت در وبلاگ او نوشته شده است که در مقایسه با عملکرد انسان، GPT-4 در انجام بازی ها وحشتناک است. مثلاً گفته است که مدل هوش مصنوعی گاهی کارهای احمقانه انجام می دهد. مثلاً گیر افتادن و فقط مشت زدن به دیوار یا شلیک به بشکه های مواد منفجره از فاصله نزدیک.

علاوه بر این، GPT-4 اغلب دشمنان را نادیده می گرفت و وانمود می کرد که آنها وجود ندارند، زمانی که از دید دور می شدند. دیوینتر افزود: “بیشتر اوقات، مدل می میرد زیرا او گوشه ای را می گیرد و در نهایت از پشت مورد اصابت گلوله قرار می گیرد.”

نتایج نشان می‌دهد که GPT-4 وقتی صحبت از استدلال طولانی‌مدت و بقای اشیاء یا توانایی تشخیص اینکه شی هنوز وجود دارد به میان می‌آید. حتی زمانی که آشکار نیست، مشکل ساز است. مشکل دیگر این است که مدل OpenAI گاهی اوقات اختراع یا توهم می کند که چرا باید اقدامات خاصی در طول بازی انجام شود.

ناگفته نماند که GPT-4 برای تیراندازی اول شخص طراحی نشده است. با این حال، دوینتر به این نتیجه رسید که مدل OpenAI برای باز کردن درها، ردیابی اهداف ساده، شناسایی و شلیک دشمنان با استفاده از تصاویر ساده از دنیای بازی های ویدیویی به اندازه کافی هوشمند است.

وی در پایان افزود:

در حالی که این تحقیق بسیار جالب در مورد برنامه نویسی و استدلال است و می تواند برای تست خودکار بازی های ویدیویی به کار رود، کاملاً واضح است که این مدل از آنچه انجام می دهد آگاه نیست. من از همه می خواهم که در مورد عواقب استفاده از این مدل ها برای جامعه و سوء استفاده های احتمالی آنها با دقت فکر کنند.