امکان استفاده از قابلیت ردیابی ویژن پرو اپل برای آموزش ربات ها

هدست واقعیت مجازی ویژن پرو اپل که چند ماه پیش رونمایی شد دارای قابلیتی به نام ردیابی است که می توان از آن برای آموزش ربات ها استفاده کرد.

به گزارش تکنوک، اپل در ماه فوریه دستگاه واقعیت مجازی ویژن پرو را معرفی کرد. شاید هیاهوی مربوط به این دستگاه واقعیت افزوده را در شبکه های اجتماعی دیده باشید که سر و صدایی در فضای واقعیت مجازی به پا کرده است. این دستگاه دارای قابلیت های ردیابی پیشرفته ای است که به آن اجازه می دهد تا حرکات کاربر به ویژه حرکات مچ و انگشتان را زیر نظر داشته باشد.

همانطور که قبلا ذکر شد، این فناوری توجه جامعه رباتیک را به خود جلب کرده است. ویژگی اصلی ویژن پرو توانایی آن در ردیابی انواع حرکات انسان با دقت استثنایی است. این دستگاه با استفاده از ARKit اپل، حرکات سر، مچ و انگشتان شما را در زمان استفاده از آن به‌صورت بلادرنگ ثبت می‌کند و به آن کمک می‌کند تا داده‌های ارزشمندی را برای برنامه‌های روباتیک به دست آورد.

قابلیت ردیابی ویژن پرو را به ابزاری ایده آل برای ثبت رفتار انسان در محیط های واقعی تبدیل می کند. با انجام این کار، آنها بینش هایی را در مورد وظایف ناوبری و دستکاری که بر برنامه ریزی و تصمیم گیری ربات تأثیر می گذارد، به دست می آورند.

با توجه به کد منبع، Tracking Streamer یکی از برنامه‌های VisionOS است که می‌توانید آن را از اپ استور نصب کنید. کد آن نیز در مخزن منبع باز موجود است. این برنامه دو هدف اصلی دارد: 1. ردیابی حرکات انسان. 2. یک جریان داده ردیابی را از طریق شبکه ارسال کنید.

علاوه بر این، Vision Pro کنترل از راه دور ربات ها را با استفاده از حرکات طبیعی انسان تسهیل می کند. این دستگاه داده‌های ردیابی را از طریق شبکه ارسال می‌کند تا کاربران بتوانند با استفاده از حرکات طبیعی و ژست‌های گرفته شده توسط دستگاه، ربات‌ها را از راه دور کنترل کنند.

پارک یونگیو و برنامه پولکیت آگراوال ردیابی استریمر برای پشتیبانی از توسعه دهندگان در استفاده از VisionPro برای برنامه های روباتیک معرفی شده اند. این اپلیکیشن به عنوان پلتفرمی برای ردیابی حرکات انسان و ارسال جریان داده به دستگاه های متصل در همان شبکه عمل می کند.

از ARKit اپل و پروتکل ارتباطی gRPC برای اطمینان از انتقال ایمن و کارآمد داده و ادغام با طیف گسترده ای از دستگاه ها استفاده می کند. علاوه بر این، توسعه دهندگان می توانند با استفاده از Python API به داده های ردیابی دسترسی داشته باشند.

آیا ویژن پرو محدودیتی دارد؟

به نظر می رسد که ویژگی های امیدوارکننده زیادی برای ویژن پرو وجود دارد. اما آیا محدودیتی وجود دارد؟ آره! به عنوان مثال، این دستگاه ممکن است در محیط هایی با محدودیت حرکت مانند آسانسور یا وسایل نقلیه در حال حرکت دچار مشکل شود.

علاوه بر این، به عنوان یک کاربر، ممکن است برای اطمینان از ردیابی دقیق، نیاز به نظارت بر موقعیت دست داشته باشید. به عنوان مثال، زمانی که دست ها نزدیک کمر یا باسن هستند. در چنین مواردی، ردیابی محدود است.

طبق این مطالعه، اگر دست های خود را به طور کامل پایین بیاورید، Vision Pro نمی تواند دست های شما را ببیند. هنگامی که به طور معمول با دستان خود به دور کمر یا باسن راه می روید، Vision Pro در تشخیص دست های شما مشکل دارد.

در این سناریوها، جریان ردیابی دست ممکن است کمی پر سر و صدا باشد. این کتابخانه داده های جریانی را صاف یا فیلتر نمی کند. بنابراین، ممکن است لازم باشد تابع پس پردازش خود را برای فیلتر کردن آن تخمین های پر سر و صدا پیاده سازی کنید.

با این حال، با نگاهی به آینده، می‌توان نتیجه گرفت که قابلیت‌های Vision Pro در رباتیک بسیار بالاست. آنها به طور منظم مخزن را به روز می کنند و با استفاده از ARKit و RealityKit اپل ویژگی های بیشتری را برای برنامه های روباتیک اضافه می کنند. گام بعدی فوری آنها کشف امکان ارتباط دو طرفه بین شبیه سازی یا دنیای واقعی و Vision Pro است.