


مکالمه در یک اتاق شلوغ که موسیقی آنقدر بلند است که به سختی می توانید صدای فرد مقابل را بشنوید، باعث می شود سعی کنید با یک متخصص تماس بگیرید. لب خوانی تبدیل شدن شما سعی می کنید زبان بدن و اهداف شخص را بفهمید تا بفهمید چه می گوید.
به گزارش بخش اخبار فناوری خبرجو به نقل از دیجیتال ترندز، اما اگر به شما بگویم که یکی هوش مصنوعی حالا در این زمینه بهتر عمل می کند و تنها چیزی که نیاز دارد دیدن لب های شماست؟ این سیستم فقط با تماشای نحوه حرکت لبهای شما میتواند بدون شنیدن حتی یک صدا بفهمد که چه میگویید. موضوعی به اندازه تکنولوژی خواندن عضلات گردن توسط هوش مصنوعی که اوایل امسال بررسی کردیم بسیار جذاب است.
سیستم DLLM-VSR؛ هوش مصنوعی چگونه در سکوت لب می خواند؟
محققان در سیستم مؤسسه علوم و فناوری پیشرفته کره (KAIST). هوش مصنوعی یک مورد جدید ایجاد کرده اند که این امکان را کمی به واقعیت نزدیک می کند. این فناوری که DLLM-VSR حرکات لب را می خواند و آنها را به متن تبدیل می کند و از روشی هوشمندانه برای رمزگشایی کلماتی استفاده می کند که در غیر این صورت تشخیص بصری آنها دشوار بود.
طبق اعلام رسمی KAIST، این سیستم در یک معیار استاندارد تنها 19.4 درصد خطای کلمه دارد. لب خوانی به دست آورد و رکورد جدیدی را در بین روش های آموزش دیده بر روی همان مجموعه داده برچسب گذاری شده به دست آورد.

فناوری لب خوانی هوشمند چگونه کار می کند؟
لب خوانی حتی برای هوش مصنوعی به طرز شگفت آوری پیچیده است. برخی صداها مانند «p»، «b» و «m» حرکات دهان تقریباً یکسانی دارند و تشخیص دقیق آنچه که شخص بدون شنیدن میگوید را دشوار میکند. سیستم های سنتی سخنرانی ارزیابی با هوش مصنوعی آنها معمولاً کلمات را به ترتیب از چپ به راست پردازش می کنند. مشکل این است که یک پیشبینی نادرست در ابتدای جمله میتواند بر هر چیزی که در ادامه میآید تأثیر بگذارد.
محققان رویکرد متفاوتی را با استفاده از مدل زبانی بزرگ انتشار (DLLM) ایجاد کردند. به جای هوش مصنوعی برای تفسیر هر کلمه به ترتیب، سیستم ابتدا قسمت هایی از جمله را مشخص می کند که بیشتر به آن اعتماد دارد. سپس از آن کلمات به عنوان زمینه استفاده می کند تا پس از در نظر گرفتن اطلاعات قسمت های قبلی و بعدی جمله، به تدریج قطعات گمشده را پر کند.

این سیستم همچنین چندین طول جمله ممکن را بر اساس مدت زمان ویدیو تخمین می زند، رونوشت هایی برای هر کدام ایجاد می کند و محتمل ترین نتیجه را انتخاب می کند. در مقاله تحقیقاتی خود، تیم گزارش داد که با استفاده از 433 ساعت داده های ویدیویی برچسب دار، به نرخ خطای کلمه 19.4٪ در معیار LRS3 دست یافتند. این رقم، کلمات نادرست، گمشده و زائد را اندازهگیری میکند، نه درصد مکالمات کامل را که به درستی درک شدهاند.
انقلابی در دسترسی و دسترسی بهتر برای همه
کاربردهای بالقوه این فناوری بسیار فراتر از درک مکالمات در رستوران های شلوغ است. محققان استفاده از این فناوری را در محیط های صنعتی پیش بینی می کنند که ارتباط صوتی را برای ماشین ها دشوار می کند. همچنین میتواند از دستگاههای دسترسی پشتیبانی کند که حرکات لب را برای کاربران ناشنوا و کمشنوا به متن ترجمه میکنند.
با این حال، این فناوری هنوز برای استفاده روزمره کاملاً آماده نیست. عملکرد آن هنوز در مجموعه دادههای مختلف متفاوت است و محققان در تلاش هستند تا نیازمندیهای محاسباتی آن را کاهش دهند تا در نهایت بتواند در زمان واقعی بر روی دستگاههای پوشیدنی و روباتهای بدون اتصال به اینترنت کار کند.
جدای از نکات مثبت، نگرانیهای قانونی قانونی در مورد فناوری که قادر به تفسیر مکالمات از ضبطهای ویدئویی بیصدا است، وجود دارد. با این وجود، این تحقیق نگاهی جذاب به چگونگی تغییر ارتباطات توسط آن ارائه می دهد هوش مصنوعی فراهم می کند و شاید یک روز، درک یک فرد در یک اتاق غیرممکن شلوغ نیازی به شنیدن صدای او نداشته باشد.

















گفتگو در مورد این post