11 ноември, 2019

Разбирането на езика на глухонемите става все по-достъпно в технологичен план, благодарение на разработения от Google софтуер, успяващ да проследи различните символи. Софтуерът е създаден за смартфони, което прави удобството мобилно и приложимо навсякъде.

Технологията е разработена основно чрез machine learning, използвайки базови познания по жестовия език и допълнена с разпознаване на различната форма, движение и жестикулация на ръцете. Тук се включва и AR, успяваща в реално време да очертае формата на ръката в структура, напомняща на рентгенова снимка.

Основните фактори за визуализацията са три. Най-напред е детекторът, който улавя движенията на дланта, наречен BlazePalm. Разпознаването на ръката може да бъде сложна задача, поради различните размери и различния обем. Също така, задачата става цялостно по-сложна, ако BlazePalm трябва да разпознае и артикулацията на пръстите. Затова, най-напред детекторът е фокусиран върху отчитането единствено на огъванията и движенията на дланта.

Следва модел за очертаване на ръката или “Hand Landmark Model.” Тук вече се намесва локализирането на 21 ключови точки от китката до кокалчетата на ръката. Моделът успява да запомни различните позиции на ръката, за което не му пречи дори слабата видимост на по-затъмнени места. За по-добро покритие на всички възможни движения и позиции, изобретателите са подсигурили и рендване на синтетичен модел на ръката, кореспондиращ с 3D ключовите точки и създаващ ясно изображение.

Разпознаване на жестикулирането е третата стъпка. Това става чрез анализиране на състоянието на пръстите. Изправени или сгънати – технологията разбира за това, следвайки промяната в ъглите на ставите.

Идеята на този AI софтуер е да редуцира изолацията на глухонемите в ежедневен план, а бъдещето му е в развитието на все по-точно разпознаване на жестовия език.

Тагове: , , , ,