Microsoft usa Kinect para interpretar a linguagem de sinais de surdos

Michael Kan, IDG News Service

Os desenvolvedores da Microsoft Research utilizam a tecnologia do Xbox 360 para ler sinais e traduzi-los em texto falado.

A tecnologia Kinect, da Microsoft, já é perita em leitura de mãos e movimentos do corpo e agora ela está incorporando a linguagem de sinais em seu “vocabulário” de sensores de movimento, como parte de um novo projeto de pesquisa da empresa, destinado a ajudar os surdos.

Os desenvolvedores da Microsoft Research têm utilizado a tecnologia de game do Xbox 360 para ler a linguagem de sinais dos usuários surdos e traduzi-la em texto falado.

Na quarta-feira (30), a empresa mostrou alguns dos resultados. “Agradeço à Microsoft, por transformar o meu sonho em realidade”, disse Yin Dandan, um aluno surdo, que demonstrou o tradutor Kinect.

A tecnologia pode não apenas transformar a linguagem de sinais em palavras faladas por um computador, mas também fazer o inverso. Um usuário não-surdo pode falar ou escrever palavras no tradutor Kinect. O sistema, em seguida, transforma as palavras em língua gestual por meio de um avatar virtual exibido no display.

A Microsoft Research demonstrou a tecnologia, enquanto celebrava o 15 º ano de sua divisão na Ásia. A tradução de linguagem está entre os focos da empresa e já há pesquisadores que desenvolveram um software que pode replicar artificialmente a voz de uma pessoa e fazê-lo falar outras línguas – incluindo chinês.

Ao mesmo tempo, a empresa tem promovido o uso do Kinect entre os desenvolvedores de software na China, disse Wu Guobin, gerente de programa da Microsoft Research.

O gadget tem provado ser um dispositivo sensor de movimento ideal para a Academia Chinesa de Ciências, que há tempos pesquisa tecnologia de reconhecimento de linguagem de sinais.

Pesquisadores já usaram câmeras e até mesmo “luvas digitais” para capturar a linguagem gestual. Mas esses dispositivos são caros – as câmeras custam entre 10 mil yuan (1,6 mil dólares) e 30 mil yuan (4,8 mil dólares), disse Wu. Em contraste, o Kinect é uma alternativa acessível – custa mil yuan (cerca de 160 dólares), acrescentou.

Desde fevereiro de 2012, a Microsoft Research iniciou a colaboração no projeto com a Academia Chinesa de Ciências, e com a Universidade Beijing Union. Após cerca de 18 meses de desenvolvimento, o tradutor Kinect pode agora reconhecer 370 das palavras mais populares em da Língua Gestual Chinesa e da Língua Gestual Americana.

A equipe de pesquisa espera colaborar com mais especialistas na área e também está pesquisando surdos para encontrar os melhores casos de uso para o tradutor Kinect.

Acredita-se que o sistema pode ajudar os usuários surdos a fazer apresentações para pessoas que não possuem o conhecimento da linguagem de sinais. Os usuários surdos que trabalham em um quiosque de informações poderiam também se comunicarem mais facilmente com os visitantes que precisam de ajuda.

Não se sabe quando essa iniciativa irá chegar ao mercado, disse Wu. A Microsoft ainda está trabalhando para melhorar a tecnologia de reconhecimento de linguagem, e precisa expandir o vocabulário da língua de sinais que o sistema reconhece.

“Eu acho que está sendo ótimo. Em um ano e meio, já desenvolvemos o protótipo do sistema”, disse Wu. “Os resultados foram publicados em grandes conferências, e outros pesquisadores disseram que os resultados são muito bons.”

Anúncios