Uma solução para geração automática de trilhas em língua brasileira de sinais em conteúdos multimídia

Deaf people have serious difficulties to access information. The support for sign languages is rarely addressed in Information and Communication Technologies (ICT). Furthermore, in scientific literature, there is a lack of works related to machine translation for sign languages in real-time and open-domain scenarios, such as TV. To minimize these problems, in this work, we propose a solution for automatic generation of Brazilian Sign Language (LIBRAS) video tracks into captioned digital multimedia contents. These tracks are generated from a real-time machine translation strategy, which performs the translation from a Brazilian Portuguese subtitle stream (e.g., a movie subtitle or a closed caption stream). Furthermore, the proposed solution is open-domain and has a set of mechanisms that exploit human computation to generate and maintain their linguistic constructions. Some implementations of the proposed solution were developed for digital TV, Web and Digital Cinema platforms, and a set of experiments with deaf users was developed to evaluate the main aspects of the solution. The results showed that the proposed solution is efficient and able to generate and embed LIBRAS tracks in real-time scenarios and is a practical and feasible alternative to reduce barriers of deaf to access information, especially when human interpreters are not available

Conselho Nacional de Desenvolvimento Científico e Tecnológico

Os surdos enfrentam sérias dificuldades para acessar informações. As Tecnologias de Informação e Comunicação (TIC) quando são desenvolvidas dificilmente levam em consideração os requisitos específicos destes usuários especiais. O suporte para línguas de sinais, por exemplo, é raramente explorado nessas tecnologias. Além disso, as soluções presentes na literatura relacionadas a tradução automática para línguas de sinais são restritas a um domínio de aplicação específico ou não são viáveis para cenários que necessitam de tradução em tempo real, como, por exemplo, na TV. Para reduzir esses problemas, neste trabalho é proposta uma solução para geração automática de trilhas em Língua Brasileira de Sinais (LIBRAS) em conteúdos digitais multimídia legendados. As trilhas de LIBRAS são geradas a partir de uma estratégia de tradução automática e em tempo real para LIBRAS, que realiza a tradução a partir de fluxos de legendas (como, por exemplo, legendas ou closed caption) em língua portuguesa. Além disso, a solução proposta é de domínio geral e dotada de um conjunto de mecanismos que exploram a colaboração e a computação humana para gerar e manter suas construções lingüísticas de forma eficiente. Implementações da solução proposta foram desenvolvidas para as plataformas de TV Digital, Web e Cinema Digital, e um conjunto de experimentos, incluindo testes com usuários surdos, foi desenvolvido para avaliar os principais aspectos da solução. Os resultados mostraram que a solução proposta é eficiente, capaz de gerar e embarcar as trilhas de LIBRAS em cenários que exigem tradução em tempo real, além de ser uma alternativa prática e viável para redução das barreiras de acesso à informação dos surdos, especialmente quando intérpretes humanos não estão disponíveis