Signwriting : um sistema de escrita das línguas gestuais : aplicação à língua gestual portuguesa

A língua gestual (LG) é a língua natural da pessoa surda, sendo utilizada como forma de expressão e comunicação da comunidade surda de um determinado país. Porém, é de todo impossível escrever estas línguas através de um alfabeto comum como o da Língua Portuguesa (LP). Em 1974, na Dinamarca, Valerie Sutton criou o SignWriting (SW), um sistema de escrita das línguas gestuais, contrariando assim a ideia de que as línguas espaço-visuais não poderiam ter uma representação gráfica. Para o surgimento deste sistema foram fundamentais os estudos pioneiros de William Stokoe que reconheceram o estatuto linguístico das línguas gestuais, atribuindo-lhes propriedades inerentes a uma língua, como por exemplo a arbitrariedade e convencionalidade. Neste trabalho apresentamos o SW, sistema de escrita das línguas gestuais já utilizado noutros países, e questionamos se é exequível e profícua a sua adaptação à língua gestual portuguesa (LGP). Nesse sentido, concretizamos a escrita da LGP com base em áreas vocabulares distintas e presentes no programa curricular do ensino da LGP. Por último, efetivamos tal proposta através de um modelo de ação de formação em SW.

Aprendizagem de escrita de língua de sinais pelo sistema SignWriting : língua de sinais no papel e no computador

Esta tese trata de como o sistema SignWriting pode servir de suporte a uma nova proposta pedagógica ao ensino da escrita de língua de sinais e letramento para crianças surdas usuárias da Língua Brasileira de Sinais - Libras e da Língua de Sinais Francesa - LSF. Escrever deve ser uma atividade significativa para a criança. No caso da criança surda, a escrita fundamenta-se em sua competência na língua de sinais, sem precisar da intermediação da língua oral. A criança surda, quando em um ambiente onde ela e seus colegas se comunicam em língua de sinais, efetivamente tenta escrever sinais, quando é incentivada a fazê-lo. Em nossos experimentos, usamos o sistema SignWriting para mostrar ás crianças surdas (e a seus pais e professores) como escrever textos em línguas de sinais de ambas as formas: manuscrita e impressa, usando o programa Sign Writer para editar textos em línguas de sinais. A base teórica que apóia a tese é a abordagem bilíngüe para a educação de surdos, a língua de sinais, a teoria de Piaget, e de Ferreiro quando trata das etapas da alfabetização em língua oral. Esta investigação possui um caráter exploratório, em que o delineamento metodológico é dado pela pesquisa-ação. O primeiro estudo apresenta um levantamento do processo de aquisição da escrita de sinais, em sua forma manuscrita, pela criança e jovem surdo no Brasil e na França. O segundo estudo trata da ajuda que a informática pode dar a essa aquisição e de como utilizamos os softwares de escrita de língua de sinais em aulas de introdução ao uso do computador e em transcrições da LSF de corpus vídeo para a escrita de língua de sinais. Os resultados sugerem que as crianças evoluem em sua escrita, pois muitos signos que elas escreveram não foram sugeridos pela experimentadora, nem por outro meio, mas surgiram espontaneamente. A introdução de um software como o Sign Writer ou o SW-Edit nas classes para introduzir as TI traz a essas aulas muito maior interesse do que quando usamos um editor de textos na língua oral. Também as produções das crianças são mais sofisticadas. As conclusões indicam que a escrita de língua de sinais incorporada à educação das crianças surdas pode significar um avanço significativo na consolidação de uma educação realmente bilíngüe, na evolução das línguas de sinais e aponta para a possibilidade de novas abordagens ao ensino da língua oral como segunda língua.

Análise de Expressões Não-Manuais em Traduções de Literaturas Surdas Infantis em Escrita de Sinais – Sistema Signwriting

O presente artigo analisou o parâmetro Expressões Não-Manuais (ENM) em traduções de literaturas surdas infantis em escrita de sinais pelo sistema SignWriting, destacando a importância de seu uso também na forma escrita. Dentre os cinco parâmetros fonológicos encontrados na Língua Brasileira de Sinais (Libras), um traço diferenciador é a harmonia que o uso da ENM traz tanto para as traduções, como para qualquer texto. Com base na temática investigada, o uso das ENM se faz presente ora mais evidenciado, ora quase imperceptível, dependendo exclusivamente do tema a qual se pretende registrar e das escolhas do tradutor. Trata-se de uma língua escrita de modalidade visuoespacial, portanto, o uso de imagens ilustrativas nas obras analisadas, compõem o entendimento. Por meio de recortes, foi possível evidenciar as escolhas e percepções de tradutores distintos sem o intuito de oferecer outras opções de ENM no corpus da pesquisa, ficando a cargo do leitor essa subjetividade. Ao término da análise das amostras pôde-se perceber, dentre outras questões, que o uso das ENM não é sistematizado.

Diseño, desarrollo y evaluación de sistemas de traducción automática para reducir las barreras de comunicación de las personas sordas

La principal aportación de esta tesis doctoral ha sido la propuesta y evaluación de un sistema de traducción automática que permite la comunicación entre personas oyentes y sordas. Este sistema está formado a su vez por dos sistemas: un traductor de habla en español a Lengua de Signos Española (LSE) escrita y que posteriormente se representa mediante un agente animado; y un generador de habla en español a partir de una secuencia de signos escritos mediante glosas. El primero de ellos consta de un reconocedor de habla, un módulo de traducción entre lenguas y un agente animado que representa los signos en LSE. El segundo sistema está formado por una interfaz gráfica donde se puede especificar una secuencia de signos mediante glosas (palabras en mayúscula que representan los signos), un módulo de traducción entre lenguas y un conversor texto-habla. Para el desarrollo del sistema de traducción, en primer lugar se ha generado un corpus paralelo de 7696 frases en español con sus correspondientes traducciones a LSE. Estas frases pertenecen a cuatro dominios de aplicación distintos: la renovación del Documento Nacional de Identidad, la renovación del permiso de conducir, un servicio de información de autobuses urbanos y la recepción de un hotel. Además, se ha generado una base de datos con más de 1000 signos almacenados en cuatro sistemas distintos de signo-escritura. En segundo lugar, se ha desarrollado un módulo de traducción automática que integra dos técnicas de traducción con una estructura jerárquica: la primera basada en memoria y la segunda estadística. Además, se ha implementado un módulo de pre-procesamiento de las frases en español que, mediante su incorporación al módulo de traducción estadística, permite mejorar significativamente la tasa de traducción. En esta tesis también se ha mejorado la versión de la interfaz de traducción de LSE a habla. Por un lado, se han incorporado nuevas características que mejoran su usabilidad y, por otro, se ha integrado un traductor de lenguaje SMS (Short Message Service – Servicio de Mensajes Cortos) a español, que permite especificar la secuencia a traducir en lenguaje SMS, además de mediante una secuencia de glosas. El sistema de traducción propuesto se ha evaluado con usuarios reales en dos dominios de aplicación: un servicio de información de autobuses de la Empresa Municipal de Transportes de Madrid y la recepción del Hotel Intur Palacio San Martín de Madrid. En la evaluación estuvieron implicadas personas sordas y empleados de los dos servicios. Se extrajeron medidas objetivas (obtenidas por el sistema automáticamente) y subjetivas (mediante cuestionarios a los usuarios). Los resultados fueron muy positivos gracias a la opinión de los usuarios de la evaluación, que validaron el funcionamiento del sistema de traducción y dieron información valiosa para futuras líneas de trabajo. Por otro lado, tras la integración de cada uno de los módulos de los dos sistemas de traducción (habla-LSE y LSE-habla), los resultados de la evaluación y la experiencia adquirida en todo el proceso, una aportación importante de esta tesis doctoral es la propuesta de metodología de desarrollo de sistemas de traducción de habla a lengua de signos en los dos sentidos de la comunicación. En esta metodología se detallan los pasos a seguir para desarrollar el sistema de traducción para un nuevo dominio de aplicación. Además, la metodología describe cómo diseñar cada uno de los módulos del sistema para mejorar su flexibilidad, de manera que resulte más sencillo adaptar el sistema desarrollado a un nuevo dominio de aplicación. Finalmente, en esta tesis se analizan algunas técnicas para seleccionar las frases de un corpus paralelo fuera de dominio para entrenar el modelo de traducción cuando se quieren traducir frases de un nuevo dominio de aplicación; así como técnicas para seleccionar qué frases del nuevo dominio resultan más interesantes que traduzcan los expertos en LSE para entrenar el modelo de traducción. El objetivo es conseguir una buena tasa de traducción con la menor cantidad posible de frases. ABSTRACT The main contribution of this thesis has been the proposal and evaluation of an automatic translation system for improving the communication between hearing and deaf people. This system is made up of two systems: a Spanish into Spanish Sign Language (LSE – Lengua de Signos Española) translator and a Spanish generator from LSE sign sequences. The first one consists of a speech recognizer, a language translation module and an avatar that represents the sign sequence. The second one is made up an interface for specifying the sign sequence, a language translation module and a text-to-speech conversor. For the translation system development, firstly, a parallel corpus has been generated with 7,696 Spanish sentences and their LSE translations. These sentences are related to four different application domains: the renewal of the Identity Document, the renewal of the driver license, a bus information service and a hotel reception. Moreover, a sign database has been generated with more than 1,000 signs described in four different signwriting systems. Secondly, it has been developed an automatic translation module that integrates two translation techniques in a hierarchical structure: the first one is a memory-based technique and the second one is statistical. Furthermore, a pre processing module for the Spanish sentences has been implemented. By incorporating this pre processing module into the statistical translation module, the accuracy of the translation module improves significantly. In this thesis, the LSE into speech translation interface has been improved. On the one hand, new characteristics that improve its usability have been incorporated and, on the other hand, a SMS language into Spanish translator has been integrated, that lets specifying in SMS language the sequence to translate, besides by specifying a sign sequence. The proposed translation system has been evaluated in two application domains: a bus information service of the Empresa Municipal de Transportes of Madrid and the Hotel Intur Palacio San Martín reception. This evaluation has involved both deaf people and services employees. Objective measurements (given automatically by the system) and subjective measurements (given by user questionnaires) were extracted during the evaluation. Results have been very positive, thanks to the user opinions during the evaluation that validated the system performance and gave important information for future work. Finally, after the integration of each module of the two translation systems (speech- LSE and LSE-speech), obtaining the evaluation results and considering the experience throughout the process, a methodology for developing speech into sign language (and vice versa) into a new domain has been proposed in this thesis. This methodology includes the steps to follow for developing the translation system in a new application domain. Moreover, this methodology proposes the way to improve the flexibility of each system module, so that the adaptation of the system to a new application domain can be easier. On the other hand, some techniques are analyzed for selecting the out-of-domain parallel corpus sentences in order to train the translation module in a new domain; as well as techniques for selecting which in-domain sentences are more interesting for translating them (by LSE experts) in order to train the translation model.

Sinalário Bilíngue das Instituições de Ensino Superior Na Escrita de Sinais/Língua Portuguesa

Esta pesquisa teve como intuito realizar um mapeamento lexicográfico de sinais-termo das instituições de ensino superior para registro em sinalário bilíngue (Língua Brasileira de Sinais/Língua Portuguesa). A metodologia adotada se embasou na pesquisa exploratória de caráter quantitativo, as fontes de pesquisa para consulta dos dados foram os vídeos interinstitucionais disponibilizados no YouTube, os sinais escritos em Libras na plataforma virtual do SignPuddle e os dados arquivados no grupo de WhatsApp, Glossário Nacional de Libras (GNL). Os resultados mostraram que com base nos dados coletados nesta pesquisa, das 298 instituições de ensino público (109 federais e 128 estaduais e 61 municipais) registradas pelo Censo da Educação Superior de 2018, foram identificadas 135 (69 federais, 41 estaduais e 47 municipais). Conclui-se que o mapeamento lexicográfico realizado de sinais-termo das IES para registro de um sinalário bilíngue (Língua Brasileira de Sinais/Língua Portuguesa) contribui como fonte de pesquisa para os profissionais bilíngues atuantes no Ensino Superior. Esta pesquisa teve como intuito realizar um mapeamento lexicográfico de sinais-termo das instituições de ensino superior para registro em sinalário bilíngue (Língua Brasileira de Sinais/Língua Portuguesa). A metodologia adotada se embasou na pesquisa exploratória de caráter quantitativo, as fontes de pesquisa para consulta dos dados foram os vídeos interinstitucionais disponibilizados no YouTube, os sinais escritos em Libras na plataforma virtual do SignPuddle e os dados arquivados no grupo de WhatsApp, Glossário Nacional de Libras (GNL). Os resultados mostraram que com base nos dados coletados nesta pesquisa, das 298 instituições de ensino público (109 federais e 128 estaduais e 61 municipais) registradas pelo Censo da Educação Superior de 2018, foram identificadas 135 (69 federais, 41 estaduais e 47 municipais). Conclui-se que o mapeamento lexicográfico realizado de sinais-termo das IES para registro de um sinalário bilíngue (Língua Brasileira de Sinais/Língua Portuguesa) contribui como fonte de pesquisa para os profissionais bilíngues atuantes no Ensino Superior.

Development of Natural Language Processing based Communication and Educational Assisted Systems for the People with Hearing Disability in Myanmar

Resumo: As tecnologias da informação e comunicação (TICs) fornecem às pessoas com deficiência uma melhor integração, tanto social quanto economicamente, em suas comunidades, apoiando-os no acesso à informação e ao conhecimento, situações de ensino-aprendizagem, comunicação pessoal e interação. Nosso objetivo com esse trabalho tem sido desenvolver sistemas que proporcionem aos surdos meios que lhes permitam se comunicar com maior fluidez e ao mesmo tempo receberem assistência educacional adequada, usando o Processamento de linguagem natural (PNL). Neste artigo, apresentamos o corpus para a linguagem de sinais de Mianmar (MSL), um sistema de Tradução de Máquina (MT) entre a língua de sinais de Mianmar (MSL), o texto escrito em Mianmar (MWT) e Myanmar SignWriting (MSW), dois layouts de teclado para uso com o sistema Mianmar SignWriting, desenvolvimento de um dicionário para MSL, além de um sistema de classificação “Myanmar Fingerspelling Image”. Acreditamos que o resultado desta pesquisa é útil não apenas para fins educacionais, mas também para o estabelecimento de uma melhor interface entre surdos e ouvintes.

2020: A New Era of Sign Language Literature

 Summary: Sign language is the primary daily language of many Deaf people, yet sign language is not always included as a part of Deaf Education. Teachers of the Deaf in France in the late 1700s and early 1800s established using sign language in the classroom and yet generations later educators chose to revert back to oralism, not including any sign language when teaching Deaf children. And the trend continues to this day. Researchers in the 1960s, 70s and 80s proved that sign languages are natural languages, and yet this fact did not change the difficulties schools still have in reassuring parents and administrators that the Deaf students will learn to communicate, read and write a sign language as with your fellow listeners regarding oral languages that speak. Now, in the 21st century most educators and researchers are aware that sign languages are sophisticated languages with grammar, syntax and large vocabularies. Yet accepting sign languages as written languages has taken longer. Those who support the idea of writing sign languages feel that the availability of written literature and poetry in sign languages will lead to improved literacy in oral languages and in the long run, increase acceptance by the hearing world. Showing that sign languages have a written form helps establish sign languages as foreign languages in schools. With the advent of the internet and social media, writing sign languages is spreading quickly. The year 2020 is the beginning of a new era of sign language literature.Keywords: Sign Language; Literature; SignWriting; Deaf; Education.