Prototipo funcional de aplicación móvil para la mejora de la accesibilidad de contenidos audiovisuales para personas sordas o ciegas

Máster Universitario en Sistemas Inteligentes y Aplicaciones Numéricas en Ingeniería (SIANI)

Diseño, desarrollo y evaluación de sistemas de traducción automática para reducir las barreras de comunicación de las personas sordas

La principal aportación de esta tesis doctoral ha sido la propuesta y evaluación de un sistema de traducción automática que permite la comunicación entre personas oyentes y sordas. Este sistema está formado a su vez por dos sistemas: un traductor de habla en español a Lengua de Signos Española (LSE) escrita y que posteriormente se representa mediante un agente animado; y un generador de habla en español a partir de una secuencia de signos escritos mediante glosas. El primero de ellos consta de un reconocedor de habla, un módulo de traducción entre lenguas y un agente animado que representa los signos en LSE. El segundo sistema está formado por una interfaz gráfica donde se puede especificar una secuencia de signos mediante glosas (palabras en mayúscula que representan los signos), un módulo de traducción entre lenguas y un conversor texto-habla. Para el desarrollo del sistema de traducción, en primer lugar se ha generado un corpus paralelo de 7696 frases en español con sus correspondientes traducciones a LSE. Estas frases pertenecen a cuatro dominios de aplicación distintos: la renovación del Documento Nacional de Identidad, la renovación del permiso de conducir, un servicio de información de autobuses urbanos y la recepción de un hotel. Además, se ha generado una base de datos con más de 1000 signos almacenados en cuatro sistemas distintos de signo-escritura. En segundo lugar, se ha desarrollado un módulo de traducción automática que integra dos técnicas de traducción con una estructura jerárquica: la primera basada en memoria y la segunda estadística. Además, se ha implementado un módulo de pre-procesamiento de las frases en español que, mediante su incorporación al módulo de traducción estadística, permite mejorar significativamente la tasa de traducción. En esta tesis también se ha mejorado la versión de la interfaz de traducción de LSE a habla. Por un lado, se han incorporado nuevas características que mejoran su usabilidad y, por otro, se ha integrado un traductor de lenguaje SMS (Short Message Service – Servicio de Mensajes Cortos) a español, que permite especificar la secuencia a traducir en lenguaje SMS, además de mediante una secuencia de glosas. El sistema de traducción propuesto se ha evaluado con usuarios reales en dos dominios de aplicación: un servicio de información de autobuses de la Empresa Municipal de Transportes de Madrid y la recepción del Hotel Intur Palacio San Martín de Madrid. En la evaluación estuvieron implicadas personas sordas y empleados de los dos servicios. Se extrajeron medidas objetivas (obtenidas por el sistema automáticamente) y subjetivas (mediante cuestionarios a los usuarios). Los resultados fueron muy positivos gracias a la opinión de los usuarios de la evaluación, que validaron el funcionamiento del sistema de traducción y dieron información valiosa para futuras líneas de trabajo. Por otro lado, tras la integración de cada uno de los módulos de los dos sistemas de traducción (habla-LSE y LSE-habla), los resultados de la evaluación y la experiencia adquirida en todo el proceso, una aportación importante de esta tesis doctoral es la propuesta de metodología de desarrollo de sistemas de traducción de habla a lengua de signos en los dos sentidos de la comunicación. En esta metodología se detallan los pasos a seguir para desarrollar el sistema de traducción para un nuevo dominio de aplicación. Además, la metodología describe cómo diseñar cada uno de los módulos del sistema para mejorar su flexibilidad, de manera que resulte más sencillo adaptar el sistema desarrollado a un nuevo dominio de aplicación. Finalmente, en esta tesis se analizan algunas técnicas para seleccionar las frases de un corpus paralelo fuera de dominio para entrenar el modelo de traducción cuando se quieren traducir frases de un nuevo dominio de aplicación; así como técnicas para seleccionar qué frases del nuevo dominio resultan más interesantes que traduzcan los expertos en LSE para entrenar el modelo de traducción. El objetivo es conseguir una buena tasa de traducción con la menor cantidad posible de frases. ABSTRACT The main contribution of this thesis has been the proposal and evaluation of an automatic translation system for improving the communication between hearing and deaf people. This system is made up of two systems: a Spanish into Spanish Sign Language (LSE – Lengua de Signos Española) translator and a Spanish generator from LSE sign sequences. The first one consists of a speech recognizer, a language translation module and an avatar that represents the sign sequence. The second one is made up an interface for specifying the sign sequence, a language translation module and a text-to-speech conversor. For the translation system development, firstly, a parallel corpus has been generated with 7,696 Spanish sentences and their LSE translations. These sentences are related to four different application domains: the renewal of the Identity Document, the renewal of the driver license, a bus information service and a hotel reception. Moreover, a sign database has been generated with more than 1,000 signs described in four different signwriting systems. Secondly, it has been developed an automatic translation module that integrates two translation techniques in a hierarchical structure: the first one is a memory-based technique and the second one is statistical. Furthermore, a pre processing module for the Spanish sentences has been implemented. By incorporating this pre processing module into the statistical translation module, the accuracy of the translation module improves significantly. In this thesis, the LSE into speech translation interface has been improved. On the one hand, new characteristics that improve its usability have been incorporated and, on the other hand, a SMS language into Spanish translator has been integrated, that lets specifying in SMS language the sequence to translate, besides by specifying a sign sequence. The proposed translation system has been evaluated in two application domains: a bus information service of the Empresa Municipal de Transportes of Madrid and the Hotel Intur Palacio San Martín reception. This evaluation has involved both deaf people and services employees. Objective measurements (given automatically by the system) and subjective measurements (given by user questionnaires) were extracted during the evaluation. Results have been very positive, thanks to the user opinions during the evaluation that validated the system performance and gave important information for future work. Finally, after the integration of each module of the two translation systems (speech- LSE and LSE-speech), obtaining the evaluation results and considering the experience throughout the process, a methodology for developing speech into sign language (and vice versa) into a new domain has been proposed in this thesis. This methodology includes the steps to follow for developing the translation system in a new application domain. Moreover, this methodology proposes the way to improve the flexibility of each system module, so that the adaptation of the system to a new application domain can be easier. On the other hand, some techniques are analyzed for selecting the out-of-domain parallel corpus sentences in order to train the translation module in a new domain; as well as techniques for selecting which in-domain sentences are more interesting for translating them (by LSE experts) in order to train the translation model.

Dificultades de acceso a los noticiarios de televisión para las personas sordas en El Salvador.

Esta investigación busca sistematizar en un diagnóstico los elementos que obstaculizan directa e indirectamente el acceso a la información televisiva para las personas sordas, tomando en cuenta los diferentes niveles de abstracción y los cambios en el proceso comunicativo de estas personas. De esta manera, se pretende contribuir al avance en el estado de derecho en el país y al fomento de la democracia, promoviendo la aplicación del derecho de información para toda la población en busca de una equiparación de oportunidades en la que nadie quede exento de gozar de sus libertades y derechos. La investigación busca la acción para resolver la falta de acceso a la información, problema al que se enfrenta aproximadamente el 7% de la población salvadoreña, según datos de la encuesta publicada en octubre de 2000 por la Universidad Don Bosco , cuya muestra abarcó seis departamentos de tres regiones del país, Ahuachapán, Santa Ana, La Unión, Usulután, San Miguel y Cabañas, misma que fue continuada por el Consejo Nacional de Atención Integral a la Persona con Discapacidad, CONAIPD, ya no como encuesta, sino como registro de personas con discapacidad en el ámbito nacional.

Hacia la autonomía y participación de las personas mayores sordas en España

El objeto de este estudio es describir la situación de las personas mayores sordas en España, tanto en el colectivo de usuarios de lengua de signos, como entre aquellas personas que únicamente se comunican en lengua oral. Para ello, se ha diseñado una encuesta en la que se abordan cuestiones vinculadas a la realidad social de estos ciudadanos y ciudadanas, su modo de vida, autonomía personal, uso de las tecnologías de la información y necesidades y expectativas ante los servicios sociales.

Agentes implicados en la inserción laboral de las personas con discapacidad auditiva : la familia.

Artículo en el que se presenta la Red de Inserción Laboral FIAPAS para personas sordas. La característica diferenciadora de esta Red es la labor de información y apoyo desarrollada con las familias de los deficientes auditivos, al considerar la actitud de estos como uno de los factores más decisivos en la configuración de la personalidad y la actitud vital de las personas sordas.

Accesibilidad de personas con discapacidad auditiva a la gestión municipal

Como principal objetivo se propuso describir y evaluar en qué medida los productos, servicios, instalaciones y programas de la gestión municipal son accesibles para Personas con Discapacidad Auditiva (PCDA).

La detección de inconsistencias en la lectura de textos narrativos en las personas con déficit auditivo.

El objetivo de este trabajo es determinar si las personas sordas pueden construir un modelo de situación adecuado a partir de la lectura de textos narrativos, a pesar de los limitaciones en las tarea de lectura y comprensión. A partir de un estudio empírico, con procedimiento experimental basado en el paradigma de lectura continua, se midió el rendimiento de una muestra de personas sordas y se comparó su ejecución con una muestra equivalente de sujetos oyentes. Los resultados indican que los sujetos sordos no pueden elaborar algunos tipos de modelos de situación, cuando están basados en características internas de los personajes. Es aconsejable la continuidad de investigaciones futuras con este tipo de modelos de situación y con otros diferentes no analizados en el presente trabajo.

Sign language in Spanish television. Study on reception

The present article analyses the preferences of the deaf who use sign language and are users of the TV interpretation service to sign language, as well as the characteristics with which TV channels provide that service in television in Spain. The objective is to establish whether the way in which the aforementioned accessibility service is provided matches the preferences of users or differ from them. The analysis presents the opinion on this service of the deaf that use the Spanish sign language as their first language for communication. A study has also been conducted on the programmes broadcast with sign language during week 10-16/03/2014. The main data collected reveal that the deaf are dissatisfied with broadcasting times. They ask for news programmes with sign language, they would rather have the interpretation carried out by deaf people who use sign language and they prefer that the interpreter is the main image on screen. Concerning the analysis of the programmes broadcast, the study shows that the majority of programmes with sign language are broadcast at night, they are entertainment programmes, the interpretation is carried out by hearing people who use sign language and that their image is displayed in a corner of the screen.

Las lenguas de signos en la educación bilingüe: un enfoque plurilingüe e intercultural

El hecho bilingüe en las personas sordas siempre ha sido una capacidad manifiesta que permitía que el habla -con el grado de perfección que fuera-, la lectura labial y la lectoescritura, sirvieran de instrumentos para que las personas sordas se relacionaran con sus semejantes oyentes y formaran parte de la sociedad. Para los dominios más íntimos y personales, la mayoría de las personas sordas han utilizado, y lo siguen haciendo, las lenguas de signos.

Informe. Presencia de la Lengua de Signos Española en la Televisión

La televisión se ha convertido en el medio de comunicación más consumido por la población. El empleo de este medio con una finalidad informativa o como entretenimiento forma parte de lo cotidiano y su elección frente a otros medios se justifica principalmente por la facilidad de acceso. La motivación para ver la televisión, tanto en el caso de las personas sordas como oyentes, se centra en el deseo de estar informadas y conocer la actualidad. Sin embargo, conviene reflexionar sobre la realidad de las personas sordas, en su posibilidad de acceso a los contenidos televisivos con independencia de su tipología y en la oportunidad para disfrutar de la programación en igualdad de condiciones que las personas oyentes. En España, el origen de la interpretación a lengua de signos española como solución de accesibilidad para el colectivo de personas sordas tuvo lugar en 1977, con la retransmisión del programa «Hablamos» por parte de Radio Televisión Española. El presente informe hace un repaso por la incidencia de la sordera y del uso de la lengua de signos española, las fórmulas para su incorporación en televisión, la disponibilidad del servicio y las expectativas de los usuarios, al amparo de un marco jurídico que contribuye a la utilización de esta solución de accesibilidad en televisión desde un prisma cultural y de derecho lingüístico reconocido, así como desde la perspectiva más convencional e imprescindible de la accesibilidad.

Un colegio sin barreras.

El CP Eliseo Godoy Beltrán elabora un proyecto para mejorar el aprendizaje y la sociabilidad de los niños hipoacúsicos. Sus principales objetivos son: dar la oportunidad a los niños sordos y oyentes de vivenciar experiencias cotidianas en la vida de otras personas con características diferentes auditivas a ellos; normalizar las situaciones habituales de aprendizaje y de interacción social entre alumnos oyentes y sordos; sensibilizar a toda la comunidad educativa en el tema de la integración del niño sordo; buscar vías de innovación y renovación más adaptadas a las exigencias del alumnado; utilizar funcionalmente la lengua oral y la lengua de signos; estrechar el contacto familia-escuela; fomentar las relaciones con la Agrupación de Personas Sordas de Zaragoza y Aragón y con el CEE La Purísima para niños sordos. La metodología utilizada ha sido a través de talleres experimentales y lúdicos que se han realizado dos días a la semana, una vez por trimestre y han tenido una duración de 40 minutos. Se han estructurado en dos partes: la primera, más conceptual, que ha dado paso a una segunda en las que se han realizado actividades prácticas y de simulaciónaSeleccionado en la convocatoria: Ayudas a la innovación e investigación educativa en centros docentes de niveles no universitarios, Gobierno de Aragón 2009-10.

L'educació de l'infant sord. 'La educación del niño sordo'.

Resumen tomado de la revista. El artículo se encuentra traducido al castellano puesto que es idioma que ha utilizado al autor, presidente de dicha asociación, y en el que hasta hace poco se enseñaba a las personas sordas de esta comunidad autónoma

Gestos programa multimedia del LSE (Lenguaje de Signos Español).

Gestos es un programa interactivo para el aprendizaje del LSE. Se presenta en CD-ROM y utiliza el potencial pedagógico del video interactivo es fruto de un master realizado por el autor. El programa se dirige a personas con un mínimo de conocimiento y que por necesidad o voluntad quieran comunicarse con personas sordas.

Material didáctico e interactivo para interpretación de lengua de signos.

Elaboración de materiales didácticos realizado por el grupo de profesores del Instituto de Enseñanzas Aplicadas de Salamanca para la creación de material didáctico en lengua de signos. El objetivo es aumentar el vocabulario, conocer historias y curiosidades de la ciudad de Salamanca a través de un video. Todo el vídeo se ha realizado en lengua de signos española, 'voz en off' y subtitulado, para que lo puedan utilizar personas sordas, oyentes, hipoacúsicas, futuros intérpretes, etc. Para la elaboración de este vídeo se han tenido en cuenta diferentes recursos lingüísticos aplicados a la lengua de signos Española y diferentes estrategias de comunicación.

Música para sordos : una experiencia musical sin precedentes.

Resumen tomado de la revista. La publicación recoge resumen en Inglés