Visual Speech Synthesis by Morphing Visemes

We present MikeTalk, a text-to-audiovisual speech synthesizer which converts input text into an audiovisual speech stream. MikeTalk is built using visemes, which are a small set of images spanning a large range of mouth shapes. The visemes are acquired from a recorded visual corpus of a human subject which is specifically designed to elicit one instantiation of each viseme. Using optical flow methods, correspondence from every viseme to every other viseme is computed automatically. By morphing along this correspondence, a smooth transition between viseme images may be generated. A complete visual utterance is constructed by concatenating viseme transitions. Finally, phoneme and timing information extracted from a text-to-speech synthesizer is exploited to determine which viseme transitions to use, and the rate at which the morphing process should occur. In this manner, we are able to synchronize the visual speech stream with the audio speech stream, and hence give the impression of a photorealistic talking face.

Perceptual Evaluation of Video-Realistic Speech

abstract With many visual speech animation techniques now available, there is a clear need for systematic perceptual evaluation schemes. We describe here our scheme and its application to a new video-realistic (potentially indistinguishable from real recorded video) visual-speech animation system, called Mary 101. Two types of experiments were performed: a) distinguishing visually between real and synthetic image- sequences of the same utterances, ("Turing tests") and b) gauging visual speech recognition by comparing lip-reading performance of the real and synthetic image-sequences of the same utterances ("Intelligibility tests"). Subjects that were presented randomly with either real or synthetic image-sequences could not tell the synthetic from the real sequences above chance level. The same subjects when asked to lip-read the utterances from the same image-sequences recognized speech from real image-sequences significantly better than from synthetic ones. However, performance for both, real and synthetic, were at levels suggested in the literature on lip-reading. We conclude from the two experiments that the animation of Mary 101 is adequate for providing a percept of a talking head. However, additional effort is required to improve the animation for lip-reading purposes like rehabilitation and language learning. In addition, these two tasks could be considered as explicit and implicit perceptual discrimination tasks. In the explicit task (a), each stimulus is classified directly as a synthetic or real image-sequence by detecting a possible difference between the synthetic and the real image-sequences. The implicit perceptual discrimination task (b) consists of a comparison between visual recognition of speech of real and synthetic image-sequences. Our results suggest that implicit perceptual discrimination is a more sensitive method for discrimination between synthetic and real image-sequences than explicit perceptual discrimination.

Procesamiento lexical en pacientes con lesiones cerebrales : un estudio de la denominación.

Estudio del comportamiento de pacientes con lesiones corticales contridas fundamentalmente de origen neoplásico vascular o traumático, analizando la comprensión del lenguaje en la entrada auditiva y en su comprensión verbal, centrándose en las pruebas de denominación. La muestra la componen 50 sujetos divididos en 5 grupos. Primer grupo: 10 pacientes afásicos con lesiones del hemisferio izquierdo. Segundo grupo: 10 pacientes con lesiones del hemisferio izquierdo. Tercer grupo: 10 pacientes con lesiones del hemisferio derecho. Cuarto grupo: 10 sujetos adultos sin patologías en el sistema nervioso. Quinto grupo: 10 niños con edades entre 5 y 8 ocho años sin patologías en el sistema central y sin problemas escolares. En base al modelo de Caramazza, Berndt y Browell (1982) se analiza la denominación en relación a la modalidad sensorial de entrada, la cantidad de información y la categoría semántica. Se localizan las estructuras cerebrales que se encuentran fundamentalmente dañadas. Se relaciona finalmente la denominación con la clasificación de las afasias, la lateralización hemisférica de funciones y la base neuroanatómica lesionada. Pruebas clínicas de denominación. Diseños factoriales mixtos, con el primer factor entre grupos y con el resto de los factores de medidas repetidas -estos últimos cambian-. Se ha realizado transformación al arcoseno de la variable dependiente y ajustes en proporciones siguiendo el método propuesto por Snedecor y Cochran. Se han realizado los correspondientes análisis de varianza. Desajuste de los niveles de análisis entre la neuropsicología tradicional y la psicología cognitiva actual. Importancia de las modalidades sensoriales a presentación, cantidad de información y categoría semántica en la denominación. Peor ejecución de los pacientes con lesiones en el hemisferio derecho, interpretado como un problema en el procesamiento en las etapas iniciales. No existe un paralelismo de pacientes afásicos y el grupo infantil. Este último se asemeja al grupo control de adultos. Confección de un mapa de localización de la corteza cerebral que cuando se lesiona puede sufrir trastornos en la denominación. Esta capacidad se realiza fundamentalmente en el giro temporal superior de hemisferio izquierdo. El marco teórico que puede adoptarse para el estudio de la denominación es el de los modelos de producción verbal. La clasificación de las afasias en tareas debe cambiar en componentes de las mismas.

Análisis de los movimientos islamistas en Egipto. Estudio de caso: la Hermandad Musulmana (1981 – 2010).

El propósito de este trabajo es demostrar el análisis de los movimientos islamistas en Egipto, en este caso la Hermandad Musulmana. Para esto nos enfocaremos en una primera parte a estudiar el origen de la Hermandad musulmana, debatiremos si existe una carta fundacional o un programa político, incluso analizaremos el intento de formalizar un programa político durante la presidencia de Hosni Mubarak y la Hermandad contemporánea. En la segunda parte, será primordial el estudio de la reforma política de 2007 en Egipto, estudiaremos la posición de la reforma desde el punto de vista del Partido Nacional Democrático (PND), de Hosni Mubarak, de la Hermandad Musulmana, de los partidos políticos de oposición y de la comunidad internacional. Finalmente abordaremos las estrategias políticas de la Hermandad Musulmana durante el gobierno de Hosni Mubarak, luego estudiaremos las estrategias políticas implementadas por el Presidente Mubarak y analizaremos las relaciones entre la Hermandad Musulmana y Hosni Mubarak durante la presidencia.

Speech Therapist and Teachers: Problems as They Work Together

--

Bilingual lexical access : a connexionist model. 'Acceso al léxico bilingüe : un modelo conexionista'.

Determinar las relaciones entre dos lexicones en individuos bilingües y sus efectos cognitivos. Diseñar desde una perspectiva conexionista un instrumento para la evaluación del aprendizaje de nuevas palabras y su efecto cognitivo. Simular el proceso de aprendizaje de nuevo vocabulario durante la segunda adquisición del lenguaje. Estudiantes de Enseñanza Secundaria de nacionalidad holandesa. La investigación se divide en dos bloques, en el primero de ellos se define el marco teórico de la investigación, revisándose las principales teorías acerca del almacenamiento de léxicos multilingües. En el segundo bloque se diseña, desarrolla y testea en dos fases, BAR1 y BAR2, el instrumento BAR en base a un determinado algoritmo de aprendizaje. El análisis del BAR1 valida el modelo de proyección cognitiva en términos de aprendizaje y representación interna, siendo el BAR2 un instrumento que con mayor tamaño de los segmentos de aprendizaje. Instrumento BAR . Análisis de correlación de Spearman. El instrumento se muestra útil en los términos para los que fue diseñado.

Reading fluency and morpho-lexical processing : developmental studies in Italian. 'Fluidez en la lectura y procesamiento morfolexical : estudios de desarrollo en Italia'.

Resumen en español

The influence of parents' speech on the development of spoken language in German-speaking children with cochlear implants. 'La influencia del habla de los padres en el desarrollo del lenguaje en niños germanohablantes con implante coclear'.

Resumen en español

Influence of gender and educational status on fluent adults speech fluency. 'Influencia del género y el nivel educativo en la fluidez del habla en personas adultas'.

Resumen basado en el de la publicación. Resumen en español

First verbal productions of a bilingual child learning Basque and Spanish simultaneously : analysis of the noun phrase. 'Primeras producciones verbales de niños bilingües aprendiendo castellano y euskera simultáneamente : análisis de los sustantivos en la frase'.

Estudiar la evolución del lenguaje en niños bilingües que hablan euskera y castellano. Hipótesis: se encontrarán pocas marcas gramaticales en las frases. En euskera aparecerán ciertos sufijos de declinación; se espera encontrar el determinante 'A', marca de los casos locativo y posesivo y posiblemente algunos dativos. En castellano se espera no encontrar marcas gramaticales con preposiciones y artículos y sí en los casos locativo y posesivo. No se hallarán marcas formales y sí algunas construcciones lingüísticas por categorías ya que parece que los sistemas gramaticales funcionan de manera autónoma. Un niño en su período entre un año y once meses hasta dos años y tres meses, que se desenvuelve en euskera en el ambiente familiar y en castellano en su ambiente social. Se trata de un estudio descriptivo que está dividido en cuatro apartados: relato del ambiente familiar y social en el que se desenvuelve el niño. Diferencias entre el castellano y el euskera. Teorías que explican este tipo de problemas. Análisis de datos recogidos en las cintas. Las marcas gramaticales en castellano y euskera se clasifican en dos grupos: prefijos y unidades aisladas que preceden al nombre como artículos, pseudoartículos. Sufijos, incluyendo las marcas de casos, y calificativos. Grabaciones en vídeo sobre la producción en castellano y en euskera en situaciones familiares espontáneas. Cada sesión de grabación dura 30 minutos para cada idioma. Análisis de los datos recogidos en la grabación después de haber realizado la transcripción. En este caso, el artículo castellano no aparece inmediatamente. Los artículos indefinidos son más frecuentes que los definidos. Las formas masculinas predominan sobre las femeninas. Los artículos en castellano y los nombres en castellano y euskera son las unidades gramaticales más numerosas. Hay pocos ejemplos de sufijos locativos y posesivos. Aparecen pocas marcas de plural en los nombres. Se usan otras cuantificaciones como números, palabras 'otro', 'más'. A este nivel gramatical no hay fusión de marcas de los dos idiomas: no hay terminaciones 'A' en palabras castellanas usadas en contexto hispano y no hay artículos castellanos delante de nombres vascos usados en contexto vasco.

Supporting children with speech and language impairment and associated difficulties : suggestions for supporting the development of language, listening, behavior and co-ordination skills.

Este recurso describe cómo una proporción significativa de niños en edad escolar tienen dificultades en el habla y cómo éstas afectan negativamente en su aprendizaje, tanto en entornos especializados como en generales. En él se esbozan las principales áreas de dificultad para los alumnos, y sugiere cómo los profesores pueden hacer que el programa sea más accesible para facilitar el aprendizaje. Se tratan el lenguaje expresivo, el lenguaje receptivo, el uso social del lenguaje y dificultades en el desarrollo de la coordinación, así como temas específicos como el plan de estudios de inglés, matemáticas y ciencias. A lo largo de la publicación hay información e ideas para apoyar a estos alumnos, y una amplia selección de sugerencias de buenas prácticas. Se incluye un programa de habilidades motoras, rimas para la producción del habla, trabajo de memoria, y páginas fotocopiables de diccionario.

Dyslexia speech and language : a practitioner's handbook.

Este manual presenta las ideas actuales sobre la relación entre lo hablado y lo escrito y sus dificultades lingüísticas. Proporciona perspectivas clínicas y educativas sobre la evaluación y gestión de lectura y ortografía de los niños. Comienza con una introducción teórica y sigue con la vinculación entre teoría y práctica. Está dirigido a los profesionales en los campos de educación, intervención y terapia del lenguaje, y psicología.

El cued speech : adaptación española y estudio experimental sobre su contribución a la madurez verbal del niño sordo profundo.

El estudio científico de los efectos de la palabra complementada (cued speech) en la compresión verbal, o más concretamente, en el aspecto de la recepción de la palabra hablada, en el aprendizaje verbal del niño sordo profundo frente a otros sistemas oralistas de rehabilitación. Compuesta por 20 niños sordos profundos, alumnos del centro de rehabilitación del lenguaje y audición 'Príncipe de Asturias' de Cartagena, diagnosticados con sordera bilateral profunda. Todos ellos eran sordos prelocutivos y todos han tenido antes de la aplicación de las pruebas aquí presentadas al menos 5 años de rehabilitación logopédica de orientación oralista. Las edades fueron entre 7 y 10 años. Todos estaban escolarizados en ciclo inicial o medio de EGB. Diseño intrasujeto. Las variables controladas independientes fueron: A) Aplicación individual. B) Control auditivo y momento auditivo óptimo. C) Disposición positiva del sujeto para el trabajo. D) Evitación del aprendizaje. E) Preparación psicológica del sujeto. F) Explicación de la tarea a realizar y sus objetivos. Se le presentaron al sujeto 66 logotomas para cada una de las siete combinaciones del experimento. Los grupos de palabras fueron 6 y cada grupo comprende 18 palabras. La evaluación se realizó mediante dos pruebas 'ad hoc': 1. Logotomas o silabas sin sentido. 2. Palabras clave dentro del contexto lingüístico, y que a su vez se subdivide en dos tipos: A) Palabra clave en contexto previsible. B) Palabra clave en contexto poco previsible. Tabla de frecuencias absolutas. Equipo de vídeo para pruebas lingüísticas (recepción). Audiómetro modelo Amplaid 30. Equipo Suvag. Estadística no paramétrica (pequeños grupos). Se utilizó un ANOVA, que permitió calcular una 'F omnibus': prueba de T para los logotomas y palabras clave. El tratamiento estadístico y de textos se llevó a cabo mediante el software: Display writer 3, dBase III, Microsta estadística y epistat estadística. El cued speech es válido para llevar al niño sordo profundo a un nivel de recepción de la palabra similar al del niño oyente de su misma edad. Es más eficaz al simultanearlo con la lectura labiofacial. El cueed speech se revela independiente de los restos auditivos. La recepción verbal captada por el niño sordo mediante varias vías simultaneamente, mejora los resultados. Entre esta simultaneidad se revela como más eficiente la pareja labiolectora T kinemas (complementos manuales). El cued speech nos llega con un soporte técnico de avanzada tecnología. La recepción lingüística ofrecida al niño sordo profundo mediante varias vías de información mejora los resultados, y en concreto se confirma que las dos vías con las que se alcanzan los resultados más elevados son el uso simultáneo de la lectura labiofacial y los complementos del cued speech.

Efficacy of the Speech Intelligibility Index as an intervention tool with pediatric cancer patients

This study evaluates the Speech Intelligibility Index (SII) as a tool to describe hearing loss and predict when hearing aids would be appropriate for pediatric oncology patients who have received or are currently receiving cisplatin. The efficacy of the SII is compared to the Brock grade which is commonly used for patients with ototoxic hearing loss secondary to cisplatin treatment. The SII is a discrete measure that precisely reflects the patient’s functional hearing status and is highly correlated with the need for audiologic intervention.