Visual Speech Synthesis by Morphing Visemes

We present MikeTalk, a text-to-audiovisual speech synthesizer which converts input text into an audiovisual speech stream. MikeTalk is built using visemes, which are a small set of images spanning a large range of mouth shapes. The visemes are acquired from a recorded visual corpus of a human subject which is specifically designed to elicit one instantiation of each viseme. Using optical flow methods, correspondence from every viseme to every other viseme is computed automatically. By morphing along this correspondence, a smooth transition between viseme images may be generated. A complete visual utterance is constructed by concatenating viseme transitions. Finally, phoneme and timing information extracted from a text-to-speech synthesizer is exploited to determine which viseme transitions to use, and the rate at which the morphing process should occur. In this manner, we are able to synchronize the visual speech stream with the audio speech stream, and hence give the impression of a photorealistic talking face.

Perceptual Evaluation of Video-Realistic Speech

abstract With many visual speech animation techniques now available, there is a clear need for systematic perceptual evaluation schemes. We describe here our scheme and its application to a new video-realistic (potentially indistinguishable from real recorded video) visual-speech animation system, called Mary 101. Two types of experiments were performed: a) distinguishing visually between real and synthetic image- sequences of the same utterances, ("Turing tests") and b) gauging visual speech recognition by comparing lip-reading performance of the real and synthetic image-sequences of the same utterances ("Intelligibility tests"). Subjects that were presented randomly with either real or synthetic image-sequences could not tell the synthetic from the real sequences above chance level. The same subjects when asked to lip-read the utterances from the same image-sequences recognized speech from real image-sequences significantly better than from synthetic ones. However, performance for both, real and synthetic, were at levels suggested in the literature on lip-reading. We conclude from the two experiments that the animation of Mary 101 is adequate for providing a percept of a talking head. However, additional effort is required to improve the animation for lip-reading purposes like rehabilitation and language learning. In addition, these two tasks could be considered as explicit and implicit perceptual discrimination tasks. In the explicit task (a), each stimulus is classified directly as a synthetic or real image-sequence by detecting a possible difference between the synthetic and the real image-sequences. The implicit perceptual discrimination task (b) consists of a comparison between visual recognition of speech of real and synthetic image-sequences. Our results suggest that implicit perceptual discrimination is a more sensitive method for discrimination between synthetic and real image-sequences than explicit perceptual discrimination.

Speech Therapist and Teachers: Problems as They Work Together

--

Lexical access in Speech Production : the bilingual case. 'Acceso léxico en producción del lenguaje : el caso bilingüe'.

Resumen tomado de la revista

The influence of parents' speech on the development of spoken language in German-speaking children with cochlear implants. 'La influencia del habla de los padres en el desarrollo del lenguaje en niños germanohablantes con implante coclear'.

Resumen en español

Influence of gender and educational status on fluent adults speech fluency. 'Influencia del género y el nivel educativo en la fluidez del habla en personas adultas'.

Resumen basado en el de la publicación. Resumen en español

Supporting children with speech and language impairment and associated difficulties : suggestions for supporting the development of language, listening, behavior and co-ordination skills.

Este recurso describe cómo una proporción significativa de niños en edad escolar tienen dificultades en el habla y cómo éstas afectan negativamente en su aprendizaje, tanto en entornos especializados como en generales. En él se esbozan las principales áreas de dificultad para los alumnos, y sugiere cómo los profesores pueden hacer que el programa sea más accesible para facilitar el aprendizaje. Se tratan el lenguaje expresivo, el lenguaje receptivo, el uso social del lenguaje y dificultades en el desarrollo de la coordinación, así como temas específicos como el plan de estudios de inglés, matemáticas y ciencias. A lo largo de la publicación hay información e ideas para apoyar a estos alumnos, y una amplia selección de sugerencias de buenas prácticas. Se incluye un programa de habilidades motoras, rimas para la producción del habla, trabajo de memoria, y páginas fotocopiables de diccionario.

Dyslexia speech and language : a practitioner's handbook.

Este manual presenta las ideas actuales sobre la relación entre lo hablado y lo escrito y sus dificultades lingüísticas. Proporciona perspectivas clínicas y educativas sobre la evaluación y gestión de lectura y ortografía de los niños. Comienza con una introducción teórica y sigue con la vinculación entre teoría y práctica. Está dirigido a los profesionales en los campos de educación, intervención y terapia del lenguaje, y psicología.

El cued speech : adaptación española y estudio experimental sobre su contribución a la madurez verbal del niño sordo profundo.

El estudio científico de los efectos de la palabra complementada (cued speech) en la compresión verbal, o más concretamente, en el aspecto de la recepción de la palabra hablada, en el aprendizaje verbal del niño sordo profundo frente a otros sistemas oralistas de rehabilitación. Compuesta por 20 niños sordos profundos, alumnos del centro de rehabilitación del lenguaje y audición 'Príncipe de Asturias' de Cartagena, diagnosticados con sordera bilateral profunda. Todos ellos eran sordos prelocutivos y todos han tenido antes de la aplicación de las pruebas aquí presentadas al menos 5 años de rehabilitación logopédica de orientación oralista. Las edades fueron entre 7 y 10 años. Todos estaban escolarizados en ciclo inicial o medio de EGB. Diseño intrasujeto. Las variables controladas independientes fueron: A) Aplicación individual. B) Control auditivo y momento auditivo óptimo. C) Disposición positiva del sujeto para el trabajo. D) Evitación del aprendizaje. E) Preparación psicológica del sujeto. F) Explicación de la tarea a realizar y sus objetivos. Se le presentaron al sujeto 66 logotomas para cada una de las siete combinaciones del experimento. Los grupos de palabras fueron 6 y cada grupo comprende 18 palabras. La evaluación se realizó mediante dos pruebas 'ad hoc': 1. Logotomas o silabas sin sentido. 2. Palabras clave dentro del contexto lingüístico, y que a su vez se subdivide en dos tipos: A) Palabra clave en contexto previsible. B) Palabra clave en contexto poco previsible. Tabla de frecuencias absolutas. Equipo de vídeo para pruebas lingüísticas (recepción). Audiómetro modelo Amplaid 30. Equipo Suvag. Estadística no paramétrica (pequeños grupos). Se utilizó un ANOVA, que permitió calcular una 'F omnibus': prueba de T para los logotomas y palabras clave. El tratamiento estadístico y de textos se llevó a cabo mediante el software: Display writer 3, dBase III, Microsta estadística y epistat estadística. El cued speech es válido para llevar al niño sordo profundo a un nivel de recepción de la palabra similar al del niño oyente de su misma edad. Es más eficaz al simultanearlo con la lectura labiofacial. El cueed speech se revela independiente de los restos auditivos. La recepción verbal captada por el niño sordo mediante varias vías simultaneamente, mejora los resultados. Entre esta simultaneidad se revela como más eficiente la pareja labiolectora T kinemas (complementos manuales). El cued speech nos llega con un soporte técnico de avanzada tecnología. La recepción lingüística ofrecida al niño sordo profundo mediante varias vías de información mejora los resultados, y en concreto se confirma que las dos vías con las que se alcanzan los resultados más elevados son el uso simultáneo de la lectura labiofacial y los complementos del cued speech.

Efficacy of the Speech Intelligibility Index as an intervention tool with pediatric cancer patients

This study evaluates the Speech Intelligibility Index (SII) as a tool to describe hearing loss and predict when hearing aids would be appropriate for pediatric oncology patients who have received or are currently receiving cisplatin. The efficacy of the SII is compared to the Brock grade which is commonly used for patients with ototoxic hearing loss secondary to cisplatin treatment. The SII is a discrete measure that precisely reflects the patient’s functional hearing status and is highly correlated with the need for audiologic intervention.

The effect of nonlinear frequency compression and linear frequency transposition on speech perception in school-aged children

The primary objective of this study is to determine whether nonlinear frequency compression and linear transposition algorithms provide speech perception benefit in school-aged children.

Auditory speech-discrimination as a function of age and type of audiogram

This paper reviews a study to determine if loss of speech discrimination is related to age and patients with audiograms showing steep high-frequency losses.