Temporal acuity in developmental dyslexia across the life span : Tactile, auditory, visual, and crossmodal estimations

Taustaa Kehityksellinen dysleksia (lukivaikeus) on erityinen lukemaan oppimisen vaikeus, johon liittyy usein myös vaikeuksia kirjoittamaan oppimisessa. Lukivaikeuden oletetaan useissa tapauksissa johtuvan vaikeudesta käsitellä kielen äännerakenteita (fonologinen prosessointi). Tämä poikkeavuus voi olla joko lukivaikeuden perimmäinen syy tai vaihtoehtoisesti ongelmat äänteiden käsittelyssä voivat heijastaa jotain vielä perustavamman tason vaikeutta. Eräs tällainen ehdotettu perustavan tasoin syy on poikkeavuus aistien toiminnoissa, erityisesti aistien aikatarkkuudessa. Aikatarkkuudella tarkoitetaan kykyä ja rajoja siinä, kuinka nopeasti esitettyä aistitiedon virtaa henkilö kykenee vastaanottamaan ja käsittelemään. Monet arjen toiminnot lukemisen rinnalla edellyttävät aistien erittäin tarkkaa ajallista erottelukykyä (esimerkiksi kuulo puheen ymmärtämisessä, tunto pintamateriaalin tunnistamisessa). Aikatarkkuusvaikeuksien esiintyvyyttä lukivaikeudessa on tutkittu aiemminkin, mutta yksimielisyyteen ei ole päästy siitä, onko kaikilla lukivaikeuksisilla näitä ongelmia tai mihin aisteihin vaikeudet mahdollisesti rajoittuvat. Myöskään ei tiedetä, havaitaanko aikatarkkuuden ongelmia kaiken ikäisillä lukivaikeuksisilla vai vaihteleeko mahdollinen ongelmien kuva iän mukana. Lisäksi on epäselvää, kuinka aikatarkkuuden ongelmat itseasiassa ovat yhteydessä kielen käsittelyn ja varsinaisen lukemisen vaikeuksiin. Tutkimussarjan aihe Tässä tutkimussarjassa aikatarkkuutta tutkittiin kolmessa yksittäisessä aistissa, joita olivat tunto, näkö ja kuulo, sekä kolmessa aistien välisessä yhdistelmässä, joita olivat audiotaktiilinen (kuulo-tunto), visuotaktiilinen (näkö-tunto) ja audiovisuaalinen (näkö-kuulo). Aikatarkkuutta arvioitiin kahdella eri menetelmällä, jotta saataisiin lisää tietoa siitä, missä tietyssä aikatarkkuuden osa-alueessa lukivaikeuksisilla mahdollisesti on vaikeuksia. Ensimmäisessä tehtävässä tutkittavan tuli arvioida, ovatko esitetyt ei-kielelliset ärsykkeet samanaikaisia vai eriaikaisia. Toisessa tehtävässä koehenkilön tuli arvioida esitettyjen ei-kielellisten ärsykkeiden esitysjärjestys. Molemmissa tehtävissä määriteltiin millisekuntitasolla (sekunnin tuhannesosa) se esitysnopeus, jolla koehenkilö kykeni arvioimaan ärsykkeiden ajalliset suhteet oikein. Englanninkielinen demonstraatio aikatarkkuustehtävistä löytyy internetistä (http://www.helsinki.fi/hum/ylpsy/neuropsy). Itse aikatarkkuustehtävien lisäksi tutkimussarjassa arvioitiin tutkimushenkilöiden päättelykykyä, kielellisiä toimintoja ja lukemista. Tutkimushenkilöt Tutkimuksiin osallistui 53 lukivaikeuksista ja 66 sujuvaa lukijaa, jotka oli jaettu kolmeen pääikäryhmään: lapset (8-12 vuotta), nuoret aikuiset (20-36 vuotta) ja ikääntyneemmät aikuiset (20-59 vuotta). Ikääntyneempien aikuisten ryhmä oli edelleen jaettu ikävuosikymmenluokkiin, mikä mahdollisti sen tutkimisen, vaikuttaako lisääntyvä aikuisikä lukivaikeuksisten aikatarkkuuteen (20-29, 30-39, 40-49 ja 50-59 -vuotiaat). Tutkimussarjan tulokset Aikatarkkuuden ongelmat lukivaikeuksisilla olivat yleistyneitä yli iän, aistien ja tehtävien Lukivaikeuksiset kaikissa pääikäryhmissä (lapset, nuoret aikuiset, ikääntyneemmän aikuiset) tarvitsivat samanikäisiä sujuvia lukijoita hitaamman esitystahdin, jotta he kykenivät arvioimaan ei-kielellisten ärsykkeiden ajallisen esitystavan oikein. Tämä aikatarkkuuden ongelma havaittiin lukivaikeuksisilla kaikissa aisteissa (tunto, kuulo, näkö) ja niiden yhdistelmissä (audiotaktiilinen, visuotaktiilinen, audiovisuaalinen). Lukivaikeuksisten aikatarkkuusongelmat ilmenivät edelleen molemmissa tehtävätyypeissä (samanaikaisuuden ja järjestyksen arvioinnissa). Aikatarkkuus ja sen ongelmat olivat yhteydessä äänteiden käsittelyyn Aikatarkkuus oli yhteydessä äänteiden käsittelykykyyn (fonologiseen prosessointiin), niin lapsilla kuin aikuisillakin, kaikissa aisteissa, niiden yhdistelmissä ja tehtävätyypeissä. Yhteys ei-kielellisen aikatarkkuuden ja kielellisten toimintojen välillä oli kuitenkin selkeämpi lukivaikeuksisilla kuin sujuvilla lukijoilla. Tämä tarkoittaa, että etenkin lukivaikeuksisilla ryhmätason huono aikatarkkuus oli yhteydessä huonoon äänteiden käsittelyyn (fonologiseen prosessointiin) ja päinvastoin. Suoraa yhteyttä lukemisen ja aikatarkkuuden välillä ei kuitenkaan havaittu. Lisääntyvä aikuisikä heikensi lukivaikeuksisten aikatarkkuutta suhteettoman paljon Tiedonkäsittelyn nopeuden on toistuvasti osoitettu hidastuvan normaalissa ikääntymisessä. Lisääntyvä aikuisikä (20-59 -vuotiailla) heikensikin sekä sujuvien että lukivaikeuksisten aikatarkkuutta. Toisin sanoen, mitä iäkkäämmästä aikuisesta oli kysymys, sitä hitaammin hänelle tuli esittää ärsykkeet, jotta hän kykeni arvioimaan niiden ajalliset suhteet oikein. Tämä ikään liittyvä tavanomainen hidastuminen oli kuitenkin yllättäen suhteettoman nopeaa lukivaikeuksisilla. Toisin sanoen, jo nuorilla lukivaikeuksisilla havaittu aikatarkkuuden vaikeus (ryhmäero verrattuna sujuviin lukijoihin) ei pysynyt saman suuruisena, vaan ryhmien ero kasvoi aikuisiän lisääntyessä. Tulosten merkitys Lukivaikeuden osoitettiin tässä tutkimussarjassa olevan yhteydessä yleistyneeseen vaikeuteen käsitellä ajassa nopeasti muuttuvaa ei-kielellistä aistitietoa (yli aistien ja niiden yhdistelmien, tehtävätyyppien, tutkittavien iän). Tämä osoittaa, että lukivaikeus ei ole ongelma, joka rajoittuu vain kielellisen materiaalin käsittelyn vaikeuksiin (äänteiden käsittely, lukeminen, kirjoittaminen). Nyt havaitut vaikeudet eivät myöskään rajoittuneet vain niihin aisteihin, jotka selkeimmin liittyvät lukemiseen (näkö) ja puhuttuun kieleen (kuulo); Ongelmia esiintyi myös muissa aisteissa (tunto). Lukivaikeuksisten lukijoiden ryhmätasolla havaittu aikatarkkuuden ongelma ei kuitenkaan heijastunut yksilötasolle; Jokainen lukivaikeuksinen ei ollut huono aikatarkkuustehtävissä. Näin ollen ei siis voida väittää, että kaikkien lukivaikeuksisten äänteiden käsittelyn tai lukemaan oppimisen vaikeudet voisivat selittyä aistien toimintojen poikkeavuudella. Aikatarkkuuden ongelmat eivät olleet yhteydessä varsinaiseen lukemiseen. Sekä lukivaikeuksisilla lapsilla että aikuisilla todettiin kuitenkin selkeä yhteys aikatarkkuuden ongelmien ja lukemaan oppimisen keskeisen ennakkoehdon, fonologisen prosessoinnin, välillä. Saattaa siis olla, että synnynnäinen aistien toimintojen poikkeavuus vaikuttaa yksilön suoriutumiseen jo ennen varsinaista lukemaan oppimista, kun ne taidot kehittyvät (fonologinen prosessointi), joille myöhempi lukemaan oppiminen perustuu. Ikäännyttäessä havaittu lukivaikeuksisten suhteettoman nopea aikatarkkuuden heikkeneminen osoittaa, että lukivaikeus ei voi olla ongelma, joka koskee vain lapsuusikää, tai vaikeus, joka johtuu vain kehityksen viivästymästä joka kurottaisiin iän myötä umpeen. Tulosten ymmärtämiseksi onkin muistettava kaksi seikkaa. Lukivaikeus on ensinnäkin yhdistetty synnynnäisiin, pieniin, poikkeavuuksiin aivojen rakenteissa ja toiminnoissa. Toisaalta tavanomaiseen ikääntymiseen liittyy se, että aivot kykenevät yhä huonommin korjaamaan ja kiertämään (kompensoimaan) pieniä vaurioita. Tämän perusteella tutkimussarjan tuloksista voidaan päätellä, että lukivaikeuksisten jo synnynnäisesti heikentyneet aivojen kompensointimahdollisuudet eivät ole yhtä tehokkaita puskuroimaan ikääntymisen tavanomaisia vaikutuksia kuin sujuvilla lukijoilla. Yllättävää kuitenkin on, että tämä korostunut heikkeneminen havaittiin jo suhteellisen nuorilla, työikäisillä, lukivaikeuksisilla, ennen 60 ikävuotta. Samanlaista ikäännyttäessä korostuvaa vaikeutta ei lukivaikeuksilla kuitenkaan havaittu päättelyssä, kielellisissä toiminnoissa tai itse lukemisessa. Vaikuttaakin siis siltä, että ne toiminnot, joita on harjaannutettu aktiivisesti, eivät heikkene kasvavan aikuisiän myötä yhtä suhteettomasti. Alkuperäiset artikkelit Laasonen M, Tomma-Halme J, Lahti-Nuuttila P, Service E, and Virsu V (2000) Rate of information segregation in developmentally dyslexic children, Brain and Language, 75(1), 66-81. Laasonen M, Service E, and Virsu V (2001) Temporal order and processing acuity of visual, auditory, and tactile perception in developmentally dyslexic young adults, Cognitive, Affective, and Behavioral Neuroscience, 1(4), 394-410. Laasonen M, Service E, and Virsu V (2002) Crossmodal temporal order and processing acuity in developmentally dyslexic young adults, Brain and Language, 80(3), 340-354. Laasonen M, Lahti-Nuuttila P, and Virsu V (2002) Developmentally impaired processing speed decreases more than normally with age, NeuroReport, 13(9), 1111-1113.

Auditory - Visual Matching in Learning Disabilities : Intervention Studies from Finland and Sweden

The present thesis discusses relevant issues in education: 1) learning disabilities including the role of comorbidity in LDs, and 2) the use of research-based interventions. This thesis consists of a series of four studies (three articles), which deepens the knowledge of the field of special education. Intervention studies (N=242) aimed to examine whether training using a nonverbal auditory-visual matching computer program had a remedial effect in different learning disabilities, such as developmental dyslexia, Attention Deficit Disorder (ADD) and Specific Language Impairment (SLI). These studies were conducted in both Finland and Sweden. The intervention’s non-verbal character made an international perspective possible. The results of the intervention studies confirmed, that the auditory-visual matching computer program, called Audilex had positive intervention effects. In Study I of children with developmental dyslexia there were also improvements in reading skills, specifically in reading nonsense words and reading speed. These improvements in tasks, which are thought to rely on phonological processing, suggest that such reading difficulties in dyslexia may stem in part from more basic perceptual difficulties, including those required to manage the visual and auditory components of the decoding task. In Study II the intervention had a positive effect on children with dyslexia; older students with dyslexia and surprisingly, students with ADD also benefited from this intervention. In conclusion, the role of comorbidity was apparent. An intervention effect was evident also in students’ school behavior. Study III showed that children with SLI experience difficulties very similar to those of children with dyslexia in auditory-visual matching. Children with language-based learning disabilities, such as dyslexia and SLI benefited from the auditory-visual matching intervention. Also comorbidity was evident among these children; in addition to formal diagnoses, comorbidity was explored with an assessment inventory, which was developed for this thesis. Interestingly, an overview of the data of this thesis shows positive intervention effects in all studies despite learning disability, language, gender or age. These findings have been described by a concept inter-modal transpose. Self-evidently these issues need further studies. In learning disabilities the aim in the future will also be to identify individuals at risk rather than by deficit; this aim can be achieved by using research-based interventions, intensified support in general education and inclusive special education. Keywords: learning disabilities, developmental dyslexia, attention deficit disorder, specific language impairment, language-based learning disabilities, comorbidity, auditory-visual matching, research-based interventions, inter-modal transpose

Auditory, visual, and auditory-visual recognition of vowels by hearing-impaired children

This paper studies the auditory, visual and combined audio-visual recognition of vowels by severely and profoundly hearing impaired children.

A test of auditory-visual speech perception for hearing-impaired children

This paper discusses a test for speech perception and scoring to test likelihood of success with mainstreaming.

Evaluation of auditory-visual speech perception in individuals diagnosed with dementia of the Alzheimer's type

Auditory-visual speech perception testing was completed using wordandconsonant-level stimuli in individuals with known degrees of dementia of theAlzheimer’s type. The correlations with the cognitive measures and the speechperception measures (A-only, V-only, AV, VE or AE) did not reveal significantrelationships.

Spatial audition in a static virtual environment : the role of auditory-visual interaction

The integration of the auditory modality in virtual reality environments is known to promote the sensations of immersion and presence. However it is also known from psychophysics studies that auditory-visual interaction obey to complex rules and that multisensory conflicts may disrupt the adhesion of the participant to the presented virtual scene. It is thus important to measure the accuracy of the auditory spatial cues reproduced by the auditory display and their consistency with the spatial visual cues. This study evaluates auditory localization performances under various unimodal and auditory-visual bimodal conditions in a virtual reality (VR) setup using a stereoscopic display and binaural reproduction over headphones in static conditions. The auditory localization performances observed in the present study are in line with those reported in real conditions, suggesting that VR gives rise to consistent auditory and visual spatial cues. These results validate the use of VR for future psychophysics experiments with auditory and visual stimuli. They also emphasize the importance of a spatially accurate auditory and visual rendering for VR setups.

Auditory-visual speech integration by prelinguistic infants: Perception of an emergent consonant in the McGurk effect

The McGurk effect, in which auditory [ba] dubbed onto [go] lip movements is perceived as da or tha, was employed in a real-time task to investigate auditory-visual speech perception in prelingual infants. Experiments 1A and 1B established the validity of real-time dubbing for producing the effect. In Experiment 2, 4(1)/(2)-month-olds were tested in a habituation-test paradigm, in which 2 an auditory-visual stimulus was presented contingent upon visual fixation of a live face. The experimental group was habituated to a McGurk stimulus (auditory [ba] visual [ga]), and the control group to matching auditory-visual [ba]. Each group was then presented with three auditory-only test trials, [ba], [da], and [deltaa] (as in then). Visual-fixation durations in test trials showed that the experimental group treated the emergent percept in the McGurk effect, [da] or [deltaa], as familiar (even though they had not heard these sounds previously) and [ba] as novel. For control group infants [da] and [deltaa] were no more familiar than [ba]. These results are consistent with infants'perception of the McGurk effect, and support the conclusion that prelinguistic infants integrate auditory and visual speech information. (C) 2004 Wiley Periodicals, Inc.

Ecóico e nomeação de figuras em crianças com deficiência auditiva pré-lingual com implante coclear

The aim of this work was to verify the effect of teaching the echoic behavior over the pictures naming in four children between eight and nine years old with prelingual hearing impaired, users of cochlear implants. The design adopted was: (a) pre-training that taught the matching-to-sample task; (b) pre-tests that selected three words to teach; (c) teaching of auditory-visual conditional relations; (d) naming pos-test; (e) the teaching of echoic with orofacial clues and, (f) the second naming pos-test. In the pre-test all participants achieved smaller percentage of correct on naming (60%-80%) and echoic (20%-50%) when compared to percentages word recognition (86%-93%). All participants learned the auditory-visual relations. The improvement on naming test occurred after auditory training select based for two participants; for other two participants the improvement on naming test occurred just after the training of echoic. Analysis of data showed that the listening and speaking performances are independent in their establishment and require specific conditions of teaching; in the case of this study, even though the result is not generalized to all participants, the highest correspondence into point to point naming was obtained following the teaching of echoic.

Order of instruction effects - do they make a difference when teaching senior chemistry with computer based visualizations?

This study investigated whether conceptual development is greater if students learning senior chemistry hear teacher explanations and other traditional teaching approaches first then see computer based visualizations or vice versa. Five Canadian chemistry classes, taught by three different teachers, studied the topics of Le Chatelier’s Principle and dynamic chemical equilibria using scientific visualizations with the explanation and visualizations in different orders. Conceptual development was measured using a 12 item test based on the Chemistry Concepts Inventory. Data was obtained about the students’ abilities, learning styles (auditory, visual or kinesthetic) and sex, and the relationships between these factors and conceptual development due to the teaching sequences were investigated. It was found that teaching sequence is not important in terms of students’ conceptual learning gains, across the whole cohort or for any of the three subgroups.

Visual-auditory integration during speech imitation in autism

Children with autistic spectrum disorder (ASD) may have poor audio-visual integration, possibly reflecting dysfunctional 'mirror neuron' systems which have been hypothesised to be at the core of the condition. In the present study, a computer program, utilizing speech synthesizer software and a 'virtual' head (Baldi), delivered speech stimuli for identification in auditory, visual or bimodal conditions. Children with ASD were poorer than controls at recognizing stimuli in the unimodal conditions, but once performance on this measure was controlled for, no group difference was found in the bimodal condition. A group of participants with ASD were also trained to develop their speech-reading ability. Training improved visual accuracy and this also improved the children's ability to utilize visual information in their processing of speech. Overall results were compared to predictions from mathematical models based on integration and non-integration, and were most consistent with the integration model. We conclude that, whilst they are less accurate in recognizing stimuli in the unimodal condition, children with ASD show normal integration of visual and auditory speech stimuli. Given that training in recognition of visual speech was effective, children with ASD may benefit from multi-modal approaches in imitative therapy and language training. (C) 2004 Elsevier Ltd. All rights reserved.

Exploring visual features through Gabor representations for facial expression detection

Gabor representations have been widely used in facial analysis (face recognition, face detection and facial expression detection) due to their biological relevance and computational properties. Two popular Gabor representations used in literature are: 1) Log-Gabor and 2) Gabor energy filters. Even though these representations are somewhat similar, they also have distinct differences as the Log-Gabor filters mimic the simple cells in the visual cortex while the Gabor energy filters emulate the complex cells, which causes subtle differences in the responses. In this paper, we analyze the difference between these two Gabor representations and quantify these differences on the task of facial action unit (AU) detection. In our experiments conducted on the Cohn-Kanade dataset, we report an average area underneath the ROC curve (A`) of 92.60% across 17 AUs for the Gabor energy filters, while the Log-Gabor representation achieved an average A` of 96.11%. This result suggests that small spatial differences that the Log-Gabor filters pick up on are more useful for AU detection than the differences in contours and edges that the Gabor energy filters extract.