Integrated semantic processing of complex pictures and spoken sentences - Evidence from event-related potentials

It has been suggested that semantic information processing is modularized according to the input form (e.g., visual, verbal, non-verbal sound). A great deal of research has concentrated on detecting a separate verbal module. Also, it has traditionally been assumed in linguistics that the meaning of a single clause is computed before integration to a wider context. Recent research has called these views into question. The present study explored whether it is reasonable to assume separate verbal and nonverbal semantic systems in the light of the evidence from event-related potentials (ERPs). The study also provided information on whether the context influences processing of a single clause before the local meaning is computed. The focus was on an ERP called N400. Its amplitude is assumed to reflect the effort required to integrate an item to the preceding context. For instance, if a word is anomalous in its context, it will elicit a larger N400. N400 has been observed in experiments using both verbal and nonverbal stimuli. Contents of a single sentence were not hypothesized to influence the N400 amplitude. Only the combined contents of the sentence and the picture were hypothesized to influence the N400. The subjects (n = 17) viewed pictures on a computer screen while hearing sentences through headphones. Their task was to judge the congruency of the picture and the sentence. There were four conditions: 1) the picture and the sentence were congruent and sensible, 2) the sentence and the picture were congruent, but the sentence ended anomalously, 3) the picture and the sentence were incongruent but sensible, 4) the picture and the sentence were incongruent and anomalous. Stimuli from the four conditions were presented in a semi-randomized sequence. Their electroencephalography was simultaneously recorded. ERPs were computed for the four conditions. The amplitude of the N400 effect was largest in the incongruent sentence-picture -pairs. The anomalously ending sentences did not elicit a larger N400 than the sensible sentences. The results suggest that there is no separate verbal semantic system, and that the meaning of a single clause is not processed independent of the context.

Merkitystason informaation prosessoinnin on ehdotettu tapahtuvan erillisissä yksiköissä materiaalin muodon mukaan (esim. visuaalinen, kielellinen, ei-kielellinen ääni). Erityisesti kielen prosessoinnin on ajateltu tapahtuvan omassa järjestelmässään. Lisäksi kielentutkimuksen sisällä on pitkään ollut vallalla ajattelu, että yksittäisen lauseen merkityssisältö käsitellään ensin ja vasta sitten lauseen merkitys yhdistetään muuhun asiayhteyteen. Viimeaikainen tutkimus on kyseenalaistanut nämä näkemykset. Tässä tutkimuksessa selvitettiin aivojen sähköisten jännitevasteiden tuottamaa näyttöä, onko merkitystason informaation prosessointi jakaantunut kielelliseen ja visuaaliseen järjestelmään. Lisäksi saatiin tietoa, vaikuttaako asiayhteys yksittäisen lauseen merkityssisällön prosessointiin ennen kuin lauseen sisäinen merkityssisältö on käsitelty. Tarkastelun kohteena oli aivojen tapahtumasidonnainen jännitevaste N400. Sen amplitudin ajatellaan heijastavan työmäärää, joka vaaditaan kohdeärsykkeen yhdistämiseen edeltävään asiayhteyteen. Mikäli sana on esimerkiksi lauseyhteydessään epänormaali, se herättää suuremman N400-vasteen. N400 on havaittu sekä kielellisissä, että ei-kielellisissä koeasetelmissa. Yksittäisen lauseen sisällön ei ennustettu vaikuttavan N400-vasteen amplitudiin. Lauseen ja visuaalisen asiayhteyden yhteissisällön ennustettiin vaikuttavan. Koehenkilöille (n = 17) näytettiin piirroksia tietokoneen näytöllä ja samanaikaisesti esitettiin kuulokkeista lauseita. Heidän tehtävänään oli arvioida kuvan ja lauseen yhteensopivuutta. Kokeessa oli neljä tilannetta: 1) kuva ja lause sopivat yhteen ja ovat järkeviä, 2) kuva ja lause sopivat yhteen, mutta lause päättyy epänormaalisti, 3) kuva ja lause eivät sovi yhteen, mutta ovat järkeviä, 4) kuva ja lause eivät sovi yhteen ja lause päättyy epänormaalisti. Eri tilanteisiin liittyvien ärsykkeiden esitysjärjestys näennäissatunnaistettiin. Samanaikaisesti nauhoitettiin aivosähkökäyrä, josta myöhemmin laskettiin tapahtumasidonnaiset jännitevasteet eri tilanteille. N400-vasteen amplitudi oli suurin yhteensopimattomissa kuva-lause -pareissa. Epänormaalisti päättyvät lauseet eivät tuottaneet suurempaa N400-vastetta kuin järkevästi päättyvät lauseet. Tulokset viittaavat siihen, että erillistä kielellisen merkityssisällön prosessointijärjestelmää ei ole, eikä yksittäisen lauseen merkitystä käsitellä erillään asiayhteydestä.