The effect of language models on phonetic decoding for spoken term detection

Spoken term detection (STD) popularly involves performing word or sub-word level speech recognition and indexing the result. This work challenges the assumption that improved speech recognition accuracy implies better indexing for STD. Using an index derived from phone lattices, this paper examines the effect of language model selection on the relationship between phone recognition accuracy and STD accuracy. Results suggest that language models usually improve phone recognition accuracy but their inclusion does not always translate to improved STD accuracy. The findings suggest that using phone recognition accuracy to measure the quality of an STD index can be problematic, and highlight the need for an alternative that is more closely aligned with the goals of the specific detection task.

Do spoken nonword and sentence repetition tasks discriminate language impairment in children with an ASD?

The primary aim of this paper was to investigate heterogeneity in language abilities of children with a confirmed diagnosis of an ASD (N = 20) and children with typical development (TD; N = 15). Group comparisons revealed no differences between ASD and TD participants on standard clinical assessments of language ability, reading ability or nonverbal intelligence. However, a hierarchical cluster analysis based on spoken nonword repetition and sentence repetition identified two clusters within the combined group of ASD and TD participants. The first cluster (N = 6) presented with significantly poorer performances than the second cluster (N = 29) on both of the clustering variables in addition to single word and nonword reading. The significant differences between the two clusters occur within a context of Cluster 1 having language impairment and a tendency towards more severe autistic symptomatology. Differences between the oral language abilities of the first and second clusters are considered in light of diagnosis, attention and verbal short term memory skills and reading impairment.

Topic dependent language modelling for spoken term detection

This paper investigates the effect of topic dependent language models (TDLM) on phonetic spoken term detection (STD) using dynamic match lattice spotting (DMLS). Phonetic STD consists of two steps: indexing and search. The accuracy of indexing audio segments into phone sequences using phone recognition methods directly affects the accuracy of the final STD system. If the topic of a document in known, recognizing the spoken words and indexing them to an intermediate representation is an easier task and consequently, detecting a search word in it will be more accurate and robust. In this paper, we propose the use of TDLMs in the indexing stage to improve the accuracy of STD in situations where the topic of the audio document is known in advance. It is shown that using TDLMs instead of the traditional general language model (GLM) improves STD performance according to figure of merit (FOM) criteria.

“We live in in a house of blo- in a block of flats.” – Self-repair in EFL Spoken Language

Tämä tutkielma on osa Helsingin yliopiston rahoittamaa HY-talk -tutkimusprojektia, jonka tavoite on vankentaa puheviestinnän, erityisesti vieraiden kielten suullisen taidon opetusta ja arviointia yleissivistävässä koulutuksessa ja korkeakouluasteella. Tämän tutkielman tavoite on selvittää millaisia korjauksia englantia vieraana kielenä puhuvat ihmiset tekevät puheeseensa ja tutkia itsekorjauksen ja sujuvuuden välistä suhdetta. Korjausjäsennystä ja itsekorjausta on aiemmin tutkittu sekä keskustelunanalyysin että psykolingvistiikan aloilla, ja vaikka tämä tutkielma onkin lähempänä aiempaa keskustelunanalyyttistä kuin psykolingvististä tutkimusta, siinä hyödynnetään molempia suuntauksia. Itsekorjausta on yleisesti pidetty merkkinä erityisesti ei-natiivien kielenpuhujien sujuvuuden puutteesta. Tämän tutkielman tarkoitus on selvittää, kuinka läheisesti itsekorjaus todella liittyy sujuvuuteen tai sen puutteeseen. Tutkielman materiaali koostuu HY-talk -projektia varten kerätyistä puhenäytteistä ja niiden pohjalta tehdyistä taitotasoarvioinneista. Puhenäytteet kerättiin vuonna 2007 projektia varten järjestettyjen puhekielen testaustilanteiden yhteydessä kolmessa eteläsuomalaisessa koulussa. Koska projektin tavoitteena on tutkia ja parantaa kielten suullisen taidon arviointia, projektissa mukana olleet kieliammattilaiset arvioivat puhujien taitotasot projektia varten (Eurooppalaisen Viitekehyksen taitotasokuvainten pohjalta) koottujen arviointiasteikoiden perusteella, ja nämä arvioinnit tallennettiin osaksi projektin materiaalia. Tutkielmassa analysoidaan itsekorjauksia aiemman psykolingvistisen tutkimuksen pohjalta kootun korjaustyyppiluokituksen sekä tätä tutkielmaa varten luodun korjausten oikeellisuutta vertailevan luokituksen avulla. Lisäksi siinä vertaillaan kahden korkeamman ja kahden matalamman taitotasoarvioinnin saaneen puhujan itsekorjauksia. Tulokset osoittavat, että ei-natiivien puheessa esiintyy monenlaisia eri korjaustyyppejä, ja että yleisimpiä korjauksia ovat alkuperäisen lausuman toistot. Yleisiä ovat myös korjaukset, joissa puhuja korjaa virheen tai keskeyttää puheensa ja aloittaa kokonaan uuden lausuman. Lisäksi tuloksista käy ilmi, ettei suurin osa korjauksista todennäköisesti johdu puhujien sujuvuuden puutteesta. Yleisimmät korjaustyypit voivat johtua suurimmaksi osaksi yksilön puhetyylistä, siitä, että puhuja hakee jotain tiettyä sanaa tai ilmausta mielessään tai siitä, että puhuja korjaa puheessaan huomaamansa kieliopillisen, sanastollisen tai äänteellisen virheen. Vertailu korkeammalle ja matalammalle taitotasolle arvioitujen puhujien välillä osoittaa selkeimmin, ettei suurin osa itsekorjauksista ole yhteydessä puhujan sujuvuuteen. Vertailusta käy ilmi, ettei pelkkä itsekorjausten määrä kerro kuinka sujuvasti puhuja käyttää kieltä, sillä toinen korkeammalle taitotasolle arvioiduista puhujista korjaa puhettaan lähes yhtä monesti kuin matalammalle tasolle arvioidut puhujat. Lisäksi korjausten oikeellisuutta vertailevan luokituksen tulokset viittaavat siihen, etteivät niin korkeammalle kuin matalammallekaan tasolle arvioidut puhujat useimmiten korjaa puhettaan siksi, etteivät pystyisi ilmaisemaan viestiään oikein ja ymmärrettävästi.

Activation and persistence of implicit causality information in spoken language comprehension

A visual world eye-tracking study investigated the activation and persistence of implicit causality information in spoken language comprehension. We showed that people infer the implicit causality of verbs as soon as they encounter such verbs in discourse, as is predicted by proponents of the immediate focusing account (Greene & McKoon, 1995; Koornneef & Van Berkum, 2006; Van Berkum, Koornneef, Otten, & Nieuwland, 2007). Interestingly, we observed activation of implicit causality information even before people encountered the causal conjunction. However, while implicit causality information was persistent as the discourse unfolded, it did not have a privileged role as a focusing cue immediately at the ambiguous pronoun when people were resolving its antecedent. Instead, our study indicated that implicit causality does not affect all referents to the same extent, rather it interacts with other cues in the discourse, especially when one of the referents is already prominently in focus.

LZW Based Distance Measures for Spoken Language Identification

We present a new approach to spoken language modeling for language identification (LID) using the Lempel-Ziv-Welch (LZW) algorithm. The LZW technique is applicable to any kind of tokenization of the speech signal. Because of the efficiency of LZW algorithm to obtain variable length symbol strings in the training data, the LZW codebook captures the essentials of a language effectively. We develop two new deterministic measures for LID based on the LZW algorithm namely: (i) Compression ratio score (LZW-CR) and (ii) weighted discriminant score (LZW-WDS). To assess these measures, we consider error-free tokenization of speech as well as artificially induced noise in the tokenization. It is shown that for a 6 language LID task of OGI-TS database with clean tokenization, the new model (LZW-WDS) performs slightly better than the conventional bigram model. For noisy tokenization, which is the more realistic case, LZW-WDS significantly outperforms the bigram technique