Segmental Durations of Speech

This dissertation considers the segmental durations of speech from the viewpoint of speech technology, especially speech synthesis. The idea is that better models of segmental durations lead to higher naturalness and better intelligibility. These features are the key factors for better usability and generality of synthesized speech technology. Even though the studies are based on a Finnish corpus the approaches apply to all other languages as well. This is possibly due to the fact that most of the studies included in this dissertation are about universal effects taking place on utterance boundaries. Also the methods invented and used here are suitable for any other study of another language. This study is based on two corpora of news reading speech and sentences read aloud. The other corpus is read aloud by a 39-year-old male, whilst the other consists of several speakers in various situations. The use of two corpora is twofold: it involves a comparison of the corpora and a broader view on the matters of interest. The dissertation begins with an overview to the phonemes and the quantity system in the Finnish language. Especially, we are covering the intrinsic durations of phonemes and phoneme categories, as well as the difference of duration between short and long phonemes. The phoneme categories are presented to facilitate the problem of variability of speech segments. In this dissertation we cover the boundary-adjacent effects on segmental durations. In initial positions of utterances we find that there seems to be initial shortening in Finnish, but the result depends on the level of detail and on the individual phoneme. On the phoneme level we find that the shortening or lengthening only affects the very first ones at the beginning of an utterance. However, on average, the effect seems to shorten the whole first word on the word level. We establish the effect of final lengthening in Finnish. The effect in Finnish has been an open question for a long time, whilst Finnish has been the last missing piece for it to be a universal phenomenon. Final lengthening is studied from various angles and it is also shown that it is not a mere effect of prominence or an effect of speech corpus with high inter- and intra-speaker variation. The effect of final lengthening seems to extend from the final to the penultimate word. On a phoneme level it reaches a much wider area than the initial effect. We also present a normalization method suitable for corpus studies on segmental durations. The method uses an utterance-level normalization approach to capture the pattern of segmental durations within each utterance. This prevents the impact of various problematic variations within the corpora. The normalization is used in a study on final lengthening to show that the results on the effect are not caused by variation in the material. The dissertation shows an implementation and prowess of speech synthesis on a mobile platform. We find that the rule-based method of speech synthesis is a real-time software solution, but the signal generation process slows down the system beyond real time. Future aspects of speech synthesis on limited platforms are discussed. The dissertation considers ethical issues on the development of speech technology. The main focus is on the development of speech synthesis with high naturalness, but the problems and solutions are applicable to any other speech technology approaches.

Towards an Integrative Information Society: Studies on Individuality in Speech and Sign

The flow of information within modern information society has increased rapidly over the last decade. The major part of this information flow relies on the individual’s abilities to handle text or speech input. For the majority of us it presents no problems, but there are some individuals who would benefit from other means of conveying information, e.g. signed information flow. During the last decades the new results from various disciplines have all suggested towards the common background and processing for sign and speech and this was one of the key issues that I wanted to investigate further in this thesis. The basis of this thesis is firmly within speech research and that is why I wanted to design analogous test batteries for widely used speech perception tests for signers – to find out whether the results for signers would be the same as in speakers’ perception tests. One of the key findings within biology – and more precisely its effects on speech and communication research – is the mirror neuron system. That finding has enabled us to form new theories about evolution of communication, and it all seems to converge on the hypothesis that all communication has a common core within humans. In this thesis speech and sign are discussed as equal and analogical counterparts of communication and all research methods used in speech are modified for sign. Both speech and sign are thus investigated using similar test batteries. Furthermore, both production and perception of speech and sign are studied separately. An additional framework for studying production is given by gesture research using cry sounds. Results of cry sound research are then compared to results from children acquiring sign language. These results show that individuality manifests itself from very early on in human development. Articulation in adults, both in speech and sign, is studied from two perspectives: normal production and re-learning production when the apparatus has been changed. Normal production is studied both in speech and sign and the effects of changed articulation are studied with regards to speech. Both these studies are done by using carrier sentences. Furthermore, sign production is studied giving the informants possibility for spontaneous speech. The production data from the signing informants is also used as the basis for input in the sign synthesis stimuli used in sign perception test battery. Speech and sign perception were studied using the informants’ answers to questions using forced choice in identification and discrimination tasks. These answers were then compared across language modalities. Three different informant groups participated in the sign perception tests: native signers, sign language interpreters and Finnish adults with no knowledge of any signed language. This gave a chance to investigate which of the characteristics found in the results were due to the language per se and which were due to the changes in modality itself. As the analogous test batteries yielded similar results over different informant groups, some common threads of results could be observed. Starting from very early on in acquiring speech and sign the results were highly individual. However, the results were the same within one individual when the same test was repeated. This individuality of results represented along same patterns across different language modalities and - in some occasions - across language groups. As both modalities yield similar answers to analogous study questions, this has lead us to providing methods for basic input for sign language applications, i.e. signing avatars. This has also given us answers to questions on precision of the animation and intelligibility for the users – what are the parameters that govern intelligibility of synthesised speech or sign and how precise must the animation or synthetic speech be in order for it to be intelligible. The results also give additional support to the well-known fact that intelligibility in fact is not the same as naturalness. In some cases, as shown within the sign perception test battery design, naturalness decreases intelligibility. This also has to be taken into consideration when designing applications. All in all, results from each of the test batteries, be they for signers or speakers, yield strikingly similar patterns, which would indicate yet further support for the common core for all human communication. Thus, we can modify and deepen the phonetic framework models for human communication based on the knowledge obtained from the results of the test batteries within this thesis.

Central auditory processing and the acquisition of phonology in 2-year-old children with recurrent acute otitis media

Middle ear infections (acute otitis media, AOM) are among the most common infectious diseases in childhood, their incidence being greatest at the age of 6–12 months. Approximately 10–30% of children undergo repetitive periods of AOM, referred to as recurrent acute otitis media (RAOM). Middle ear fluid during an AOM episode causes, on average, 20–30 dB of hearing loss lasting from a few days to as much as a couple of months. It is well known that even a mild permanent hearing loss has an effect on language development but so far there is no consensus regarding the consequences of RAOM on childhood language acquisition. The results of studies on middle ear infections and language development have been partly discrepant and the exact effects of RAOM on the developing central auditory nervous system are as yet unknown. This thesis aims to examine central auditory processing and speech production among 2-year-old children with RAOM. Event-related potentials (ERPs) extracted from electroencephalography can be used to objectively investigate the functioning of the central auditory nervous system. For the first time this thesis has utilized auditory ERPs to study sound encoding and preattentive auditory discrimination of speech stimuli, and neural mechanisms of involuntary auditory attention in children with RAOM. Furthermore, the level of phonological development was studied by investigating the number and the quality of consonants produced by these children. Acquisition of consonant phonemes, which are harder to hear than vowels, is a good indicator of the ability to form accurate memory representations of ambient language and has not been studied previously in Finnish-speaking children with RAOM. The results showed that the cortical sound encoding was intact but the preattentive auditory discrimination of multiple speech sound features was atypical in those children with RAOM. Furthermore, their neural mechanisms of auditory attention differed from those of their peers, thus indicating that children with RAOM are atypically sensitive to novel but meaningless sounds. The children with RAOM also produced fewer consonants than their controls. Noticeably, they had a delay in the acquisition of word-medial consonants and the Finnish phoneme /s/, which is acoustically challenging to perceive compared to the other Finnish phonemes. The findings indicate the immaturity of central auditory processing in the children with RAOM, and this might also emerge in speech production. This thesis also showed that the effects of RAOM on central auditory processing are long-lasting because the children had healthy ears at the time of the study. An effective neural network for speech sound processing is a basic requisite of language acquisition, and RAOM in early childhood should be considered as a risk factor for language development.

Kirjallisuutta

Virallisen vastaväittäjän 30.11.2001 päivätty, vähäisessä määrin lyhennetty lausunto.

Myytit ja ”hyvä” johtajuus sotilasdiskurssissa

Tutkielman tavoitteena on selvittää, minkälainen kuva kadettikurssilaisten puheessa rakentuu hyvästä johtajuudesta, keitä he mainitsevat ihanteellisina johtajina ja mitä sankaruus heille merkitsee. Kadettien näkemyksiä tarkastellaan puolustusvoimien ”perinteisen” ja uuden syväjohtamisen mukaisen johtajakoulutuksen valossa. Tutkimus on kvalitatiivinen ja menetelmänä käytetään diskurssianalyysiä. Ympäröivä kulttuuri muokkaa, mallintaa ja uusintaa ihmisten sosiaalista todellisuutta. Puolustusvoimien johtajakoulutuksella, sotilasorganisaation kulttuurilla ja historian esikuvallisilla sotilasjohtajilla on keskeinen merkitys kadettikurssilaisten hyvä johtaja –kuvan muodostumisessa. Diskursseissa käsitys hyvästä johtajuudesta rakentuu sekä perinteisesti maskuliinisina pidettyjen että ”uusien” pehmeämpien johtamisarvojen kautta. Kadettien mukaan sotilasjohtaja voi olla niin käskijä ja valvoja kuin alaiset huomioiva, osallistuva johtaja. Suomalaisista sotilasjohtajista esille nostetaan Carl Gustav Mannerheim, Lauri Törni ja Adolf Ehrnrooth. Kadettikurssilaiset säilyttävät puheessaan sekä perinteiseen sotilasjohtamiseen liittyviä myyttejä että rakentavat syväjohtamisen mallia mukailevia johtamisarvoja.

Puheen ja ei-kielellisten äänten käsittely aivokuorella autismissa ja Aspergerin oireyhtymässä

Tuulia Lepistön väitöskirja Cortical processing of speech and non-speech sounds in autism and Asperger syndrome (Helsingin yliopisto 2008).

JOHTAMISOPIT KUNTAORGANISAATIOSSA – diskursiivinen tutkimus sosiaali- ja terveystoimesta 1980-luvulta 2000-luvulle

Julkisen sektorin johtamista on uudistettu viime vuosikymmeninä uuden julkisjohtamisen suuntauksen kautta. Tässä keskeistä ovat olleet markkinamekanismin sekä yksityissektorin johtamisoppien soveltaminen julkiselle sektorille. Tämän tutkimuksen tarkoituksena on tuottaa tietoa johtamisoppien soveltamisesta kuntaorganisaation sosiaalija terveystoimessa. Mielenkiinnon kohteena ovat kysymykset, miten johtamisopit ovat tulleet kuntaorganisaatioon ja miten ne ovat levinneet, rakentuneet sekä rakentaneet kontekstiaan tarkasteluajanjaksolla 1985 - 2007. Tutkimuksen lähestymistapa on diskurssianalyyttinen ja nojaa epistemologialtaan tulkinnallisesta tieteen filosofiasta nousseeseen sosiaaliseen konstruktivismiin. Oppien leviämistä tarkastellaan tässä tutkimuksessa translaationa, kääntämisprosessina, jossa opin johtoportaaseen tullut ensimmäinen versio tulkitaan ja käännetään organisaation kielelle ja käytännöiksi. Oppien rakentumista kontekstissaan käsitteellistetään sedimentoitumisen käsitteen kautta, mikä auttaa ymmärtämään uusien ja vanhojen oppien elementtien kerrostumista lähes muuttumattomista syvärakenteista nopeasti muuttuviin pintarakenteisiin. Tutkimuksen kohdeorganisaationa on suomalainen, keskikokoinen kuntaorganisaatio. Aineistona on käytetty kirjallisia dokumentteja ja haastatteluja. Johtamisoppeja kuntaorganisaatioon välittäviä tahoja ovat olleet konsulttiyritykset, yliopistot, kuntien johtoportaan verkostot, uudet johtajat sekä koulutuspäivät. Organisaation valmius uuden johtamisopin omaksumiseen on yhteydessä organisaatioon, johtoon, tarjolla oleviin oppeihin sekä toimintaympäristöön liittyviin tekijöihin Levitäkseen organisaatiossa oppi tarvitsee johdon tasolta kannattajan, joka markkinoi sitä muulle virkamies- ja luottamushenkilöjohdolle. Kun oppi saavuttaa johdon enemmistön tuen, käynnistyy sen kääntämisprosessi johdon puheesta henkilöstön puheen ja käytäntöjen tasolle. Uudet johtamisopit kyseenalaistavat vanhoja ”totuuksia” ja samalla ne määrittävät, mikä on tärkeää ja mikä jää huomiotta. Uudet opit eivät syrjäytä kokonaan vanhoja, vaan opit sedimentoituvat: vanhojen oppien diskursiivisia elementtejä jää pois ja uusien oppien elementtejä tulee mukaan johtamispuheeseen. Johtamisopit rakentavat kontekstiaan sekä puheen, käytäntöjen että organisaatiorakenteiden tasolla, mutta joihinkin syvärakenteisiin ne eivät ole pystyneet vaikuttamaan tai vaikuttavat äärimmäisen hitaasti. Asiakaslähtöisyys muun muassa on ollut useimpien johtamisoppien diskursiivinen elementti, mutta se on jäänyt toistuvasti kuntaorganisaation sosiaali- ja terveystoimessa organisaatiolähtöisen palvelujen järjestämistavan ja talouden kautta tapahtuvan tuloksellisuuden arvioinnin varjoon. Diskurssit muutoksesta ja sen välttämättömyydestä, tehokkuudesta sekä julkisen rinnastaminen yksityiseen näyttäytyivät tässä tutkimuksessa metatason diskursseina, jotka oikeuttavat yksityiseltä sektorilta lähtöisin olevien johtamisdiskurssien soveltamisen muutoksen ja tehokkuuden aikaansaamiseksi julkiselle sektorille. Kuntien sosiaali- ja terveystoimen tuloksellisuuden ja tehokkuuden arviointi on kapeutunut liikkeenjohdon peruslähtökohdista nousevaksi talouden kautta tapahtuvaksi arvioinniksi. Tässä julkisen toiminnan omiin arvolähtökohtiin ja teoriataustaan pohjautuvien toiminnan tulosten ja saavutettujen hyvinvointivaikutusten arviointi sekä näistä kertovien mittarien kehittäminen yhdessä talouden mittarien kanssa on marginaaliin jäänyttä, mutta nousevaa puhetta.

Keskusteluja vuokratyöstä. Vuokratyön diskursiivinen rakentuminen Suomessa

1990-luvun alussa lainsäädäntö ja työmarkkinajärjestöt määrittelivät Suomessa, että vuokratyötä tuli käyttää vain tilapäiseen työvoimatarpeeseen, esimerkiksi sijaisuuksiin ja ruuhkahuippuihin. Joillakin aloilla vuokratyö oli työnantajien ja työntekijöiden yhteissopimuksella kielletty. Vaikka vuokratyösuhteet saivat jo 1980-luvulla niin Suomessa kuin kansainvälisestikin maineen työsuhdekeinotteluna, alkoi vuokratyön määrä Suomessa kasvaa 1990-luvun puolivälissä ja erityisesti tultaessa 2000-luvulle. Suomalaiset akateemiset tutkijat eivät ole juuri vuokratyöstä kiinnostuneet. Aiemmat, harvalukuiset tutkimukset ovat keskittyneet lähinnä työyhteisöjen ja työntekijöiden kokemuksiin sekä vuokratyön työehtoihin. Vuokratyö ymmärretäänkin edelleen lähinnä työntekijän subjektiivisena kokemuksena. Vuokratyössä on kuitenkin kysymys paitsi kokemuksista, myös yhteiskunnallisesta valtakamppailusta, jossa diskursiivisin keinoin pyritään vaikuttamaan ilmiöön nimeltä vuokratyö, laajemmin ilmiöön nimeltä työmarkkinat, sekä toisaalta kansalaisten käsityksiin työelämän ”normaalista”. Käsillä oleva tutkimus laajentaa ymmärrystä vuokratyöstä tarkastelemalla ilmiötä lainsäädännön, uutisoinnin ja markkinoinnin rakentamien julkisten käsitysten ja merkityksenantojen kautta. Teoreettisena viitekehyksenä käytän hallinnan ja työprosessin säätelyn teoriaperinteitä. Se, miten työmarkkinoiden muutosta ja uusia työsuhdemuotoja politiikassa, mediassa, lainsäädännössä, tai työpaikan kahvipöytäkeskusteluissa perustellaan ja tehdään ymmärrettäväksi, on samalla työelämään kiinnitettävien arvojen, merkitysten ja toimijuuksien luomista, rajaamista ja kuvailua. Työelämäpuheessa ei siis ole kyse vain talouden lainalaisuuksista, kansantalouden toimivuudesta, tai yritysten kilpailukyvystä, vaan myös ja erityisesti niiden toimijoiden luomisesta, määrittelemisestä ja legitimoimisesta, jotka työelämän kentällä saavat toimia ja tulevat palkituiksi. Säätelyn ja hallinnan näkökulmasta on relevanttia tarkastella millaisilla käsitteillä ja merkityksillä vuokratyötä ilmiönä rakennetaan . Tutkimuskysymyksinä esitän: 1) Miten ja millä perusteilla vuokratyöstä rakennettiin Suomessa legitiimi tapa työllistää ja työllistyä? 2) Millaisia työntekijäideaaleja vuokratyöhön liittyvissä keskusteluissa rakennetaan? Tutkimusaineistona tarkastelen lainsäädäntöön liittyviä dokumentteja, Helsingin Sanomien uutisointia, vuokratyöyritysten markkinointimateriaaleja, sekä vuokratyöyritysten edustajien haastatteluita. Analyysimenetelmänä käytän kriittistä diskurssianalyysia. Tämä menetelmä mahdollistaa puheen ja dokumenttien tarkastelun sosiaalisena toimintana, jolla eri toimijat pyrkivät osallistumaan yhteiskunnassa hyväksyttyjen ja tunnustettujen käsitysten ja toimintavaihtoehtojen rakentamis-, tulkinta- ja määrittelyprosesseihin. Tutkimukseni päätuloksena esitän, että vuokratyöstä muodostui legitiimi tapa työllistää Suomessa 1990-luvulla, koska vuokratyö käsitteellistettiin sekä lainsäädännön että median diskursseissa ennen kaikkea ratkaisuksi työttömyyteen. Toisaalta vuokratyö käsitteellistettiin vain marginaalisten työntekijäryhmien (naiset ja opiskelijat) rooliksi, jolloin se ei liittynyt miesvaltaisten työpaikkojen arkeen. Ratkaisuna työttömyyteen vuokratyö myös samalla luonnollistettiin osaksi yleisempää työmarkkinakehitystä, jolle ”kukaan ei voi mitään”. 2000-luvulla vuokratyö jatkoi voittokulkuaan ja rakentui pysyväksi ilmiöksi, koska työlainsäädännön uudistus institutionalisoi vuokratyön työehtosopimusmenettelyyn, jolloin sen ”salonkikelpoisuus” ja normaalius vahvistettiin. Vaikka työehtosopimusasia oli ratkaisuna merkittävä, nousi vuokratyön osalta itse työehtosopimus tärkeämmäksi kuin sen sisältö. Työehtosopimuksilla ei kuitenkaan pystytty vaikuttamaan esimerkiksi vuokratyöntekijän olemattomaan työsuhdeturvaan. Lisäksi työnantajapuhe käsitteellistää vuokratyön 2000-luvulla ennen kaikkea työmarkkinavaihtoehdoksi, vapautta ja monipuolisia työkokemuksia tarjoavaksi työmarkkinoiden katalysaattoriksi. Vuokratyö on tässä merkitysavaruudessa työntekijöille ”vain” yksi tapa työllistyä ja löytää oma tiensä työmarkkinoille, ei suinkaan työnantajien sanelema pakko. Työntekijöihin kohdistuva hallintapuhe niin mediassa kuin työnantajien haastatteluissakin pyrkii puolestaan rakentamaan ideaalityöntekijäkuvaksi yrittäjämäisen oman elämänsä toimitusjohtajan. Työnantajien diskursseissa kaikuvatkin työntekijään kohdistuva vaatimus itse itsensä ohjaamisesta sekä työntekijäidentiteetin muotoilemisesta joustavuutta, sopeutuvuutta, vaihtelua ja jatkuvaa muutosta vähintäänkin sietäväksi, mutta mieluiten näitä ominaisuuksia jopa aktiivisesti hakevaksi ja arvostavaksi. Työmarkkinoiden toimijana on nimenomaisesti yksilö, jonka mahdollisuudet menestyä ovat vain ja ainoastaan hänen omissa käsissään. Työntekijän roolin korostaminen aktiivisena toimijana ja vuokratyöstä ”oikeita”, norminmukaisia sisältöjä löytävänä pärjääjänä on diskursiivisesti hallittua yritystä ohjata työntekijöitä näkemään sekä itsensä tietynlaisina toimijoina että työmarkkinat tietyllä tavalla toimivina. Vuokratyössä ei ole kyse vain työntekijöiden yksilöllisistä tai yksittäisistä kokemuksista. Vuokratyö on yhteiskunnallisen merkityskamppailun tulos, jossa käyttövoimana ovat toimineet hallinnalliset ja säätelyyn pyrkivät käsitteellistykset työllisyydestä, yksilön valinnasta ja koko yhteiskunnan edusta. Hallinnan ja säätelyn näkökulmasta katsottuna vuokratyö on myös merkinnyt säätelyn liukumista tasa-arvoa, yhdenmukaista kohtelua ja työntekijän suojelua korostavasta viranomaisten ja poliittisten toimijoiden suorittamasta työmarkkinoiden kollektiivisesta säätelystä työnantajien ylläpitämään työntekijän persoonan ja käyttäytymisen hegemoniseen, yksilölliseen säätelyyn.

Toimittajan oikeus uutisoida ja toimitustyötä sääntelevät normit

Luettaessa uutisia lehdestä harvoin pohditaan sitä, onko toimituksellisessa työssä noudatettu lakia ja alan eettisiä ohjeita. Lukija luottaa siihen, että sääntöjä noudatetaan, mutta näin ei aina ole. Käytettäessä materiaalia toiselta lehdeltä jätetään alkuperäinen lähde usein mainitsematta. Tämän tutkielman tarkoituksena on selvittää keskeiset tekijänoikeuslain pykälät ja käytännössä kaikkein keskeisimmät Journalistin ohjeet sanomalehden toimittajan työssä ja miten nämä säännöt pääosin ilmenevät. Suoritetun kyselytutkimuksen perusteella tekijänoikeuslain pykälä oikeus uutisoida toisen lehden uutinen ja Journalistin ohjeista sääntö, jonka mukaan sisältöratkaisut on tehtävä journalistisin perustein, ovat keskeisimpiä sääntöjä käytännön työssä. Tutkimuksessa näitä sääntöjä käsitellään oikeusdogmaattisin menetelmin kieliopillisen tulkinnan kautta sekä toimittajan työn näkökulmasta. Tutkimuksen lainsäädännöllisen viitekehyksen muodostavat Suomen perustuslaki, laki sananvapauden käyttämisestä joukkoviestinnässä, kansallinen tekijänoikeuslaki ja Journalistin ohjeet. Tämän vuoksi tutkimuksessa on aiheellista tarkastella myös sananvapautta ja tekijänoikeuslakia toimituksellisessa työssä sekä näiden suhdetta toisiinsa ja myös median rakenteellista ja toiminnallista muutosta.

Training Finnish and English Speakers to Produce Non-native Vowels

The subject of this thesis was the acquisition of difficult non-native vowels by speakers of two different languages. In order to study the subject, a group of Finnish speakers and another group of American English speakers were recruited and they underwent a short listen-and-repeat training that included as stimuli the semisynthetically created pseudowords /ty:ti/ and /tʉ:ti/. The aim was to study the effect of the training method on the subjects as well as the possible influence of the speakers’ native language on the process of acquisition. The selection of the target vowels /y/ and /ʉ/ was made according to the Speech Learning Model and Perceptual Assimilation Model, both of which predict that second language speech sounds that share similar features with sounds of a person’s native language are most difficult for the person to learn. The vowel /ʉ/ is similar to Finnish vowels as well as to vowels of English, whereas /y/ exists in Finnish but not in English, although it is similar to other English vowels. Therefore, it can be hypothesized that /ʉ/ is a difficult vowel for both groups to learn and /y/ is difficult for English speakers. The effect of training was tested with a pretest-training-posttest protocol in which the stimuli were played alternately and the subjects’ task was to repeat the heard stimuli. The training method was thought to improve the production of non-native sounds by engaging different feedback mechanisms, such as auditory and somatosensory. These, according to Template Theory, modify the production of speech by altering the motor commands from the internal speech system or the feedforward signal which translates the motoric commands into articulatory movements. The subjects’ productions during the test phases were recorded and an acoustic analysis was performed in which the formant values of the target vowels were extracted. Statistical analyses showed a statistically significant difference between groups in the first formant, signaling a possible effect of native motor commands. Furthermore, a statistically significant difference between groups was observed in the standard deviation of the formants in the production of /y/, showing the uniformity of native production. The training had no observable effect, possibly due to the short nature of the training protocol.