New kernel functions and learning methods for text and data mining

Recent advances in machine learning methods enable increasingly the automatic construction of various types of computer assisted methods that have been difficult or laborious to program by human experts. The tasks for which this kind of tools are needed arise in many areas, here especially in the fields of bioinformatics and natural language processing. The machine learning methods may not work satisfactorily if they are not appropriately tailored to the task in question. However, their learning performance can often be improved by taking advantage of deeper insight of the application domain or the learning problem at hand. This thesis considers developing kernel-based learning algorithms incorporating this kind of prior knowledge of the task in question in an advantageous way. Moreover, computationally efficient algorithms for training the learning machines for specific tasks are presented. In the context of kernel-based learning methods, the incorporation of prior knowledge is often done by designing appropriate kernel functions. Another well-known way is to develop cost functions that fit to the task under consideration. For disambiguation tasks in natural language, we develop kernel functions that take account of the positional information and the mutual similarities of words. It is shown that the use of this information significantly improves the disambiguation performance of the learning machine. Further, we design a new cost function that is better suitable for the task of information retrieval and for more general ranking problems than the cost functions designed for regression and classification. We also consider other applications of the kernel-based learning algorithms such as text categorization, and pattern recognition in differential display. We develop computationally efficient algorithms for training the considered learning machines with the proposed kernel functions. We also design a fast cross-validation algorithm for regularized least-squares type of learning algorithm. Further, an efficient version of the regularized least-squares algorithm that can be used together with the new cost function for preference learning and ranking tasks is proposed. In summary, we demonstrate that the incorporation of prior knowledge is possible and beneficial, and novel advanced kernels and cost functions can be used in algorithms efficiently.

Profiles of Second Language Learners in Bilingual Education: A Comparative Study of the Characteristics of Finnish and American Students

The purpose of this comparative study is to profile second language learners by exploring the factors which have an impact on their learning. The subjects come from two different countries: one group comes from Milwaukee, US, and the other from Turku, Finland. The subjects have attended bilingual classes from elementary school to senior high school in their respective countries. In the United States, the subjects (N = 57) started in one elementary school from where they moved on to two high schools in the district. The Finnish subjects (N = 39) attended the same school from elementary to high school. The longitudinal study was conducted during 1994-2004 and combines both qualitative and quantitative research methods. A Pilot Study carried out in 1990-1991 preceded the two subsequent studies that form the core material of this research. The theoretical part of the study focuses first on language policies in the United States and Finland: special emphasis is given to the history, development and current state of bilingual education, and the factors that have affected policy-making in the provision of language instruction. Current language learning theories and models form the theoretical foundation of the research, and underpin the empirical studies. Cognitively-labeled theories are at the forefront, but sociocultural theory and the ecological approach are also accounted for. The research methods consist of questionnaires, compositions and interviews. A combination of statistical methods as well as content analysis were used in the analysis. The attitude of the bilingual learners toward L1 and L2 was generally positive: the subjects enjoyed learning through two languages and were motivated to learn both. The knowledge of L1 and parental support, along with early literacy in L1, facilitated the learning of L2. This was particularly evident in the American subject group. The American subjects’ L2 learning was affected by the attitudes of the learners to the L1 culture and its speakers. Furthermore, the negative attitudes taken by L1 speakers toward L2 speakers and the lack of opportunities to engage in activities in the L1 culture affected the American subjects’ learning of L2, English. The research showed that many American L2 learners were isolated from the L1 culture and were even afraid to use English in everyday communication situations. In light of the research results, a politically neutral linguistic environment, which the Finnish subjects inhabited, was seen to be more favorable for learning. The Finnish subjects were learning L2, English, in a neutral zone where their own attitudes and motivation dictated their learning. The role of L2 as a means of international communication in Finland, as opposed to a means of exercising linguistic power, provided a neutral atmosphere for learning English. In both the American and Finnish groups, the learning of other languages was facilitated when the learner had a good foundation in their L1, and the learning of L1 and L2 were in balance. Learning was also fostered when the learners drew positive experiences from their surroundings and were provided with opportunities to engage in activities where L2 was used.

Näkökulmia kielen oppimisen käytäntöihin. Turun yliopiston kielikeskus 30 vuotta - Perspectives on Language Learning in Practice. University of Turku Language Centre 30-year Celebration

Tämä julkaisu ilmestyy Turussa 18.–19.5.2009 järjestettävien valtakunnallisten kielikeskuspäivien yhteydessä. Turun yliopiston kielikeskus viettää samaan aikaan 30-vuotisjuhlaansa. Erään luokittelun mukaan 30–45-vuotias elää varsinaista keski-ikäänsä, kun taas joissakin katsotaan, että 28–35 vuoden ikä on vasta ns. jäsentymisen vaihe ja että varhainenkin keski-ikä sijoittuu vasta ikävuosiin 35–42. Voitaneen siis sanoa, että kielikeskus on ainakin ohittanut nuoruusvuodet ja on jäsentymässä tai siirtymässä keski-ikään. Tämä tuo mukanaan tietynlaista kypsymistä, itsensä varaan asettumista, imagon ja profiilin vakiintumista. Tähän kasvuun saattaa liittyä myös jonkinlainen aikuistumisen kriisi. Sen myötä kuitenkin ymmärrys lisääntyy ja oman paikan rakentaminen yliopistoyhteisössä voimistuu. Arvo- ja ajatusmaailmaan tulee uusia kehityspiirteitä: olemassaolon ja toiminnan syvemmät perustelut, illuusioiden väheneminen, hallinnan tunne, tyydytys onnistuneesta toiminnasta ja realistinen voiman tunto. Laitos esittäytyy julkaisussa 13 kirjoituksen välityksellä. Tekstit ovat sisällöltään ja käsittelytavaltaan hyvin erilaisia, mutta juuri sellaisina ne valottavat monipuolisesti laitoksen ja sen henkilökunnan toimintaa ja tuntemuksia. Kuvaukset valaisevat laitoksen erikoisluonnetta ja kuvailevat henkilökunnan erilaisia tehtäviä. Kielikeskus paljastuu dynaamisemmaksi ja heterogeenisemmaksi yksiköksi kuin ensi silmäyksellä saattaa luulla, mutta juuri siinä piilee sen voima ja rikkaus. Juhlakirjaan toivottiin kirjoituksia kielikeskuksen opetukseen tai toimintaan liittyvistä aiheista. Kirjaan sisältyy selontekojen ja kuvausten lisäksi muutamia tiukan tieteellisiä artikkeleita. Joukossa on myös joitakin esseitä, jotka koskettelevat kielen ja kulttuurin välisiä suhteita ja luovat katsauksia kielikeskuksen monikulttuuriseen arkeen. Useassa kirjoituksessa käsitellään kielipedagogisia ja -didaktisia kysymyksiä. Erityisesti tulee esiin kielikeskuksessa viime vuosina tehty uudistustyö opetuksen ja oppimisedellytysten parantamiseksi. Samalla kun muun muassa opetusteknologiaa ja kielen oppimisen käytäntöjä virtuaalisissa oppimisympäristöissä on kehitetty, opettajan rooli on muovautunut uudentyyppiseksi: perinteisen opetushenkilöstön ja muun henkilökunnan tehtävät ja toimenkuva ovat selvästi lähentyneet toisiaan. Tämä suuntaus on jatkunut jo kauan ja jatkunee tulevaisuudessakin. Kolmekymmentä viime vuotta ovat olleet yliopistossa erittäin nopean muutoksen aikaa. Tämä on näkynyt erityisesti kielikeskuksen toiminnan laajenemisessa ja kehityksessä, joissa tosin on ollut notkahduksiakin. Varsinkin nopea kansainvälistyminen, Euroopan yhteisön laajentuminen ja koko maailman avautuminen ovat tuoneet mukanaan uusia haasteita, joihin kielikeskus on heti tarttunut: kielivalikoimaa on laajennettava, kielitaitoa kohennettava ja erilaisia kulttuureja tunnettava ja ymmärrettävä syvällisemmin. Turun yliopiston kielikeskus pyrkii omalta osaltaan täyttämään nämä velvoitteet ja luomaan toiminnallaan mahdollisimman hyvät edellytykset yliopiston kansainvälistymiselle. Nämä seikat on otettu huomioon laitoksen toimintalinjojen suunnittelussa ja kehittämisessä. Kieli-ja viestintäopintojen rakenteiden uudistamista jatketaan yhteistyössä tiedekuntien kanssa. Opintojen valinnaisuutta ja vapaaehtoisuutta pyritään lisäämään sekä turvaamaan kielivalintojen monipuolisuus ja kieliosaamisen laajaalaisuus resurssien mukaan. Toimintaa kehitetään niin, että siinä otetaan entistä paremmin huomioon yhteiskunnan monikulttuuristuminen ja Euroopan komission tavoite, jonka mukaan jokaisen EU- kansalaisen tulisi osata oman äidinkielensä lisäksi vähintään kahta yhteisön kieltä. Samalla otetaan huomioon globalisaation tuomat uudet haasteet tukemalla tärkeimpien Euroopan yhteisön ulkopuolisten kielten opetusta (mm. venäjä, kiina, japani, arabia). Edelleen kielikeskus seuraa tarkoin keskustelua Suomen kielikoulutuspolitiikan perusteista ja tavoitteista ja ottaa toimintansa suunnittelussa huomioon valtakunnalliset suositukset Suomen kielikoulutuksen uudistamiseksi vastaamaan nykypäivän ja tulevaisuuden tarpeita ja tavoitteita. Se että kielikeskus on viime vuosina selvästikin vakiinnuttanut asemansa yliopiston strategisesti tärkeänä yksikkönä, ei tarkoita sitä, että nyt voitaisiin turvautua pelkästään vanhoihin toimintamalleihin ja rutiineihin. Päinvastoin, koko maailmassa, suomalaisessa yhteiskunnassa ja yliopistojen toiminnassa tapahtuneet ja tapahtuvat suuret muutokset edellyttävät kielikeskustoimintojen vireää kehittämistä ja uudistusmieltä. Laitos onkin ilmoittanut tulossopimuksessaan tukevansa opetuskokeiluja ja innovatiivisia ratkaisuja. Opettajajohtoisen opetuksen ohella on voimakkaasti kehitetty myös ohjattua itseopiskelua, monimuotoopetusta sekä vaihtoehtoisia ja uudentyyppisiä oppimismuotoja. Uutta opetusteknologiaa käytetään tehokkaasti hyväksi ja kehitetään edelleen. Opetuksessa ja ohjauksessa käytetään suomalaisten ja ulkomaisten opiskelijoiden työpanosta. Laitoksen suunnittelu- ja kehittämistyössä opiskelijat ovat toimineet viime vuosina aktiivisesti ja ansiokkaasti: yhteistyö ylioppilaskunnan kanssa toimii erinomaisesti, ja sitä on tarkoitus vielä tehostaa. Laitos on saanut runsaasti kiitosta korkealaatuisesta toiminnastaan: muun muassa v. 1998 ja 2008 Turun yliopiston vuoden opettajan palkinnon, v. 1999 Turun yliopiston parhaan koulutusyksikön palkinnon ja v. 2007 vuoden opintojaksopalkinnon. On toivottavaa, että tämä tuloksellinen työ jatkuisi ja entisestäänkin paranisi tulevina vuosina. Hyvät tulokset on saavutettu kovilla ponnistuksilla ja tiukalla sitoutumisella työhön. Aina se ei ole ollut aivan helppoa nopeiden muutosten myllerryksessä, tiukentuneessa resurssitilanteessa ja vaatimusten ja odotusten ristiriidoissa. Toivon, että pääosin hyvin sujunut yhteistyö yliopiston johdon, tiedekuntien ja opiskelijoiden kanssa sekä henkilökunnan keskuudessa voisi säilyä ja kehittyä ja että alkava vuosikymmen kielikeskuksen historiassa voisi olla entistä parempi. Hyvä yhteistyö on hyvien tulosten edellytys. Suurten uudistusten vuosi 2010 sisältää mahdollisuuden parempaan, mutta se on samalla myös riski ehkä hyvinkin paljon muuttuvassa toimintaympäristössä. Lainaan lopuksi roomalaisen historioitsijan Sallustiuksen sanat: Concordia res parvae crescunt, discordia maximae dilabuntur. Yksimielisyys saa pienetkin asiat kukoistamaan, eripura suuretkin tuhoaa. Turun yliopistolla on hyvä kielikeskus, jota kannattaa vaalia ja tukea. Kiitän kaikkia kirjoittajia ja juhlajulkaisun toimittajia Minna Maijalaa, Timo Hulkkoa ja Jane Honkaa tämän julkaisun synnystä. Samoin esitän kiitokset kielikeskuksen kirjallisen viestinnän lehtoreille, Markus Lahdelle ja Arja Lampiselle, jot ka ovat nähneet vaivaa tekstien kielellisinä korjaajina. Koko kielikeskuksen nykyistä ja aikaisempaa henkilökuntaa kiitän työstä, jota laitoksen hyväksi on tehty kuluneiden 30 vuoden aikana. Erityisen kiitoksen ansaitsee laitoksen juhlatoimikunta kaikista juhlavuoden järjestelyistä.

The Connectivity of Musical Aptitude and Foreign Language Learning Skills: Neural and Behavioural Evidence

Given the structural and acoustical similarities between speech and music, and possible overlapping cerebral structures in speech and music processing, a possible relationship between musical aptitude and linguistic abilities, especially in terms of second language pronunciation skills, was investigated. Moreover, the laterality effect of the mother tongue was examined with both adults and children by means of dichotic listening scores. Finally, two event-related potential studies sought to reveal whether children with advanced second language pronunciation skills and higher general musical aptitude differed from children with less-advanced pronunciation skills and less musical aptitude in accuracy when preattentively processing mistuned triads and music / speech sound durations. The results showed a significant relationship between musical aptitude, English language pronunciation skills, chord discrimination ability, and sound-change-evoked brain activation in response to musical stimuli (durational differences and triad contrasts). Regular music practice may also have a modulatory effect on the brain’s linguistic organization and cause altered hemispheric functioning in those who have regularly practised music for years. Based on the present results, it is proposed that language skills, both in production and discrimination, are interconnected with perceptual musical skills.

Segmental Durations of Speech

This dissertation considers the segmental durations of speech from the viewpoint of speech technology, especially speech synthesis. The idea is that better models of segmental durations lead to higher naturalness and better intelligibility. These features are the key factors for better usability and generality of synthesized speech technology. Even though the studies are based on a Finnish corpus the approaches apply to all other languages as well. This is possibly due to the fact that most of the studies included in this dissertation are about universal effects taking place on utterance boundaries. Also the methods invented and used here are suitable for any other study of another language. This study is based on two corpora of news reading speech and sentences read aloud. The other corpus is read aloud by a 39-year-old male, whilst the other consists of several speakers in various situations. The use of two corpora is twofold: it involves a comparison of the corpora and a broader view on the matters of interest. The dissertation begins with an overview to the phonemes and the quantity system in the Finnish language. Especially, we are covering the intrinsic durations of phonemes and phoneme categories, as well as the difference of duration between short and long phonemes. The phoneme categories are presented to facilitate the problem of variability of speech segments. In this dissertation we cover the boundary-adjacent effects on segmental durations. In initial positions of utterances we find that there seems to be initial shortening in Finnish, but the result depends on the level of detail and on the individual phoneme. On the phoneme level we find that the shortening or lengthening only affects the very first ones at the beginning of an utterance. However, on average, the effect seems to shorten the whole first word on the word level. We establish the effect of final lengthening in Finnish. The effect in Finnish has been an open question for a long time, whilst Finnish has been the last missing piece for it to be a universal phenomenon. Final lengthening is studied from various angles and it is also shown that it is not a mere effect of prominence or an effect of speech corpus with high inter- and intra-speaker variation. The effect of final lengthening seems to extend from the final to the penultimate word. On a phoneme level it reaches a much wider area than the initial effect. We also present a normalization method suitable for corpus studies on segmental durations. The method uses an utterance-level normalization approach to capture the pattern of segmental durations within each utterance. This prevents the impact of various problematic variations within the corpora. The normalization is used in a study on final lengthening to show that the results on the effect are not caused by variation in the material. The dissertation shows an implementation and prowess of speech synthesis on a mobile platform. We find that the rule-based method of speech synthesis is a real-time software solution, but the signal generation process slows down the system beyond real time. Future aspects of speech synthesis on limited platforms are discussed. The dissertation considers ethical issues on the development of speech technology. The main focus is on the development of speech synthesis with high naturalness, but the problems and solutions are applicable to any other speech technology approaches.

Conference Proceedings. Assessing Language and (Inter) cultural Competences in Higher Education. Evaluation des compétences langagières et (inter) culturelles dans l’enseignement supérieur

This epublication contains papers that were presented at the conference “Assessing Language and (Inter) cultural Competences in Higher Education” which took place at the University of Turku (Finland) on 30.8.1.9.2007. The online proceedings may be downloaded and used provided the source is acknowledged.

Hemmet som ethos : en idéhistorisk studie av hur hemmet som ethos blev evident i hälsosysterns vårdande under 1900-talets första hälft

The home as ethos, an ethical dimension of human beings, is this study’s focus of interest. Can the home as ethos comprise motive and driving force for a human being? This dissertation has a mainly hermeneutic approach with a Caring Science interpretive horizon. Firstly, the purpose of this study is to develop the concept “home” through etymological and semantic analysis. The concept’s Caring Science content is also investigated. Secondly, the purpose of this study is to investigate, through the use of a history of ideas method, how the home as ethos is made visible and evident in public health nurses’ caring during the first half of the 20th century. Which motives compromise the driving force behind public health nurses’ caring? Which idea patterns are stressed? Material for the study’s concept determination consists of tymological dictionaries as well as Swedish language dictionaries published from 1850 – 2001. The results of the concept determination provide a preliminary idea-model, where dimensions such as ethos as a human being’s innermost room, human beings’ manner of being, and the metaphor “my home is my castle” are stressed. These results comprise the background of the history of ideas portion of the study. The study’s history of ideas investigation occurs through the evaluation and interpretation of historical sources focusing on the caring provided by public health nurses. Public health nurses comprise both the context and prevalent traditions during the time-period studied. The historical sources consist of three different types of sources, namely textbooks, archived material, and the professional nursing journals Epione and Sairaanhoitajatarlehti. The purpose is to rediscover fundamental idea-patterns through the thematic structuring of the patterns appearing in the historical sources. Three main idea-patterns and underlying themes are rediscovered: love- a fire which burns inside human beings; reverence for human beings and home; and the honor of responsibility. The emerging patterns are tightly interwoven and form a pattern. A new interpretation occurs, widening the study’s horizon and leading to the emergence of the theory-model’s contours. The study’s theory-model is formed from three different levels. Ethos as a human being’s innermost room- the spirit, encompasses a human being’s value base and the spirit that he/she is permeated with. Fundamental values are converted into an internal ethic, becoming visible in human beings’ manner of being- the manner of conduct. The metaphor “my home is my castle”- the tone, symbolizes the room where a human being’s abstract or concrete being lives. The spirit, the ethos, is expressed in a home’s culture and atmosphere, that is to say the tone of a home or how one lives in a room. Communion is a significant component in the creation of a culture and atmosphere. This study’s theory-model gives rise to a new perspective that can generate new patterns of action. The study’s theory-model results in a new historically-based view that create new patterns of action in care and Caring Science today.

Neural correlates of language learning in adults

The human language-learning ability persists throughout life, indicating considerable flexibility at the cognitive and neural level. This ability spans from expanding the vocabulary in the mother tongue to acquisition of a new language with its lexicon and grammar. The present thesis consists of five studies that tap both of these aspects of adult language learning by using magnetoencephalography (MEG) and functional magnetic resonance imaging (fMRI) during language processing and language learning tasks. The thesis shows that learning novel phonological word forms, either in the native tongue or when exposed to a foreign phonology, activates the brain in similar ways. The results also show that novel native words readily become integrated in the mental lexicon. Several studies in the thesis highlight the left temporal cortex as an important brain region in learning and accessing phonological forms. Incidental learning of foreign phonological word forms was reflected in functionally distinct temporal lobe areas that, respectively, reflected short-term memory processes and more stable learning that persisted to the next day. In a study where explicitly trained items were tracked for ten months, it was found that enhanced naming-related temporal and frontal activation one week after learning was predictive of good long-term memory. The results suggest that memory maintenance is an active process that depends on mechanisms of reconsolidation, and that these process vary considerably between individuals. The thesis put special emphasis on studying language learning in the context of language production. The neural foundation of language production has been studied considerably less than that of perceptive language, especially on the sentence level. A well-known paradigm in language production studies is picture naming, also used as a clinical tool in neuropsychology. This thesis shows that accessing the meaning and phonological form of a depicted object are subserved by different neural implementations. Moreover, a comparison between action and object naming from identical images indicated that the grammatical class of the retrieved word (verb, noun) is less important than the visual content of the image. In the present thesis, the picture naming was further modified into a novel paradigm in order to probe sentence-level speech production in a newly learned miniature language. Neural activity related to grammatical processing did not differ between the novel language and the mother tongue, but stronger neural activation for the novel language was observed during the planning of the upcoming output, likely related to more demanding lexical retrieval and short-term memory. In sum, the thesis aimed at examining language learning by combining different linguistic domains, such as phonology, semantics, and grammar, in a dynamic description of language processing in the human brain.

Who Needs Language?

Book review.

Ambivalent self-understanding? : change, language and boundaries in the Shetland Islands (1970–present)

Avhandlingen berör språkets roll på Shetlandsöarna från år 1970 till idag och shetländarnas självbild som shetländare och skottar. Öarna, som ligger i Storbritanniens nordligaste del, beskrivs ofta som kulturellt annorlunda och unika. Även om shetländarna uppfattar sig själva som annorlunda, har utomstående betraktare tidvis tonat ner, tidvis betonat öarnas kulturella särdrag. Shetlandsöarna utgör ett intressant undersökningsobjekt, eftersom shetländarnas uppfattningar om sig själva som en särskild grupp har genomgått en förändring under de fyra senaste årtiondena. Den ekonomiska högkonjunktur som var en konsekvens av oljefynden i Nordsjön och 1990-talets politiska förändringar på öarna och i Skottland har båda påverkat de sätt på vilka Shetland beskrivs och förstås. I den förändrade samhällssituationen tvingades shetländarna omvärdera sin relation till det skotska fastlandet. Man var också tvungen att hitta nya svar på frågan vilka shetländarna är och på vilka sätt man borde värna om den verkliga eller föreställda kulturella autonomin. Avhandlingens syfte var att undersöka och analysera de sätt på vilka de samhälleliga förändringarna har påverkat shetländarnas självförståelse, särskilt de uppfattningar som är kopplade till språket. Undersökningen visar att många av dagens uppfattningar om en kulturell särart kan spåras till slutet av 1800-talet och tiden efter andra världskriget. Som avhandlingen visar har språkhistorien spelat en viktig roll i den process i vilken shetländarna har särskilt sig som en separat grupp. Språkets betydelse kan förstås korrekt endast om man i stället för att betrakta shetländarna som en etnisk grupp betraktar Shetlandsöarna som en relativt sett autonom beslutför region. I detta fall fungerar dialekten som en symbol för regional samhörighet.