New kernel functions and learning methods for text and data mining

Recent advances in machine learning methods enable increasingly the automatic construction of various types of computer assisted methods that have been difficult or laborious to program by human experts. The tasks for which this kind of tools are needed arise in many areas, here especially in the fields of bioinformatics and natural language processing. The machine learning methods may not work satisfactorily if they are not appropriately tailored to the task in question. However, their learning performance can often be improved by taking advantage of deeper insight of the application domain or the learning problem at hand. This thesis considers developing kernel-based learning algorithms incorporating this kind of prior knowledge of the task in question in an advantageous way. Moreover, computationally efficient algorithms for training the learning machines for specific tasks are presented. In the context of kernel-based learning methods, the incorporation of prior knowledge is often done by designing appropriate kernel functions. Another well-known way is to develop cost functions that fit to the task under consideration. For disambiguation tasks in natural language, we develop kernel functions that take account of the positional information and the mutual similarities of words. It is shown that the use of this information significantly improves the disambiguation performance of the learning machine. Further, we design a new cost function that is better suitable for the task of information retrieval and for more general ranking problems than the cost functions designed for regression and classification. We also consider other applications of the kernel-based learning algorithms such as text categorization, and pattern recognition in differential display. We develop computationally efficient algorithms for training the considered learning machines with the proposed kernel functions. We also design a fast cross-validation algorithm for regularized least-squares type of learning algorithm. Further, an efficient version of the regularized least-squares algorithm that can be used together with the new cost function for preference learning and ranking tasks is proposed. In summary, we demonstrate that the incorporation of prior knowledge is possible and beneficial, and novel advanced kernels and cost functions can be used in algorithms efficiently.

Blended learning and student time-use in engineering education

Aiheen laajempi artikkeli on julkaistu konferenssi-CD:llä.

Summaries of lecture recordings used as learning material in blended learning

Julkaisumaa: 530 AN ANT Alankomaiden Antillit

Learning Preferences with Kernel-Based Methods

Learning of preference relations has recently received significant attention in machine learning community. It is closely related to the classification and regression analysis and can be reduced to these tasks. However, preference learning involves prediction of ordering of the data points rather than prediction of a single numerical value as in case of regression or a class label as in case of classification. Therefore, studying preference relations within a separate framework facilitates not only better theoretical understanding of the problem, but also motivates development of the efficient algorithms for the task. Preference learning has many applications in domains such as information retrieval, bioinformatics, natural language processing, etc. For example, algorithms that learn to rank are frequently used in search engines for ordering documents retrieved by the query. Preference learning methods have been also applied to collaborative filtering problems for predicting individual customer choices from the vast amount of user generated feedback. In this thesis we propose several algorithms for learning preference relations. These algorithms stem from well founded and robust class of regularized least-squares methods and have many attractive computational properties. In order to improve the performance of our methods, we introduce several non-linear kernel functions. Thus, contribution of this thesis is twofold: kernel functions for structured data that are used to take advantage of various non-vectorial data representations and the preference learning algorithms that are suitable for different tasks, namely efficient learning of preference relations, learning with large amount of training data, and semi-supervised preference learning. Proposed kernel-based algorithms and kernels are applied to the parse ranking task in natural language processing, document ranking in information retrieval, and remote homology detection in bioinformatics domain. Training of kernel-based ranking algorithms can be infeasible when the size of the training set is large. This problem is addressed by proposing a preference learning algorithm whose computation complexity scales linearly with the number of training data points. We also introduce sparse approximation of the algorithm that can be efficiently trained with large amount of data. For situations when small amount of labeled data but a large amount of unlabeled data is available, we propose a co-regularized preference learning algorithm. To conclude, the methods presented in this thesis address not only the problem of the efficient training of the algorithms but also fast regularization parameter selection, multiple output prediction, and cross-validation. Furthermore, proposed algorithms lead to notably better performance in many preference learning tasks considered.

Organizational learning from customer interaction

In the fierce competition of today‟s business world an organization‟s capacity to learn maybe its only competitive advantage. This research aims at increasing the understanding on how organizational learning from the customer happens in technology companies. In doing so it provides a synthesized definition of organizational learning and investigates processes of organizational learning within technology companies. A qualitative research method and in-depth interviews with different sized high technology companies, as applied here, enables in-depth study of the learning processes. Research contributes to the understanding of what type of knowledge firms acquire, how new knowledge is transferred and used in a learning firm‟s routines and processes. Research findings show that SMEs and large size companies also, depending on their position in the software value chain, consider different knowledge types as most important and that they use different learning methods to acquire knowledge from their customers.

A bridge between engineering and language learning : automation and German in an online course

Artikkeli luettavissa osassa: Part 2. - ISBN 9789522163172(PDF). - Liitteenä työpaperi

Sentence Compression with Supervised Machine Learning

The subject of the thesis is automatic sentence compression with machine learning, so that the compressed sentences remain both grammatical and retain their essential meaning. There are multiple possible uses for the compression of natural language sentences. In this thesis the focus is generation of television program subtitles, which often are compressed version of the original script of the program. The main part of the thesis consists of machine learning experiments for automatic sentence compression using different approaches to the problem. The machine learning methods used for this work are linear-chain conditional random fields and support vector machines. Also we take a look which automatic text analysis methods provide useful features for the task. The data used for machine learning is supplied by Lingsoft Inc. and consists of subtitles in both compressed an uncompressed form. The models are compared to a baseline system and comparisons are made both automatically and also using human evaluation, because of the potentially subjective nature of the output. The best result is achieved using a CRF - sequence classification using a rich feature set. All text analysis methods help classification and most useful method is morphological analysis. Tutkielman aihe on suomenkielisten lauseiden automaattinen tiivistäminen koneellisesti, niin että lyhennetyt lauseet säilyttävät olennaisen informaationsa ja pysyvät kieliopillisina. Luonnollisen kielen lauseiden tiivistämiselle on monta käyttötarkoitusta, mutta tässä tutkielmassa aihetta lähestytään television ohjelmien tekstittämisen kautta, johon käytännössä kuuluu alkuperäisen tekstin lyhentäminen televisioruudulle paremmin sopivaksi. Tutkielmassa kokeillaan erilaisia koneoppimismenetelmiä tekstin automaatiseen lyhentämiseen ja tarkastellaan miten hyvin erilaiset luonnollisen kielen analyysimenetelmät tuottavat informaatiota, joka auttaa näitä menetelmiä lyhentämään lauseita. Lisäksi tarkastellaan minkälainen lähestymistapa tuottaa parhaan lopputuloksen. Käytetyt koneoppimismenetelmät ovat tukivektorikone ja lineaarisen sekvenssin mallinen CRF. Koneoppimisen tukena käytetään tekstityksiä niiden eri käsittelyvaiheissa, jotka on saatu Lingsoft OY:ltä. Luotuja malleja vertaillaan Lopulta mallien lopputuloksia evaluoidaan automaattisesti ja koska teksti lopputuksena on jossain määrin subjektiivinen myös ihmisarviointiin perustuen. Vertailukohtana toimii kirjallisuudesta poimittu menetelmä. Tutkielman tuloksena paras lopputulos saadaan aikaan käyttäen CRF sekvenssi-luokittelijaa laajalla piirrejoukolla. Kaikki kokeillut teksin analyysimenetelmät auttavat luokittelussa, joista tärkeimmän panoksen antaa morfologinen analyysi.

Turvallisuusosaamisen varmistaminen verkko-oppimistyökalun avulla metsäteollisuusyrityksessä

Diplomityön tavoitteena oli kehittää UPM-Kymmene Oyj:n turvallisuuskoulutukseen verkko-oppimistyökalu, jolla voitaisiin tehostaa yrityksen turvallisuuskoulutusta, ja näin parantamaan turvallisuusosaamista, ja sitä kautta vähentää tapaturmia ja sairaspoissaoloja. Työ toteutettiin pilottiprojektina UPM:n Kymin sellutehtaalla Kuusankoskella. Työtä lähestyttiinhuomioimalla mahdollisimman monipuolisesti ne eri osa alueet, jotka turvallisuuden verkko-oppimishankkeeseen liittyivät. Samalla selvitettiin verkko-oppimiseen liittyviä vahvuuksia ja heikkouksia sekä keinot vahvuuksien hyödyntämiseen ja heikkouksien välttämiseen. Teoreettisessa tarkastelussa painotettiin aikuisdidaktisia lähestymistapoja, järjestelmän käytettävyyttä sekä e-oppimismenetelmien erityispiirteitä. Työn tuloksena saatiin kehitettyä verkko-oppimisympäristö oppimateriaaleineen, joka on laajennettavissa muihin yksiköissä sekä kehitettävissä edelleen. Lisäksi saatiin tutkimustuloksia ja kokemuksia, joita voidaan hyödyntää hankkeen jatkokehityksessä.

Väsymisen huomiointi laitteen ohjauksessa

Työssä selvitettiin väsymisen huomioivan ja minimoivan laitteen ohjausmenetelmiä. Väsymisilmiön huomioiva älykäs laite monitoroi itsenäisesti mm. väsymissäröjen kasvua ja muuttaa toimintaansa sen mukaisesti. Reagoinnin hyötyinä saavutetaan väsyttävästi kuormitetulle laitteelle mm. pidempi käyttöikä ja riskin hallinta, jossa laite tietää, miten sitä voidaan käyttää ennen vauriota ja sen jälkeen. Kunnossapitoon liittyen ennustetaan jäljellä olevaa käyttöikää, jolloin voidaan suunnitella huolto. Tutkimuksessa käsiteltiin mm. laitteiden ohjauksen tarvitsemia mittausmenetelmiä, mittaustiedon käsittelyä, vaurion luokittelua ja vauriota minimoivan ohjauksen rakennetta. Lisäksi käsiteltiin lyhyesti vaurion luokittelussa sekä ohjausreaktioiden ratkaisemisessa tarvittavia oppivia menetelmiä. Väsymistä minimoivan laitteen ohjauksen perusedellytys on laitteen kokemien rasitusten ja/tai suorituksen mittaaminen. Mittaustulosten perusteella määritetään vaurioitumista kuvaavat suureet. Ohjauksen vaurioon reagoivassa osassa määritetään tieto vaurioitumisen kriittisyydestä ja tämän perusteella tarvittava ohjauksen optimaalinen muutos sekä optimaalinen ohjaussignaali tai muu korjaava toimenpide. Ohjaus optimoidaan vaurioitumisnopeus minimoiden ja suorituskyky maksimoiden. Näiden välille etsitään sopiva tasapaino, jossa suorituskyvyn häviö on pieni mahdollisimman suurella vaurioitumisen pienenemisellä. Tämän jälkeen mittauksien avulla saadaan tieto korjatun ohjauksen vaikutuksesta vauriosuureisiin.

Asiakasosaamisen oppiminen Case Etelä-Karjalan Osuuspankki

Tämän tutkimuksen tarkoituksena on selvittää pankin sisäisellä termillä nimitetyn asiakasosaamisen sisältöä. Tutkimuksessa tarkastellaan kokeneille toimihenkilöille kehittyneitä asiakaspalvelutaitoja sekä keinoja, joilla näitä taitoja ja osaamista voidaan siirtää pankkiin rekrytoiduille vasta-alkajille. Tutkimuksen tavoitteena on myös löytää menetelmiä organisaation oppimisen tukemiseen. Tutkimuksen teoriaosassa tarkastellaan yksilöä oppijana ja tiedonkäsittelijänä sekä organisaation oppimista. Työyhteisön oppimisen edistämisen keinoja käsitellään työssä oppimisen ja henkilöstöjohtamisen näkökulmista. Empiirinen osa koostuu haastatteluista, joissa kokeneet toimihenkilöt ja vasta-alkajat tuovat esiin näkemyksiään hyvästä asiakaspalvelusta. Tutkimustulosten perusteella asiakasosaaminen koostuu teknisestä ja tiedollisesta osaamisesta sekä vuorovaikutustaidoista. Näiden taitojen siirtäminen edellyttää avointa, keskustelevaa organisaatiota, joka jatkuvasti kyseenalaistaa käytäntöjään ja on halukas sitoutumaan pysyvän oppimiskulttuurin kehittämiseen.

Analysis of Satellite Data for Forest Segmentation

In this work we study the classification of forest types using mathematics based image analysis on satellite data. We are interested in improving classification of forest segments when a combination of information from two or more different satellites is used. The experimental part is based on real satellite data originating from Canada. This thesis gives summary of the mathematics basics of the image analysis and supervised learning , methods that are used in the classification algorithm. Three data sets and four feature sets were investigated in this thesis. The considered feature sets were 1) histograms (quantiles) 2) variance 3) skewness and 4) kurtosis. Good overall performances were achieved when a combination of ASTERBAND and RADARSAT2 data sets was used.