Deep generative models for facial keypoints detection

A new area of machine learning research called deep learning, has moved machine learning closer to one of its original goals: artificial intelligence and general learning algorithm. The key idea is to pretrain models in completely unsupervised way and finally they can be fine-tuned for the task at hand using supervised learning. In this thesis, a general introduction to deep learning models and algorithms are given and these methods are applied to facial keypoints detection. The task is to predict the positions of 15 keypoints on grayscale face images. Each predicted keypoint is specified by an (x,y) real-valued pair in the space of pixel indices. In experiments, we pretrained deep belief networks (DBN) and finally performed a discriminative fine-tuning. We varied the depth and size of an architecture. We tested both deterministic and sampled hidden activations and the effect of additional unlabeled data on pretraining. The experimental results show that our model provides better results than publicly available benchmarks for the dataset.

Oppimisen tukeminen tieto- ja viestintätekniikan avulla II-asteella

Tutkimuksessa tarkastellaan tieto- ja viestintätekniikan tuomaa lisäarvoa kon-taktiopetukseen sekä Moodle verkko-oppimisalustan hyödyntämistapoja opet-tajan, oppijanja työelämäyhteistyön näkökulmista. Tutkimuksessa on kaksi päätavoitetta: selvittää yleiset verkko-opetusmallit ja verkko-opetusmalleja tukevat työkalut sekä selvittää Etelä-Kymenlaakson am-mattiopistossa käytössä olevan Moodle verkko-oppimisalustan nykyistä laaja-alaisempaan käyttöönottoon liittyvät haasteet ja kehitystarpeet. Kokemusten pohjalta jälkimmäisen tavoitteen suurimmaksi yksittäiseksi haasteeksi nousee verkko-opintojakson aloitus. Opettaja joutuu verkko-opintojakson käynnistämi-sen yhteydessä tekemään liikaa monimutkaisiamäärittelyjä. Kehitystarpeissa puolestaan haetaan ratkaisuja kysymykseen; mitenverkko-oppimisalusta mahdollistaa työelämäyhteyksien parantamisen ja miten se palvelee paremmin oppijoita verkko-opintojaksojen löytämisen suhteen. Tutkimuksen tuloksena rakentui uusi tapa verkko-opintojaksojen luomiseenja kategorisointiin. Kehitetyn toimintatavan ansiosta opettajan ei tarvitse enää luoda opintojaksoa verkko-oppimisalustaan, vaan niiden aihiot luodaan ohjel-mallisesti oppilashallintojärjestelmästä saatavista tiedoista muunnosohjelman välityksellä. Opettajan tehtäväksi jää vain materiaalin tuottaminen ja kyseisellä opintojaksolla tarvitsemiensa työkalujen alustaminen. Uudella kategorisointita-valla ja mielikuvitusrikkaammilla työtilojen hyödyntämistavoilla saavutetaan seuraavat edut: järjestelmä palvelee paremmin työelämäyhteistyötä, oppijoille selkeytyy oma opintokokonaisuus paremmin ja oppijoiden sekä opettajien on helpompi löytää verkko-oppimisalustassa olevat opintojaksot.

POP UP & LEAN START UP - yrittäjyyden opetusmallin kehittämishanke toisen asteen koulutuksessa

Tutkimuksen tavoitteena oli tarkastella ammatillisen koulutuksen yrittäjyyskasvatuksen käytännön opetuksen toteutusmahdollisuuksia. Tarkasteluun vaikuttaa vuonna 2015 voimaan astuva ammatillisen perusopetuksen opetussuunnitelmauudistus. Käytännön opetuksen toteutuksen viitekehykseksi valittiin synteesi pop up ja lean startup liiketoimintamallien viitekehyksistä. Tutkimuksen kohteena olivat viralliset opetussuunnitelmauudistuksen asiakirjat ja liiketoimintamalleja käsittelevä kirjallisuus. Tutkimusmenetelmänä käytettiin integoivaa narratiivista kirjallisuusanalyysiä. Aineiston analyysissä käytettiin Atlas-ti ohjelmistoa. Tutkimuksen tuloksena muodostui kuva työelämälähtöisistä uudistuvista opetussuunnitelmista, missä yrittäjyyskasvatuksen rakenteet eivät todellisuudessa muutu entisestä merkittävästi. Sen sijaan, uutta tulevat olemaan opetuksen toteutukselle asetetut haasteet: yksilöllistetyt opintopolut ja opiskelumallien monipuolistamisen merkittävä kasvu. Yrittäjyyskasvatukselle asetetaan Suomessa yhteiskunnallisesti korkeita tavoitteita. Se, miten niihin päästään ja millaisella pedagogiikalla, jää eri ammatillisten oppilaitosten ratkaistavaksi paikallisesti. Pop up ja lean startup liiketoimintamallit tarjoavat tulevaisuuden kannalta merkittäviä mahdollisuuksia yrittäjyyden käytännön opetuksen viitekehyksiksi. Lisäksi ne sopivat nopeatempoiseen ja ajallisesti tiukkarajaiseen opetuksen viitekehykseen hyvin uudenaikaisina asiakaslähtöisinä innovaatio- ja liiketoimintamalleina.

Future revenue models: Transformation from textbooks to digital solutions in the educational publishing industry, Case Sanoma Learning

This study was conducted in order to learn how companies’ revenue models will be transformed due to the digitalisation of its products and processes. Because there is still only a limited number of researches focusing solely on revenue models, and particularly on the revenue model change caused by the changes at the business environment, the topic was initially approached through the business model concept, which organises the different value creating operations and resources at a company in order to create profitable revenue streams. This was used as the base for constructing the theoretical framework for this study, used to collect and analyse the information. The empirical section is based on a qualitative study approach and multiple-case analysis of companies operating in learning materials publishing industry. Their operations are compared with companies operating in other industries, which have undergone comparable transformation, in order to recognise either similarities or contrasts between the cases. The sources of evidence are a literature review to find the essential dimensions researched earlier, and interviews 29 of managers and executives at 17 organisations representing six industries. Based onto the earlier literature and the empirical findings of this study, the change of the revenue model is linked with the change of the other dimen-sions of the business model. When one dimension will be altered, as well the other should be adjusted accordingly. At the case companies the transformation is observed as the utilisation of several revenue models simultaneously and the revenue creation processes becoming more complex.

Structure learning of context-specific graphical models

Abstract The ultimate problem considered in this thesis is modeling a high-dimensional joint distribution over a set of discrete variables. For this purpose, we consider classes of context-specific graphical models and the main emphasis is on learning the structure of such models from data. Traditional graphical models compactly represent a joint distribution through a factorization justi ed by statements of conditional independence which are encoded by a graph structure. Context-speci c independence is a natural generalization of conditional independence that only holds in a certain context, speci ed by the conditioning variables. We introduce context-speci c generalizations of both Bayesian networks and Markov networks by including statements of context-specific independence which can be encoded as a part of the model structures. For the purpose of learning context-speci c model structures from data, we derive score functions, based on results from Bayesian statistics, by which the plausibility of a structure is assessed. To identify high-scoring structures, we construct stochastic and deterministic search algorithms designed to exploit the structural decomposition of our score functions. Numerical experiments on synthetic and real-world data show that the increased exibility of context-specific structures can more accurately emulate the dependence structure among the variables and thereby improve the predictive accuracy of the models.

The Roles of Cultural, Functional and Value Diversity in Innovativeness and Learning

Tutkielman tavoite on tutkia kulttuurista, funktionaalista ja arvojen diversiteettiä, niiden suhdetta innovatiivisuuteen ja oppimiseen sekä tarjota keinoja diversiteetin johtamiseen. Tämän lisäksi selvitetään linjaesimiesten haastattelujen kautta miten diversiteetti case -organisaatiossa tällä hetkellä koetaan. Organisaation diversiteetin tämänhetkisen tilan tunnistamisen kautta voidaan esittää parannusehdotuksia diversiteetin hallintaan. Tutkimus- ja tiedonkeruumenetelmänä käytetään kvalitatiivista focus group haastattelumenetelmää. Tutkimuksessa saatiin selkeä kuva kulttuurisen, funktionaalisen ja arvojen diversiteetin merkityksistä organisaation innovatiivisuudelle ja oppimiselle sekä löydettiin keinoja näiden diversiteetin tyyppien johtamiseen. Tutkimuksen tärkeä löydös on se, että diversiteetti vaikuttaa positiivisesti organisaation innovatiivisuuteen kun sitä johdetaan tehokkaasti ja kun organisaatioympäristö tukee avointa keskustelua ja mielipiteiden jakamista. Case organisaation tämänhetkistä diversiteetin tilaa selvitettäessä havaittiin että ongelma organisaatiossa ei ole diversiteetin puute, vaan paremminkin se, ettei diversiteettia osata hyödyntää. Organisaatio ei tue erilaisten näkemysten ja mielipiteiden vapaata esittämistä jahyväksikäyttöä ja siksi diversiteetin hyödyntäminen on epätäydellistä. Haastatteluissa tärkeinä seikkoina diversiteetin hyödyntämisen parantamisessa nähtiin kulttuurin muuttaminen avoimempaan suuntaan ja johtajien esimiestaitojen parantaminen.

Information System ProcessInnovation Adoption, Adaptation, Learning, and Unlearning: A Longitudinal Case Study

This thesis examines the history and evolution of information system process innovation (ISPI) processes (adoption, adaptation, and unlearning) within the information system development (ISD) work in an internal information system (IS) department and in two IS software house organisations in Finland over a 43-year time-period. The study offers insights into influential actors and their dependencies in deciding over ISPIs. The research usesa qualitative research approach, and the research methodology involves the description of the ISPI processes, how the actors searched for ISPIs, and how the relationships between the actors changed over time. The existing theories were evaluated using the conceptual models of the ISPI processes based on the innovationliterature in the IS area. The main focus of the study was to observe changes in the main ISPI processes over time. The main contribution of the thesis is a new theory. The term theory should be understood as 1) a new conceptual framework of the ISPI processes, 2) new ISPI concepts and categories, and the relationships between the ISPI concepts inside the ISPI processes. The study gives a comprehensive and systematic study on the history and evolution of the ISPI processes; reveals the factors that affected ISPI adoption; studies ISPI knowledge acquisition, information transfer, and adaptation mechanisms; and reveals the mechanismsaffecting ISPI unlearning; changes in the ISPI processes; and diverse actors involved in the processes. The results show that both the internal IS department and the two IS software houses sought opportunities to improve their technical skills and career paths and this created an innovative culture. When new technology generations come to the market the platform systems need to be renewed, and therefore the organisations invest in ISPIs in cycles. The extent of internal learning and experiments was higher than the external knowledge acquisition. Until the outsourcing event (1984) the decision-making was centralised and the internalIS department was very influential over ISPIs. After outsourcing, decision-making became distributed between the two IS software houses, the IS client, and itsinternal IT department. The IS client wanted to assure that information systemswould serve the business of the company and thus wanted to co-operate closely with the software organisations.

Kernel-Based Ranking. Methods for Learning and Performance Estimation

Machine learning provides tools for automated construction of predictive models in data intensive areas of engineering and science. The family of regularized kernel methods have in the recent years become one of the mainstream approaches to machine learning, due to a number of advantages the methods share. The approach provides theoretically well-founded solutions to the problems of under- and overfitting, allows learning from structured data, and has been empirically demonstrated to yield high predictive performance on a wide range of application domains. Historically, the problems of classification and regression have gained the majority of attention in the field. In this thesis we focus on another type of learning problem, that of learning to rank. In learning to rank, the aim is from a set of past observations to learn a ranking function that can order new objects according to how well they match some underlying criterion of goodness. As an important special case of the setting, we can recover the bipartite ranking problem, corresponding to maximizing the area under the ROC curve (AUC) in binary classification. Ranking applications appear in a large variety of settings, examples encountered in this thesis include document retrieval in web search, recommender systems, information extraction and automated parsing of natural language. We consider the pairwise approach to learning to rank, where ranking models are learned by minimizing the expected probability of ranking any two randomly drawn test examples incorrectly. The development of computationally efficient kernel methods, based on this approach, has in the past proven to be challenging. Moreover, it is not clear what techniques for estimating the predictive performance of learned models are the most reliable in the ranking setting, and how the techniques can be implemented efficiently. The contributions of this thesis are as follows. First, we develop RankRLS, a computationally efficient kernel method for learning to rank, that is based on minimizing a regularized pairwise least-squares loss. In addition to training methods, we introduce a variety of algorithms for tasks such as model selection, multi-output learning, and cross-validation, based on computational shortcuts from matrix algebra. Second, we improve the fastest known training method for the linear version of the RankSVM algorithm, which is one of the most well established methods for learning to rank. Third, we study the combination of the empirical kernel map and reduced set approximation, which allows the large-scale training of kernel machines using linear solvers, and propose computationally efficient solutions to cross-validation when using the approach. Next, we explore the problem of reliable cross-validation when using AUC as a performance criterion, through an extensive simulation study. We demonstrate that the proposed leave-pair-out cross-validation approach leads to more reliable performance estimation than commonly used alternative approaches. Finally, we present a case study on applying machine learning to information extraction from biomedical literature, which combines several of the approaches considered in the thesis. The thesis is divided into two parts. Part I provides the background for the research work and summarizes the most central results, Part II consists of the five original research articles that are the main contribution of this thesis.

Enhancing human security through crisis management : opportunities and challenges for learning

Inhimilliseen turvallisuuteen kriisinhallinnan kautta – oppimisen mahdollisuuksia ja haasteita Kylmän sodan jälkeen aseelliset konfliktit ovat yleensä alkaneet niin sanotuissa hauraissa valtioissa ja köyhissä maissa, ne ovat olleet valtioiden sisäisiä ja niihin on osallistunut ei-valtiollisia aseellisia ryhmittymiä. Usein ne johtavat konfliktikierteeseen, jossa sota ja vakaammat olot vaihtelevat. Koska kuolleisuus konflikteissa voi jäädä alle kansainvälisen määritelmän (1000 kuollutta vuodessa), kutsun tällaisia konflikteja ”uusiksi konflikteiksi”. Kansainvälinen yhteisö on pyrkinyt kehittämään kriisinhallinnan ja rauhanrakentamisen malleja, jotta pysyvä rauhantila saataisiin aikaiseksi. Inhimillinen turvallisuus perustuu näkemykseen, jossa kunnioitetaan jokaisen yksilön ihmisoikeuksia ja jolla on vaikutusta myös kriisinhallinnan ja rauhanrakentamisen toteuttamiseen. Tutkimukseen kuuluu kaksi empiiristä osaa: Delfoi tulevaisuuspaneeliprosessin sekä kriisinhallintahenkilöstön haastattelut. Viisitoista eri alojen kriisinhallinta-asiantuntijaa osallistui paneeliin, joka toteutettiin vuonna 2008. Paneelin tulosten mukaan tulevat konfliktit usein ovat uusien konfliktien kaltaisia. Lisäksi kriisinhallintahenkilöstöltä edellytetään vuorovaikutus- ja kommunikaatiokykyä ja luonnollisesti myös varsinaisia ammatillisia valmiuksia. Tulevaisuuspaneeli korosti vuorovaikutus- ja kommunikaatiotaitoja erityisesti siviilikriisinhallintahenkilöstön kompetensseissa, mutta samat taidot painottuivat sotilaallisen kriisinhallinnan henkilöstön kompetensseissakin. Kriisinhallinnassa tarvitaan myös selvää työnjakoa eri toimijoiden kesken. Kosovossa työskennelleen henkilöstön haastatteluaineisto koostui yhteensä 27 teemahaastattelusta. Haastateltavista 9 oli ammattiupseeria, 10 reservistä rekrytoitua rauhanturvaajaa ja 8 siviilikriisinhallinnassa työskennellyttä henkilöä. Haastattelut toteutettiin helmi- ja kesäkuun välisenä aikana vuonna 2008. Haastattelutuloksissa korostui vuorovaikutus- ja kommunikaatiotaitojen merkitys, sillä monissa käytännön tilanteissa haastateltavat olivat ratkoneet ongelmia yhteistyössä muun kriisinhallintahenkilöstön tai paikallisten asukkaiden kanssa. Kriisinhallinnassa toteutui oppimisprosesseja, jotka usein olivat luonteeltaan myönteisiä ja informaalisia. Tällaisten onnistumisten vaikutus yksilön minäkuvaan oli myönteinen. Tällaisia prosesseja voidaan kuvata ”itseä koskeviksi oivalluksiksi”. Kriisinhallintatehtävissä oppimisella on erityinen merkitys, jos halutaan kehittää toimintoja inhimillisen turvallisuuden edistämiseksi. Siksi on tärkeää, että kriisinhallintakoulutusta ja kriisinhallintatyössä oppimista kehitetään ottamaan huomioon oppimisen eri tasot ja ulottuvuudet sekä niiden merkitys. Informaaliset oppimisen muodot olisi otettava paremmin huomioon kriisinhallintakoulutusta ja kriisinhallintatehtävissä oppimista kehitettäessä. Palautejärjestelmää olisi kehitettävä eri tavoin. Koko kriisinhallintaoperaation on saatava tarvittaessa myös kriittistä palautetta onnistumisista ja epäonnistumisista. Monet kriisinhallinnassa työskennelleet kaipaavat kunnollista palautetta työrupeamastaan. Liian rutiininomaiseksi koettu palaute ei edistä yksilön oppimista. Spontaanisti monet haastatellut pitivät tärkeänä, että kriisinhallinnassa työskennelleillä olisi mahdollisuus debriefing- tyyppiseen kotiinpaluukeskusteluun. Pelkkä tällainen mahdollisuus ilmeisesti voisi olla monelle myönteinen uutinen, vaikka tilaisuutta ei hyödynnettäisikään. Paluu kriisinhallintatehtävistä Suomeen on monelle haasteellisempaa kuin näissä tehtävissä työskentelyn aloittaminen ulkomailla. Tutkimuksen tulokset kannustavat tutkimaan kriisinhallintaa oppimisen näkökulmasta. On myös olennaista, että kriisinhallinnan palautejärjestelmiä kehitetään mahdollisimman hyvin edistämään sekä yksilöllistä että organisatorista oppimista kriisinhallinnassa. Kriisinhallintaoperaatio on oppimisympäristö. Kriisinhallintahenkilöstön kommunikaatio- ja vuorovaikutustaitojen kehittäminen on olennaista tavoiteltaessa kestävää rauhanprosessia, jossa konfliktialueen asukkaatkin ovat mukana.

International Partnering strategy for e-learning provider in emerging economies: Evidence from East Africa learning institutions

International partnership has received growing interest in the literature during the past decades due to globalization, increased technological approaches and rapid changes in competitive environments. The study specifically determines the support provided by international partners on promotion of e-learning in East Africa, assess the motives of partner selection criteria, the determinants of selecting partners, partner models and partner competence of e-learning provider. The study also evaluates obstacles of e-learning partnering strategy in East Africa learning institutions. The research adopts a descriptive survey design. Target population involved East Africa learning institutions with a list of potential institutions generated from the Ministry of Higher Education database. Through a targeted reduction of the initial database, consisting of all learning institutions, both public and private, the study created a target sample base of 200 learning institutions. Structured questionnaires scheduled were used to collect primary data. Study findings showed the approach way East African communities in selecting their e-learning partners depend on international reputation of partners, partner with ability to negotiate with foreign governments, partner with international and local experiences, nationality of foreign partner and partners with local market knowledge.

Adaptive Markov chain Monte Carlo and Bayesian filtering for state space models

This thesis is concerned with the state and parameter estimation in state space models. The estimation of states and parameters is an important task when mathematical modeling is applied to many different application areas such as the global positioning systems, target tracking, navigation, brain imaging, spread of infectious diseases, biological processes, telecommunications, audio signal processing, stochastic optimal control, machine learning, and physical systems. In Bayesian settings, the estimation of states or parameters amounts to computation of the posterior probability density function. Except for a very restricted number of models, it is impossible to compute this density function in a closed form. Hence, we need approximation methods. A state estimation problem involves estimating the states (latent variables) that are not directly observed in the output of the system. In this thesis, we use the Kalman filter, extended Kalman filter, Gauss–Hermite filters, and particle filters to estimate the states based on available measurements. Among these filters, particle filters are numerical methods for approximating the filtering distributions of non-linear non-Gaussian state space models via Monte Carlo. The performance of a particle filter heavily depends on the chosen importance distribution. For instance, inappropriate choice of the importance distribution can lead to the failure of convergence of the particle filter algorithm. In this thesis, we analyze the theoretical Lᵖ particle filter convergence with general importance distributions, where p ≥2 is an integer. A parameter estimation problem is considered with inferring the model parameters from measurements. For high-dimensional complex models, estimation of parameters can be done by Markov chain Monte Carlo (MCMC) methods. In its operation, the MCMC method requires the unnormalized posterior distribution of the parameters and a proposal distribution. In this thesis, we show how the posterior density function of the parameters of a state space model can be computed by filtering based methods, where the states are integrated out. This type of computation is then applied to estimate parameters of stochastic differential equations. Furthermore, we compute the partial derivatives of the log-posterior density function and use the hybrid Monte Carlo and scaled conjugate gradient methods to infer the parameters of stochastic differential equations. The computational efficiency of MCMC methods is highly depend on the chosen proposal distribution. A commonly used proposal distribution is Gaussian. In this kind of proposal, the covariance matrix must be well tuned. To tune it, adaptive MCMC methods can be used. In this thesis, we propose a new way of updating the covariance matrix using the variational Bayesian adaptive Kalman filter algorithm.

Sentence Compression with Supervised Machine Learning

The subject of the thesis is automatic sentence compression with machine learning, so that the compressed sentences remain both grammatical and retain their essential meaning. There are multiple possible uses for the compression of natural language sentences. In this thesis the focus is generation of television program subtitles, which often are compressed version of the original script of the program. The main part of the thesis consists of machine learning experiments for automatic sentence compression using different approaches to the problem. The machine learning methods used for this work are linear-chain conditional random fields and support vector machines. Also we take a look which automatic text analysis methods provide useful features for the task. The data used for machine learning is supplied by Lingsoft Inc. and consists of subtitles in both compressed an uncompressed form. The models are compared to a baseline system and comparisons are made both automatically and also using human evaluation, because of the potentially subjective nature of the output. The best result is achieved using a CRF - sequence classification using a rich feature set. All text analysis methods help classification and most useful method is morphological analysis. Tutkielman aihe on suomenkielisten lauseiden automaattinen tiivistäminen koneellisesti, niin että lyhennetyt lauseet säilyttävät olennaisen informaationsa ja pysyvät kieliopillisina. Luonnollisen kielen lauseiden tiivistämiselle on monta käyttötarkoitusta, mutta tässä tutkielmassa aihetta lähestytään television ohjelmien tekstittämisen kautta, johon käytännössä kuuluu alkuperäisen tekstin lyhentäminen televisioruudulle paremmin sopivaksi. Tutkielmassa kokeillaan erilaisia koneoppimismenetelmiä tekstin automaatiseen lyhentämiseen ja tarkastellaan miten hyvin erilaiset luonnollisen kielen analyysimenetelmät tuottavat informaatiota, joka auttaa näitä menetelmiä lyhentämään lauseita. Lisäksi tarkastellaan minkälainen lähestymistapa tuottaa parhaan lopputuloksen. Käytetyt koneoppimismenetelmät ovat tukivektorikone ja lineaarisen sekvenssin mallinen CRF. Koneoppimisen tukena käytetään tekstityksiä niiden eri käsittelyvaiheissa, jotka on saatu Lingsoft OY:ltä. Luotuja malleja vertaillaan Lopulta mallien lopputuloksia evaluoidaan automaattisesti ja koska teksti lopputuksena on jossain määrin subjektiivinen myös ihmisarviointiin perustuen. Vertailukohtana toimii kirjallisuudesta poimittu menetelmä. Tutkielman tuloksena paras lopputulos saadaan aikaan käyttäen CRF sekvenssi-luokittelijaa laajalla piirrejoukolla. Kaikki kokeillut teksin analyysimenetelmät auttavat luokittelussa, joista tärkeimmän panoksen antaa morfologinen analyysi.