Ranking RegionalInnovation Policies: DEA-based Benchmarking in an European Setting

Seudullinen innovaatio on monimutkainen ilmiö, joka usein sijaitsee paikallisten toimijoiden keskinäisen vuorovaikutuksen kentässä. Täten sitä on perinteisesti pidetty vaikeasti mitattavana ilmiönä. Työssä sovellettiin Data Envelopment Analysis menetelmää, joka on osoittautunut aiemmin menestyksekkääksi tapauksissa, joissa mitattavien syötteiden ja tuotteiden väliset suhteet eivät ole olleet ilmeisiä. Työssä luotiin konseptuaalinen malli seudullisen innovaation syötteistä ja tuotteista, jonka perusteella valittiin 12 tilastollisen muuttujan mittaristo. Käyttäen Eurostat:ia datalähteenä, lähdedata kahdeksaan muuttujsta saatiin seudullisella tasolla, sekä mittaristoa täydennettiin yhdellä kansallisella muuttujalla. Arviointi suoritettiin lopulta 45 eurooppalaiselle seudulle. Tutkimuksen painopiste oli arvioida DEA-menetelmän soveltuvuutta innovaatio-järjestelmän mittaamiseen, sillä menetelmää ei ole aiemmin sovellettu vastaavassa tapauksessa. Ensimmäiset tulokset osoittivat ylipäätään liiallisen korkeita tehok-kuuslukuja. Korjaustoimenpiteitä erottelutarkkuuden parantamiseksi esiteltiin ja sovellettiin, jonka jälkeen saatiin realistisempia tuloksia ja ranking-lista arvioitavista seuduista. DEA-menetelmän todettiin olevan tehokas ja kiinnostava työkalu arviointikäytäntöjen ja innovaatiopolitiikan kehittämiseen, sikäli kun datan saatavuusongelmat saadaan ratkaistua sekä itse mallia tarkennettua.

Ranking Regional Innovation Policies: DEA-based Benchmarking in an European Setting

Seudullinen innovaatio on monimutkainen ilmiö, joka usein sijaitsee paikallisten toimijoiden keskinäisen vuorovaikutuksen kentässä. Täten sitä on perinteisesti pidetty vaikeasti mitattavana ilmiönä. Työssä sovellettiin Data Envelopment Analysis menetelmää, joka on osoittautunut aiemmin menestyksekkääksi tapauksissa, joissa mitattavien syötteiden ja tuotteiden väliset suhteet eivät ole olleet ilmeisiä. Työssä luotiin konseptuaalinen malli seudullisen innovaation syötteistä ja tuotteista, jonka perusteella valittiin 12 tilastollisen muuttujan mittaristo. Käyttäen Eurostat:ia datalähteenä, lähdedata kahdeksaan muuttujsta saatiin seudullisella tasolla, sekä mittaristoa täydennettiin yhdellä kansallisella muuttujalla. Arviointi suoritettiin lopulta 45 eurooppalaiselle seudulle. Tutkimuksen painopiste oli arvioida DEA-menetelmän soveltuvuutta innovaatiojärjestelmän mittaamiseen, sillä menetelmää ei ole aiemmin sovellettu vastaavassa tapauksessa. Ensimmäiset tulokset osoittivat ylipäätään liiallisen korkeita tehokkuuslukuja. Korjaustoimenpiteitä erottelutarkkuuden parantamiseksi esiteltiin ja sovellettiin, jonka jälkeen saatiin realistisempia tuloksia ja ranking-lista arvioitavista seuduista. DEA-menetelmän todettiin olevan tehokas ja kiinnostava työkalu arviointikäytäntöjen ja innovaatiopolitiikan kehittämiseen, sikäli kun datan saatavuusongelmat saadaan ratkaistua sekä itse mallia tarkennettua.

Ranking-Dominance Relation for (Evolutionary) Multi-Objective Optimization

An alternative relation to Pareto-dominance relation is proposed. The new relation is based on ranking a set of solutions according to each separate objective and an aggregation function to calculate a scalar fitness value for each solution. The relation is called as ranking-dominance and it tries to tackle the curse of dimensionality commonly observedin evolutionary multi-objective optimization. Ranking-dominance can beused to sort a set of solutions even for a large number of objectives when Pareto-dominance relation cannot distinguish solutions from one another anymore. This permits search to advance even with a large number of objectives. It is also shown that ranking-dominance does not violate Pareto-dominance. Results indicate that selection based on ranking-dominance is able to advance search towards the Pareto-front in some cases, where selection based on Pareto-dominance stagnates. However, in some cases it is also possible that search does not proceed into direction of Pareto-front because the ranking-dominance relation permits deterioration of individual objectives. Results also show that when the number of objectives increases, selection based on just Pareto-dominance without diversity maintenance is able to advance search better than with diversity maintenance. Therefore, diversity maintenance is connive at the curse of dimensionality.

Kernel-Based Ranking. Methods for Learning and Performance Estimation

Machine learning provides tools for automated construction of predictive models in data intensive areas of engineering and science. The family of regularized kernel methods have in the recent years become one of the mainstream approaches to machine learning, due to a number of advantages the methods share. The approach provides theoretically well-founded solutions to the problems of under- and overfitting, allows learning from structured data, and has been empirically demonstrated to yield high predictive performance on a wide range of application domains. Historically, the problems of classification and regression have gained the majority of attention in the field. In this thesis we focus on another type of learning problem, that of learning to rank. In learning to rank, the aim is from a set of past observations to learn a ranking function that can order new objects according to how well they match some underlying criterion of goodness. As an important special case of the setting, we can recover the bipartite ranking problem, corresponding to maximizing the area under the ROC curve (AUC) in binary classification. Ranking applications appear in a large variety of settings, examples encountered in this thesis include document retrieval in web search, recommender systems, information extraction and automated parsing of natural language. We consider the pairwise approach to learning to rank, where ranking models are learned by minimizing the expected probability of ranking any two randomly drawn test examples incorrectly. The development of computationally efficient kernel methods, based on this approach, has in the past proven to be challenging. Moreover, it is not clear what techniques for estimating the predictive performance of learned models are the most reliable in the ranking setting, and how the techniques can be implemented efficiently. The contributions of this thesis are as follows. First, we develop RankRLS, a computationally efficient kernel method for learning to rank, that is based on minimizing a regularized pairwise least-squares loss. In addition to training methods, we introduce a variety of algorithms for tasks such as model selection, multi-output learning, and cross-validation, based on computational shortcuts from matrix algebra. Second, we improve the fastest known training method for the linear version of the RankSVM algorithm, which is one of the most well established methods for learning to rank. Third, we study the combination of the empirical kernel map and reduced set approximation, which allows the large-scale training of kernel machines using linear solvers, and propose computationally efficient solutions to cross-validation when using the approach. Next, we explore the problem of reliable cross-validation when using AUC as a performance criterion, through an extensive simulation study. We demonstrate that the proposed leave-pair-out cross-validation approach leads to more reliable performance estimation than commonly used alternative approaches. Finally, we present a case study on applying machine learning to information extraction from biomedical literature, which combines several of the approaches considered in the thesis. The thesis is divided into two parts. Part I provides the background for the research work and summarizes the most central results, Part II consists of the five original research articles that are the main contribution of this thesis.