New kernel functions and learning methods for text and data mining

Recent advances in machine learning methods enable increasingly the automatic construction of various types of computer assisted methods that have been difficult or laborious to program by human experts. The tasks for which this kind of tools are needed arise in many areas, here especially in the fields of bioinformatics and natural language processing. The machine learning methods may not work satisfactorily if they are not appropriately tailored to the task in question. However, their learning performance can often be improved by taking advantage of deeper insight of the application domain or the learning problem at hand. This thesis considers developing kernel-based learning algorithms incorporating this kind of prior knowledge of the task in question in an advantageous way. Moreover, computationally efficient algorithms for training the learning machines for specific tasks are presented. In the context of kernel-based learning methods, the incorporation of prior knowledge is often done by designing appropriate kernel functions. Another well-known way is to develop cost functions that fit to the task under consideration. For disambiguation tasks in natural language, we develop kernel functions that take account of the positional information and the mutual similarities of words. It is shown that the use of this information significantly improves the disambiguation performance of the learning machine. Further, we design a new cost function that is better suitable for the task of information retrieval and for more general ranking problems than the cost functions designed for regression and classification. We also consider other applications of the kernel-based learning algorithms such as text categorization, and pattern recognition in differential display. We develop computationally efficient algorithms for training the considered learning machines with the proposed kernel functions. We also design a fast cross-validation algorithm for regularized least-squares type of learning algorithm. Further, an efficient version of the regularized least-squares algorithm that can be used together with the new cost function for preference learning and ranking tasks is proposed. In summary, we demonstrate that the incorporation of prior knowledge is possible and beneficial, and novel advanced kernels and cost functions can be used in algorithms efficiently.

A Dependency Parsing Approach to Biomedical Text Mining

Biomedical research is currently facing a new type of challenge: an excess of information, both in terms of raw data from experiments and in the number of scientific publications describing their results. Mirroring the focus on data mining techniques to address the issues of structured data, there has recently been great interest in the development and application of text mining techniques to make more effective use of the knowledge contained in biomedical scientific publications, accessible only in the form of natural human language. This thesis describes research done in the broader scope of projects aiming to develop methods, tools and techniques for text mining tasks in general and for the biomedical domain in particular. The work described here involves more specifically the goal of extracting information from statements concerning relations of biomedical entities, such as protein-protein interactions. The approach taken is one using full parsing—syntactic analysis of the entire structure of sentences—and machine learning, aiming to develop reliable methods that can further be generalized to apply also to other domains. The five papers at the core of this thesis describe research on a number of distinct but related topics in text mining. In the first of these studies, we assessed the applicability of two popular general English parsers to biomedical text mining and, finding their performance limited, identified several specific challenges to accurate parsing of domain text. In a follow-up study focusing on parsing issues related to specialized domain terminology, we evaluated three lexical adaptation methods. We found that the accurate resolution of unknown words can considerably improve parsing performance and introduced a domain-adapted parser that reduced the error rate of theoriginal by 10% while also roughly halving parsing time. To establish the relative merits of parsers that differ in the applied formalisms and the representation given to their syntactic analyses, we have also developed evaluation methodology, considering different approaches to establishing comparable dependency-based evaluation results. We introduced a methodology for creating highly accurate conversions between different parse representations, demonstrating the feasibility of unification of idiverse syntactic schemes under a shared, application-oriented representation. In addition to allowing formalism-neutral evaluation, we argue that such unification can also increase the value of parsers for domain text mining. As a further step in this direction, we analysed the characteristics of publicly available biomedical corpora annotated for protein-protein interactions and created tools for converting them into a shared form, thus contributing also to the unification of text mining resources. The introduced unified corpora allowed us to perform a task-oriented comparative evaluation of biomedical text mining corpora. This evaluation established clear limits on the comparability of results for text mining methods evaluated on different resources, prompting further efforts toward standardization. To support this and other research, we have also designed and annotated BioInfer, the first domain corpus of its size combining annotation of syntax and biomedical entities with a detailed annotation of their relationships. The corpus represents a major design and development effort of the research group, with manual annotation that identifies over 6000 entities, 2500 relationships and 28,000 syntactic dependencies in 1100 sentences. In addition to combining these key annotations for a single set of sentences, BioInfer was also the first domain resource to introduce a representation of entity relations that is supported by ontologies and able to capture complex, structured relationships. Part I of this thesis presents a summary of this research in the broader context of a text mining system, and Part II contains reprints of the five included publications.

Opinion Mining

In this thesis we study the field of opinion mining by giving a comprehensive review of the available research that has been done in this topic. Also using this available knowledge we present a case study of a multilevel opinion mining system for a student organization's sales management system. We describe the field of opinion mining by discussing its historical roots, its motivations and applications as well as the different scientific approaches that have been used to solve this challenging problem of mining opinions. To deal with this huge subfield of natural language processing, we first give an abstraction of the problem of opinion mining and describe the theoretical frameworks that are available for dealing with appraisal language. Then we discuss the relation between opinion mining and computational linguistics which is a crucial pre-processing step for the accuracy of the subsequent steps of opinion mining. The second part of our thesis deals with the semantics of opinions where we describe the different ways used to collect lists of opinion words as well as the methods and techniques available for extracting knowledge from opinions present in unstructured textual data. In the part about collecting lists of opinion words we describe manual, semi manual and automatic ways to do so and give a review of the available lists that are used as gold standards in opinion mining research. For the methods and techniques of opinion mining we divide the task into three levels that are the document, sentence and feature level. The techniques that are presented in the document and sentence level are divided into supervised and unsupervised approaches that are used to determine the subjectivity and polarity of texts and sentences at these levels of analysis. At the feature level we give a description of the techniques available for finding the opinion targets, the polarity of the opinions about these opinion targets and the opinion holders. Also at the feature level we discuss the various ways to summarize and visualize the results of this level of analysis. In the third part of our thesis we present a case study of a sales management system that uses free form text and that can benefit from an opinion mining system. Using the knowledge gathered in the review of this field we provide a theoretical multi level opinion mining system (MLOM) that can perform most of the tasks needed from an opinion mining system. Based on the previous research we give some hints that many of the laborious market research tasks that are done by the sales force, which uses this sales management system, can improve their insight about their partners and by that increase the quality of their sales services and their overall results.

Environmental policy instruments concerning industrial end-use energy efficiency

Energy efficiency and saving energy are the main question marks when thinking of reducing carbon dioxide emissions or cutting costs. The objective of thesis is to evaluate policy instruments concerning end-use energy efficiency of heavy industry in European Union. These policy instruments may be divided in various ways, but in this thesis the division is to administrative, financial, informative and voluntary instruments. Administrative instruments introduced in this thesis are Directive on Integrated Pollution Prevention and Control, Directive on Energy End-use Efficiency and Energy Services, and Climate and Energy Package. Financial means include energy and emission taxation, EU Emission Trading Scheme and diverse support systems. Informative instruments consist of horizontal BAT Reference Document for Energy Efficiency, as well as substantial EU documents including Green Paper on Energy Efficiency, Action Plan for Energy Efficiency and An Energy Policy for Europe. And finally, voluntary instruments include environmental managements systems like ISO 14001 and EMAS, energy auditing and benchmarking. The efficiency of different policy instruments vary quite a lot. Informative instruments lack the commitment from industry and are thus almost ineffective, contrary to EU Emission Trading Scheme, which is said to be the solution to climate problems. The efficiency of administrative means can be placed between those mentioned and voluntary instruments are still quite fresh to be examined fruitfully. However, each instrument has their potential and challenges. Cases from corporate world strengthen the results from theoretical part. Cases were written mainly on the basis of interviews. The interviewees praised the energy efficiency contract of Finnish industry, but the EU ETS takes the leading role of policy instruments. However, for industry the reductions do not come easily.

Maritime Safety in the Gulf of Finland. Review on Policy Instruments

Suomenlahden lisääntynyt meriliikenne on herättänyt huolta meriliikenteen turvallisuuden tasosta, ja erityisesti Venäjän öljyviennin kasvu on lisännyt öljyonnettomuuden todennäköisyyttä Suomenlahdella. Erilaiset kansainväliset, alueelliset ja kansalliset ohjauskeinot pyrkivät vähentämään merionnettomuuden riskiä ja meriliikenteen muita haittavaikutuksia. Tämä raportti käsittelee meriturvallisuuden yhteiskunnallisia ohjauskeinoja: ohjauskeinoja yleisellä tasolla, meriturvallisuuden keskeisimpiä säätelijöitä, meriturvallisuuden ohjauskeinoja ja meriturvallisuuspolitiikan tulevaisuuden näkymiä, ohjauskeinojen tehokkuutta ja nykyisen meriturvallisuuden ohjausjärjestelmän heikkouksia. Raportti on kirjallisuuskatsaus meriturvallisuuden yhteiskunnalliseen sääntelyn rakenteeseen ja tilaan erityisesti Suomenlahden meriliikenteen näkökulmasta. Raportti on osa tutkimusprojektia ”SAFGOF - Suomenlahden meriliikenteen kasvunäkymät 2007 - 2015 ja kasvun vaikutukset ympäristölle ja kuljetusketjujen toimintaan” ja sen työpakettia 6 ”Keskeisimmät riskit ja yhteiskunnalliset vaikutuskeinot”. Yhteiskunnalliset ohjauskeinot voidaan ryhmitellä hallinnollisiin, taloudellisiin ja tietoohjaukseen perustuviin ohjauskeinoihin. Meriturvallisuuden edistämisessä käytetään kaikkia näitä, mutta hallinnolliset ohjauskeinot ovat tärkeimmässä asemassa. Merenkulun kansainvälisen luonteen vuoksi meriturvallisuuden sääntely tapahtuu pääosin kansainvälisellä tasolla YK:n ja erityisesti Kansainvälisen merenkulkujärjestön (IMO) toimesta. Lisäksi myös Euroopan Unionilla on omaa meriturvallisuuteen liittyvää sääntelyä ja on myös olemassa muita alueellisia meriturvallisuuden edistämiseen liittyviä elimiä kuten HELCOM. Joitakin meriturvallisuuden osa-alueita säädellään myös kansallisella tasolla. Hallinnolliset meriturvallisuuden ohjauskeinot sisältävät aluksen rakenteisiin ja varustukseen, alusten kunnon valvontaan, merimiehiin ja merityön tekemiseen sekä navigointiin liittyviä ohjauskeinoja. Taloudellisiin ohjauskeinoihin kuuluvat esimerkiksi väylä- ja satamamaksut, merivakuutukset, P&I klubit, vastuullisuus- ja korvauskysymykset sekä taloudelliset kannustimet. Taloudellisten ohjauskeinojen käyttö meriturvallisuuden edistämiseen on melko vähäistä verrattuna hallinnollisten ohjauskeinojen käyttöön, mutta niitä voitaisiin varmasti käyttää enemmänkin. Ongelmana taloudellisten ohjauskeinojen käytössä on se, että ne kuuluvat pitkälti kansallisen sääntelyn piiriin, joten alueellisten tai kansainvälisten intressien edistäminen taloudellisilla ohjauskeinoilla voi olla hankalaa. Tieto-ohjaus perustuu toimijoiden vapaaehtoisuuteen ja yleisen tiedotuksen lisäksi tieto-ohjaukseen sisältyy esimerkiksi vapaaehtoinen koulutus, sertifiointi tai meriturvallisuuden edistämiseen tähtäävät palkinnot. Poliittisella tasolla meriliikenteen aiheuttamat turvallisuusriskit Suomenlahdella on otettu vakavasti ja paljon työtä tehdään eri tahoilla riskien minimoimiseksi. Uutta sääntelyä on odotettavissa etenkin liittyen meriliikenteen ympäristövaikutuksiin ja meriliikenteen ohjaukseen kuten meriliikenteen sähköisiin seurantajärjestelmiin. Myös inhimilliseen tekijän merkitykseen meriturvallisuuden kehittämisessä on kiinnitetty lisääntyvissä määrin huomiota, mutta inhimilliseen tekijän osalta tehokkaiden ohjauskeinojen kehittäminen näyttää olevan haasteellista. Yleisimmin lääkkeeksi esitetään koulutuksen kehittämistä. Kirjallisuudessa esitettyjen kriteereiden mukaan tehokkaiden ohjauskeinojen tulisi täyttää seuraavat vaatimukset: 1) tarkoituksenmukaisuus – ohjauskeinojen täytyy olla sopivia asetetun tavoitteen saavuttamiseen, 2) taloudellinen tehokkuus – ohjauskeinon hyödyt vs. kustannukset tulisi olla tasapainossa, 3) hyväksyttävyys – ohjauskeinon täytyy olla hyväksyttävä asianosaisten ja myös laajemman yhteiskunnan näkökulmasta katsottuna, 4) toimeenpano – ohjauskeinon toimeenpanon pitää olla mahdollista ja sen noudattamista täytyy pystyä valvomaan, 5) lateraaliset vaikutukset – hyvällä ohjauskeinolla on positiivisia seurannaisvaikutuksia muutoinkin kuin vain ohjauskeinon ensisijaisten tavoitteiden saavuttaminen, 6) kannustin ja uuden luominen – hyvä ohjauskeino kannustaa kokeilemaan uusia ratkaisuja ja kehittämään toimintaa. Meriturvallisuutta koskevaa sääntelyä on paljon ja yleisesti ottaen merionnettomuuksien lukumäärä on ollut laskeva viime vuosikymmenien aikana. Suuri osa sääntelystä on ollut tehokasta ja parantanut turvallisuuden tasoa maailman merillä. Silti merionnettomuuksia ja muita vaarallisia tapahtumia sattuu edelleen. Nykyistä sääntelyjärjestelmää voidaan kritisoida monen asian suhteen. Kansainvälisen sääntelyn aikaansaaminen ei ole helppoa: prosessi on yleensä hidas ja tuloksena voi olla kompromissien kompromissi. Kansainvälinen sääntely on yleensä reaktiivista eli ongelmakohtiin puututaan vasta kun jokin onnettomuus tapahtuu sen sijaan että se olisi proaktiivista ja pyrkisi puuttumaan ongelmakohtiin jo ennen kuin jotain tapahtuu. IMO:n työskentely perustuu kansallisvaltioiden osallistumiseen ja sääntelyn toimeenpano tapahtuu lippuvaltioiden toimesta. Kansallisvaltiot ajavat IMO:ssa pääasiallisesti omia intressejään ja sääntelyn toimeenpanossa on suuria eroja lippuvaltioiden välillä. IMO:n kyvyttömyys puuttua havaittuihin ongelmiin nopeasti ja ottaa sääntelyssä huomioon paikallisia olosuhteita on johtanut siihen, että esimerkiksi Euroopan Unioni on alkanut itse säädellä meriturvallisuutta ja että on olemassa sellaisia alueellisia erityisjärjestelyjä kuin PSSA (particularly sensitive sea area – erityisen herkkä merialue). Merenkulkualalla toimii monenlaisia yrityksiä: toisaalta yrityksiä, jotka pyrkivät toimimaan turvallisesti ja kehittämään turvallisuutta vielä korkeammalle tasolle, ja toisaalta yrityksiä, jotka toimivat niin halvalla kuin mahdollista, eivät välitä turvallisuusseikoista, ja joilla usein on monimutkaiset ja epämääräiset omistusolosuhteet ja joita vahingon sattuessa on vaikea saada vastuuseen. Ongelma on, että kansainvälisellä merenkulkualalla kaikkien yritysten on toimittava samoilla markkinoilla. Vastuuttomien yritysten toiminnan mahdollistavat laivaajat ja muut alan toimijat, jotka suostuvat tekemään yhteistyötä niiden kanssa. Välinpitämätön suhtautuminen turvallisuuteen johtuu osaksi myös merenkulun vanhoillisesta turvallisuuskulttuurista. Verrattaessa meriturvallisuuden sääntelyjärjestelmää kokonaisuutena tehokkaiden ohjauskeinoihin kriteereihin, voidaan todeta, että monien kriteerien osalta nykyistä järjestelmää voidaan pitää tehokkaana ja onnistuneena. Suurimmat ongelmat lienevät sääntelyn toimeenpanossa ja ohjauskeinojen kustannustehokkuudessa. Lippuvaltioiden toimeenpanoon perustuva järjestelmä ei toimi toivotulla tavalla, josta mukavuuslippujen olemassa olo on selvin merkki. Ohjauskeinojen, sekä yksittäisten ohjauskeinojen että vertailtaessa eri ohjauskeinoja keskenään, kustannustehokkuutta on usein vaikea arvioida, minkä seurauksena ohjauskeinojen kustannustehokkuudesta ei ole saatavissa luotettavaa tietoa ja tuloksena voi olla, että ohjauskeino on käytännössä pienen riskin eliminoimista korkealla kustannuksella. Kansainvälisen tason meriturvallisuus- (ja merenkulku-) politiikan menettelytavoiksi on ehdotettu myös muita vaihtoehtoja kuin nykyinen järjestelmä, esimerkiksi monitasoista tai polysentristä hallintojärjestelmää. Monitasoisella hallintojärjestelmällä tarkoitetaan järjestelmää, jossa keskushallinto on hajautettu sekä vertikaalisesti alueellisille tasoille että horisontaalisesti ei-valtiollisille toimijoille. Polysentrinen hallintojärjestelmä menee vielä askeleen pidemmälle. Polysentrinen hallintojärjestelmä on hallintotapa, jonka puitteissa kaikentyyppiset toimijat, sekä yksityiset että julkiset, voivat osallistua hallintoon, siis esimerkiksi hallitukset, edunvalvontajärjestöt, kaupalliset yritykset jne. Kansainvälinen lainsäädäntö määrittelee yleiset tasot, mutta konkreettiset toimenpiteet voidaan päättää paikallisella tasolla eri toimijoiden välisessä yhteistyössä. Tämän tyyppisissä hallintojärjestelmissä merenkulkualan todellinen, kansainvälinen mutta toisaalta paikallinen, toimintaympäristö tulisi otetuksi paremmin huomioon kuin järjestelmässä, joka perustuu kansallisvaltioiden keskenään yhteistyössä tekemään sääntelyyn. Tällainen muutos meriturvallisuuden hallinnassa vaatisi kuitenkin suurta periaatteellista suunnanmuutosta, jollaisen toteutumista ei voi pitää kovin todennäköisenä ainakaan lyhyellä tähtäimellä.

Analysis of patterns in mining time series using Qlucore

Raw measurement data does not always immediately convey useful information, but applying mathematical statistical analysis tools into measurement data can improve the situation. Data analysis can offer benefits like acquiring meaningful insight from the dataset, basing critical decisions on the findings, and ruling out human bias through proper statistical treatment. In this thesis we analyze data from an industrial mineral processing plant with the aim of studying the possibility of forecasting the quality of the final product, given by one variable, with a model based on the other variables. For the study mathematical tools like Qlucore Omics Explorer (QOE) and Sparse Bayesian regression (SB) are used. Later on, linear regression is used to build a model based on a subset of variables that seem to have most significant weights in the SB model. The results obtained from QOE show that the variable representing the desired final product does not correlate with other variables. For SB and linear regression, the results show that both SB and linear regression models built on 1-day averaged data seriously underestimate the variance of true data, whereas the two models built on 1-month averaged data are reliable and able to explain a larger proportion of variability in the available data, making them suitable for prediction purposes. However, it is concluded that no single model can fit well the whole available dataset and therefore, it is proposed for future work to make piecewise non linear regression models if the same available dataset is used, or the plant to provide another dataset that should be collected in a more systematic fashion than the present data for further analysis.

Kotimainen ekskursio public policy -teeman kysymyksiin

Kirjallisuusarvostelu

Changing family institution challenges family policy making in Estonia

Artikkeli perustuu Edistyksen Päivillä Turussa 11.10.2008 pidettyyn esitelmään.

Mining in Developing Countries: A Case Study of Sustainability Challenges

Mining has severe impacts on its surrounding. Particularly in the developing countries it has degraded the environment and signigicantly altered the socio-economical dynamics of the hosts. Especially relocation disrupts people from their homes, livelihoods, cultures and social activities. Mining industry has failed to develop the local host and streghten its governance structures; instead it has further degraded the development of mineral rich third world countries, which are among the world poorest ones. Cash flows derived from mining companies have not benefitted the crass-root level that however, bears most of the detrimental impacts. Especially if the governance structure of the host is weak, the sudden wealth is likely to accelerate disparities, corruption and even fuel wars. Environmental degradation, miscommunication, mistrust and disputes over land use have created conflicts between the communities and a mining company in Obuasi, Ghana; a case study of this thesis. The disputes are deeply rooted and further fuelled by unrealistic expectations and broken promises. The relations with artisanal and illegal miners have been especially troublesome. Illegal activities, mainly encroachment of the land and assets of the mine, such as vandalising tailings pipes have resulted in profits losses, environmental degradation and security hazards. All challenges mentioned above have to be addressed locally with site-specific solutions. It is vital to increase two-way communication, initiate collaboration and build capacity of the stakeholders such as local communities, NGOs and governance authorities. The locals must be engaged to create livelihood opportunities that are designed with and for them. Capacity can also be strengthened through education and skills training, such as women’s literacy programs. In order to diminish the overdependence of locals to the mine, the activities have to be self -sufficient and able to survive without external financial and managerial inputs. Additionally adequate and fair compensation practises and dispute resolution methods that are understood and accepted by all parties have to be agreed on as early as possible.

The determination of EONIA rate: The impact of the financial crisis and the effects of the changes in the monetary policy implementation framework

EONIA is a market based overnight interest rate, whose role as the starting point of the yield curve makes it critical from the perspective of the implementation of European Central Bank´s common monetary policy in the euro area. The financial crisis that started in 2007 had a large impact on the determination mechanism of this interest rate, which is considered as the central bank´s operational target. This thesis examines the monetary policy implementation framework of the European Central Bank and changes made to it. Furthermore, we discuss the development of the recent turmoil in the money market. EONIA rate is modelled by means of a regression equation using variables related to liquidity conditions, refinancing need, auction results and calendar effects. Conditional volatility is captured by an EGARCH model, and autocorrelation is taken into account by employing an autoregressive structure. The results highlight how the tensions in the initial stage of the market turmoil were successfully countered by ECB´s liquidity policy. The subsequent response of EONIA to liquidity conditions under the full allotment liquidity provision procedure adopted after the demise of Lehman Brothers is also established. A clear distinction in the behavior of the interest rate between the sub-periods was evident. In the light of the results obtained, some of the challenges posed by the exit-strategy implementation will be addressed.