Sentence Compression with Supervised Machine Learning

The subject of the thesis is automatic sentence compression with machine learning, so that the compressed sentences remain both grammatical and retain their essential meaning. There are multiple possible uses for the compression of natural language sentences. In this thesis the focus is generation of television program subtitles, which often are compressed version of the original script of the program. The main part of the thesis consists of machine learning experiments for automatic sentence compression using different approaches to the problem. The machine learning methods used for this work are linear-chain conditional random fields and support vector machines. Also we take a look which automatic text analysis methods provide useful features for the task. The data used for machine learning is supplied by Lingsoft Inc. and consists of subtitles in both compressed an uncompressed form. The models are compared to a baseline system and comparisons are made both automatically and also using human evaluation, because of the potentially subjective nature of the output. The best result is achieved using a CRF - sequence classification using a rich feature set. All text analysis methods help classification and most useful method is morphological analysis. Tutkielman aihe on suomenkielisten lauseiden automaattinen tiivistäminen koneellisesti, niin että lyhennetyt lauseet säilyttävät olennaisen informaationsa ja pysyvät kieliopillisina. Luonnollisen kielen lauseiden tiivistämiselle on monta käyttötarkoitusta, mutta tässä tutkielmassa aihetta lähestytään television ohjelmien tekstittämisen kautta, johon käytännössä kuuluu alkuperäisen tekstin lyhentäminen televisioruudulle paremmin sopivaksi. Tutkielmassa kokeillaan erilaisia koneoppimismenetelmiä tekstin automaatiseen lyhentämiseen ja tarkastellaan miten hyvin erilaiset luonnollisen kielen analyysimenetelmät tuottavat informaatiota, joka auttaa näitä menetelmiä lyhentämään lauseita. Lisäksi tarkastellaan minkälainen lähestymistapa tuottaa parhaan lopputuloksen. Käytetyt koneoppimismenetelmät ovat tukivektorikone ja lineaarisen sekvenssin mallinen CRF. Koneoppimisen tukena käytetään tekstityksiä niiden eri käsittelyvaiheissa, jotka on saatu Lingsoft OY:ltä. Luotuja malleja vertaillaan Lopulta mallien lopputuloksia evaluoidaan automaattisesti ja koska teksti lopputuksena on jossain määrin subjektiivinen myös ihmisarviointiin perustuen. Vertailukohtana toimii kirjallisuudesta poimittu menetelmä. Tutkielman tuloksena paras lopputulos saadaan aikaan käyttäen CRF sekvenssi-luokittelijaa laajalla piirrejoukolla. Kaikki kokeillut teksin analyysimenetelmät auttavat luokittelussa, joista tärkeimmän panoksen antaa morfologinen analyysi.

Adaptive Markov chain Monte Carlo and Bayesian filtering for state space models

This thesis is concerned with the state and parameter estimation in state space models. The estimation of states and parameters is an important task when mathematical modeling is applied to many different application areas such as the global positioning systems, target tracking, navigation, brain imaging, spread of infectious diseases, biological processes, telecommunications, audio signal processing, stochastic optimal control, machine learning, and physical systems. In Bayesian settings, the estimation of states or parameters amounts to computation of the posterior probability density function. Except for a very restricted number of models, it is impossible to compute this density function in a closed form. Hence, we need approximation methods. A state estimation problem involves estimating the states (latent variables) that are not directly observed in the output of the system. In this thesis, we use the Kalman filter, extended Kalman filter, Gauss–Hermite filters, and particle filters to estimate the states based on available measurements. Among these filters, particle filters are numerical methods for approximating the filtering distributions of non-linear non-Gaussian state space models via Monte Carlo. The performance of a particle filter heavily depends on the chosen importance distribution. For instance, inappropriate choice of the importance distribution can lead to the failure of convergence of the particle filter algorithm. In this thesis, we analyze the theoretical Lᵖ particle filter convergence with general importance distributions, where p ≥2 is an integer. A parameter estimation problem is considered with inferring the model parameters from measurements. For high-dimensional complex models, estimation of parameters can be done by Markov chain Monte Carlo (MCMC) methods. In its operation, the MCMC method requires the unnormalized posterior distribution of the parameters and a proposal distribution. In this thesis, we show how the posterior density function of the parameters of a state space model can be computed by filtering based methods, where the states are integrated out. This type of computation is then applied to estimate parameters of stochastic differential equations. Furthermore, we compute the partial derivatives of the log-posterior density function and use the hybrid Monte Carlo and scaled conjugate gradient methods to infer the parameters of stochastic differential equations. The computational efficiency of MCMC methods is highly depend on the chosen proposal distribution. A commonly used proposal distribution is Gaussian. In this kind of proposal, the covariance matrix must be well tuned. To tune it, adaptive MCMC methods can be used. In this thesis, we propose a new way of updating the covariance matrix using the variational Bayesian adaptive Kalman filter algorithm.

Detection of bovine foetal DNA from amniotic fluid using the polymerase chain reaction

Selostus: Sikiön DNA:n tunnistaminen naudan sikiövedestä polymeraasiketjureaktion avulla

The transfer of 137Cs through the soil-plant-sheep food chain in different pasture ecosystems

Selostus: Radiocesiumin kulkeutuminen eri laidunekosysteemien maa-ruoho-lammas -ravintoketjussa

Universally primed polymerase chain reaction analysis of Fusarium avenaceum isolated from wheat and barley in Finland

Selostus: Vehnästä ja ohrasta eristettyjen F. avenaceum -punahomekantojen analysointi UP-PCR-menetelmällä

Optimizing the supply chain strategy of a multi-unit Finnish nursery company

Abstract

Smooth height/age curves from stem analysis with linear programming

[Abstract]

Linear prediction application for modelling the relationships between a large number of stand characteristics of Norway spruce stands

Abstract

Item master management in the engineer-to-order supply chain

Diplomityöntavoitteena on tutkia, kuinka nimiketiedon hallinnalla voidaan parantaa kustannustehokkuutta projektiohjautuvassa toimitusketjussa. Työn kohdeyritys on Konecranes Oyj:n tytäryhtiö Konecranes Heavy Lifting Oy. Nimiketiedon hallinta liittyy läheisesti tuotetiedon hallintaan. Teoriaosassa käsitellään toimitusketjuympäristön tekijöitä, modulaarisuuden ja asiakaskohtaisuuden ongelmallisuutta sekä informaatiovirran vaikutuksia eri toiminnoissa. Yritysosassa vertaillaan konsernitason kahta liiketoiminta-aluetta strategiavalintojen, tuotteiden modulaarisuuden sekä tilaus-toimitusprosessissa liikkuvan nimikeinformaation perusteella. Diplomityön tuloksena annetaan suuntaviivat; nimikemassan eheytykseen, strategisten nimikkeiden tunnistamiseen ja määrittämiseen, nimikkeiden hallintaan sekä master-datan sijoittamiseen tietojärjestelmäympäristöön.

Developing Service Promise Concept Based on Supply Chain

Diplomityön tavoitteena on analysoida ja kehittää palvelulupauskonseptia toimitusketjuun perustuen Halton Oy:ssä. Työ toteutettiin, koska asiakaslähtöinen liiketoimintatapa on voimakkaasti valtaamassa alaa tuote- ja tuotantopainotteiselta toimintatavalta. Tuotteiden erinomaisuus koetaan markkinoilla yhä useammin itsestään selvyytenä. Prosessien tehokas hallitseminen ja asiakkaan kokeman lisäarvon muodostaminen ovat muodostuneet ratkaisevimmaksi kilpailuedun luojaksi. Toimitusketjun hallinnalla ja sähköisellä kaupankäynnillä on tärkeä rooli tämän kilpailuedun muodostumisessa.Diplomityö käsittelee uuden palvelulupauskonseptin tarjoamia etuja Halton Oy:lle. Työssä pureudutaan toimitusketjun ja sähköisen kaupankäynnin integraatiomahdollisuuksiin. Tarkoituksena on selvittää parhaat mahdolliset kriteerit Haltonin palvelulupauskonseptilleja luoda menetelmät yrityksen materiaalivirtojen sekä uuden konseptin analysoinnille ja kehittämiselle jatkossa.

Determination of the critical activities of a public-private intermediary organization with the help of value chain analysis

Tämän diplomityön tavoitteena oli selvittää arvoketjuanalyysin avulla toiminnot, joilla voittoatavoittelemattoman, julkisen osakeyhtiön toimintaa voitaisiin kuvata. Tarkoituksena oli selvittää mainitut toiminnot yleisesti ja luoda malli kohdeyrityksen arvoketjusta ja sen toiminnoista. Tutkielma jakautuu teoreettiseen ja empiiriseen osaan. Ensimmäinen pohjautuu aikaisempaan tutkimukseen ja kirjallisuuteen sidosryhmistä, arvon muodostumisesta ja arvoketjuanalyysistä. Jälkimmäinen on laadullista tapaustutkimusta. Empiriassa mallinnettiin Lappeenranta Innovation Oy:nsisäisiä toimintoja ja sidosryhmien odotuksia. Empiirinen tutkimus perustui kohdeyrityksen omistajille ja henkilöstölle tehtyihin haastatteluihin sekä yrityksen toiminnan päivittäiseen seurantaan. Johtopäätöksenätodettiin, että julkisen, voittoa tavoittelemattoman yrityksen toiminnot on mahdollista kuvata arvoketjuanalyysin avulla. Alan ja yrityksen asettamat erityispiirteet toivat haasteita määrittelylle, mutta silti arvoketju antoi selkeän tavan kohdeyrityksen toimintojen mallintamiselle.

Performance measurement oforder-delivery chain in SMEs: Case study

Tutkimus pyrkii selvittämään, kuinka tehokas suorituskykymittaristo voidaan parhaiten suunnitella pk-yrityksessä. Tutkimuksen tavoitteena on luoda suorituskykymittaristo pienen kohdeyrityksen johtajien tarpeisiin. Päähuomion kohteena on yrityksen tilaus-toimitusketju ja arvoverkko. Työ on luonteeltaan kvalitatiivinen toimintatutkimus, joka noudattaa toiminta-analyyttista tutkimusotetta. Työn teoriaosassa selvitetään, kuinka suorituskyvyn mittaaminen sekä materiaali-, tieto- ja rahavirtojen hallinta on kehittynyt viime vuosina pk-yrityksen näkökulmasta. Mittariston suunnittelu aloitetaan kohdeyrityksen perusteellisella analyysilla. Tämän pohjalta määritellään yrityksen kriittiset menestystekijät, joista lopulta johdetaan suorituskykymittarit. Tutkimuksen perusteella voidaan todeta, että yleinen asenne mittaamista kohtaan, strategian huomioinnin puute sekä tietojärjestelmien rajoitteet ovat päähaasteita pk-yrityksen suorituskyvyn mittaamisessa. Mittareiden tuleekin olla melko yksinkertaisia ja helppoja käyttää, jotta mittaamisen ei koettaisi kuluttavan rajallisia resursseja liikaa. Mittariston tulee kuitenkin antaa kokonaisvaltainen kuva yrityksen suorituskyvystä, johon vaikuttavat kaikki arvoverkon osapuolet ja heidän yhteistyö toistensa kanssa.

Value chain analysis in graphical boards business

Tällä tutkielmalla oli kaksi tavoitetta. Ensimmäinen tavoite oli selvittää, kuinka valittujen tuotteiden arvoa asiakkaiden silmissä voisi lisätä. Toisena tavoitteena oli selvittää tuotteiden arvon lisääntyminen arvoketjun jokaisella portaalla kartonkitehtaaltaloppuasiakkaalle. Tutkimuksen kohteena oli kolme erilaista arvoketjua. Tutkimusoli luonteeltaan kvalitatiivinen ja tarvittavat tiedot kerättiin haastatteluilla. Tutkimuksen tuloksena voidaan mainita, että asiakkaat arvostavat laskua kustannuksissa enemmän kuin lisähyötyjä. Myös prosentuaalinen arvonlisäys valittuihintuotteisiin arvoketjun eri portaissa saatiin selville. Tästä työstä on tehty kaksi versiota; tämä versio, joka tulee julkiseksi neljän vuoden salassapitoajan jälkeen, ja toinen versio, joka sisältää arkaluontoisempaa kustannusinformaatiotaja on siitä syystä kokonaan salainen.