Biomedical Event Extraction with Machine Learning

Biomedical natural language processing (BioNLP) is a subfield of natural language processing, an area of computational linguistics concerned with developing programs that work with natural language: written texts and speech. Biomedical relation extraction concerns the detection of semantic relations such as protein-protein interactions (PPI) from scientific texts. The aim is to enhance information retrieval by detecting relations between concepts, not just individual concepts as with a keyword search. In recent years, events have been proposed as a more detailed alternative for simple pairwise PPI relations. Events provide a systematic, structural representation for annotating the content of natural language texts. Events are characterized by annotated trigger words, directed and typed arguments and the ability to nest other events. For example, the sentence “Protein A causes protein B to bind protein C” can be annotated with the nested event structure CAUSE(A, BIND(B, C)). Converted to such formal representations, the information of natural language texts can be used by computational applications. Biomedical event annotations were introduced by the BioInfer and GENIA corpora, and event extraction was popularized by the BioNLP'09 Shared Task on Event Extraction. In this thesis we present a method for automated event extraction, implemented as the Turku Event Extraction System (TEES). A unified graph format is defined for representing event annotations and the problem of extracting complex event structures is decomposed into a number of independent classification tasks. These classification tasks are solved using SVM and RLS classifiers, utilizing rich feature representations built from full dependency parsing. Building on earlier work on pairwise relation extraction and using a generalized graph representation, the resulting TEES system is capable of detecting binary relations as well as complex event structures. We show that this event extraction system has good performance, reaching the first place in the BioNLP'09 Shared Task on Event Extraction. Subsequently, TEES has achieved several first ranks in the BioNLP'11 and BioNLP'13 Shared Tasks, as well as shown competitive performance in the binary relation Drug-Drug Interaction Extraction 2011 and 2013 shared tasks. The Turku Event Extraction System is published as a freely available open-source project, documenting the research in detail as well as making the method available for practical applications. In particular, in this thesis we describe the application of the event extraction method to PubMed-scale text mining, showing how the developed approach not only shows good performance, but is generalizable and applicable to large-scale real-world text mining projects. Finally, we discuss related literature, summarize the contributions of the work and present some thoughts on future directions for biomedical event extraction. This thesis includes and builds on six original research publications. The first of these introduces the analysis of dependency parses that leads to development of TEES. The entries in the three BioNLP Shared Tasks, as well as in the DDIExtraction 2011 task are covered in four publications, and the sixth one demonstrates the application of the system to PubMed-scale text mining.

Pressurized hot water flow-through extraction of birch wood

Effective processes to fractionate the main compounds in biomass, such as wood, are a prerequisite for an effective biorefinery. Water is environmentally friendly and widely used in industry, which makes it a potential solvent also for forest biomass. At elevated temperatures over 100 °C, water can readily hydrolyse and dissolve hemicelluloses from biomass. In this work, birch sawdust was extracted using pressurized hot water (PHWE) flow-through systems. The hypothesis of the work was that it is possible to obtain polymeric, water-soluble hemicelluloses from birch sawdust using flow-through PHW extractions at both laboratory and large scale. Different extraction temperatures in the range 140–200 °C were evaluated to see the effect of temperature to the xylan yield. The yields and extracted hemicelluloses were analysed to obtain sugar ratios, the amount of acetyl groups, furfurals and the xylan yields. Higher extraction temperatures increased the xylan yield, but decreased the molar mass of the dissolved xylan. As the extraction temperature increased, more acetic acid was released from the hemicelluloses, thus further decreasing the pH of the extract. There were only trace amounts of furfurals present after the extractions, indicating that the treatment was mild enough not to degrade the sugars further. The sawdust extraction density was increased by packing more sawdust in the laboratory scale extraction vessel. The aim was to obtain extracts with higher concentration than in typical extraction densities. The extraction times and water flow rates were kept constant during these extractions. The higher sawdust packing degree decreased the water use in the extractions and the extracts had higher hemicellulose concentrations than extractions with lower sawdust degrees of packing. The molar masses of the hemicelluloses were similar in higher packing degrees and in the degrees of packing that were used in typical PHWE flow-through extractions. The structure of extracted sawdust was investigated using small angle-(SAXS) and wide angle (WAXS) x-ray scattering. The cell wall topography of birch sawdust and extracted sawdust was compared using x-ray tomography. The results showed that the structure of the cell walls of extracted birch sawdust was preserved but the cell walls were thinner after the extractions. Larger pores were opened inside the fibres and cellulose microfibrils were more tightly packed after the extraction. Acetate buffers were used to control the pH of the extracts during the extractions. The pH control prevented excessive xylan hydrolysis and increased the molar masses of the extracted xylans. The yields of buffered extractions were lower than for plain water extractions at 160–170 °C, but at 180 °C yields were similar to those from plain water and pH buffers. The pH can thus be controlled during extraction with acetate buffer to obtain xylan with higher molar mass than those obtainable using plain water. Birch sawdust was extracted both in the laboratory and pilot scale. The performance of the PHWE flow-through system was evaluated in the laboratory and the pilot scale using vessels with the same shape but different volumes, with the same relative water flow through the sawdust bed, and in the same extraction temperature. Pre-steaming improved the extraction efficiency and the water flow through the sawdust bed. The extracted birch sawdust and the extracted xylan were similar in both laboratory and pilot scale. The PHWE system was successfully scaled up by a factor of 6000 from the laboratory to pilot scale and extractions performed equally well in both scales. The results show that a flow-through system can be further scaled up and used to extract water-soluble xylans from birch sawdust. Extracted xylans can be concentrated, purified, and then used in e.g. films and barriers, or as building blocks for novel material applications.

Phosphorus saturation of Finnish soils : evaluating an easy oxalate extraction method

Selostus: Alumiini- ja rautaoksidien fosforikyllästysasteen arvioiminen suomalaisista peltomaista

Building Environmental Management System for Laboratory Products Manufacturing Company according ISO 14001-standard

Tutkielman tavoitteena on rakentaa toimiva ympäristöjärjestelmä Thermo Fisher Scientific Oy:lle. Tutkimuksen tarkoituksena on myös löytää kahdelle täysin erilaiselle toiminnalle yhtenäinen ympäristöjärjestelmä, jonka avulla pystytään ottamaan huomioon molempien toimipaikkojen hieman erilaiset vaatimukset. Lisäksi tavoitteena on muodostaa ympäristöjärjestelmälle oma organisaatio, jonka avulla ympäristöjärjestelmän integrointi yrityksen prosesseihin voidaan suorittaa sujuvasti. Aluksi tutkimusongelmaa lähestytään teoreettisesta näkökulmasta,jossa tarkastellaan ympäristöjärjestelmän historiaa, rakennetta, etuja sekä ISO 14001–standardin rakennetta ja sen etenemistä ympäristöjärjestelmän rakentamisen yhteydessä aina kolmannen osapuolen sertifiointiin asti. Empiria osa alkaa alustavalla ympäristökatselmuksella, jossa selvitetään ympäristöasioiden hoidon nykytaso ja luodaan pohja koko ympäristöjärjestelmän luomiselle, jonka vankimpana perustana on ympäristöpolitiikka. Johdon hyväksymä ympäristöpolitiikka varmistaa johdon sitoutumisen järjestelmään. Ympäristöjärjestelmän toimintarakenteen muodostaminen kahdelle erilaiselle toiminnalle onnistui tutkimuksessa kiitettävästi. Se miten ympäristöjärjestelmä toimii todellisuudessa, tullaan näkemään käytännön kokemuksien yhteydessä.

Embedding, Extraction and Detection of Digital Watermark in Spectral Images

Tässä diplomityössä tutkitaan tekniikoita, joillavesileima lisätään spektrikuvaan, ja menetelmiä, joilla vesileimat tunnistetaanja havaitaan spektrikuvista. PCA (Principal Component Analysis) -algoritmia käyttäen alkuperäisten kuvien spektriulottuvuutta vähennettiin. Vesileiman lisääminen spektrikuvaan suoritettiin muunnosavaruudessa. Ehdotetun mallin mukaisesti muunnosavaruuden komponentti korvattiin vesileiman ja toisen muunnosavaruuden komponentin lineaarikombinaatiolla. Lisäyksessä käytettävää parametrijoukkoa tutkittiin. Vesileimattujen kuvien laatu mitattiin ja analysoitiin. Suositukset vesileiman lisäykseen esitettiin. Useita menetelmiä käytettiin vesileimojen tunnistamiseen ja tunnistamisen tulokset analysoitiin. Vesileimojen kyky sietää erilaisia hyökkäyksiä tarkistettiin. Diplomityössä suoritettiin joukko havaitsemis-kokeita ottamalla huomioon vesileiman lisäyksessä käytetyt parametrit. ICA (Independent Component Analysis) -menetelmää pidetään yhtenä mahdollisena vaihtoehtona vesileiman havaitsemisessa.

Capturing Weak Signals for Foresight Building

Tulevaisuuden hahmottamisen merkitys heikkojen signaalien avulla on korostunut viime vuosien aikana merkittävästi,koska yrityksen liiketoimintaympäristössä tapahtuvia muutoksia on ollut yhä vaikeampaa ennustaa historian perusteella. Liiketoimintaympäristössä monien muutoksien merkkejä on ollut nähtävissä, mutta niitä on ollut vaikea havaita. Heikkoja signaaleja tunnistamalla ja keräämällä sekä reagoimalla tilanteeseen riittävän ajoissa, on mahdollista saavuttaa ylivoimaista kilpailuetua. Kirjallisuustutkimus keskittyy heikkojen signaalien tunnistamisen haasteisiin liiketoimintaympäristöstä, signaalien ja informaation kehittymiseen sekä informaation hallintaan organisaatiossa. Kiinnostus näihin perustuu tarpeeseen määritellä heikkojen signaalien tunnistamiseen vaadittava prosessi, jonka avulla heikot signaalit voidaan huomioida M-real Oyj:n päätöksenteossa. Kirjallisuustutkimus osoittaa selvästi sen, että heikkoja signaaleita on olemassa ja niitä pystytään tunnistamaan liiketoimintaympäristöstä. Signaaleja voidaan rikastuttaa yrityksessä olevalla tietämyksellä ja hyödyntää edelleen päätöksenteossa. Vertailtaessa sekä kirjallisuustutkimusta että empiiristä tutkimusta tuli ilmi selkeästi tiedon moninaisuus; määrä,laatu ja tiedonsaannin oikea-aikaisuus päätöksenteossa. Tutkimuksen aikana kehittyi prosessimalli tiedon suodattamiselle, luokittelulle ja heikkojen signaalien tunnistamiselle. Työn edetessä prosessimalli kehittyi osaksi tässä työssä kehitettyä kokonaisuutta 'Weak Signal Capturing' -työkalua. Monistamalla työkalua voidaan kerätä heikkoja signaaleja eri M-realin liiketoiminnan osa-alueilta. Tietoja systemaattisesti kokoamalla voidaan kartoittaa tulevaisuutta koko M-realille.

Web Presence Building and Performance Measuring in Business-to-Business Markets

Tutkimuksen tavoite oli selvittää yrityksen web toiminnan rakentamisen vaiheita sekä menestyksen mittaamista. Rakennusprosessia tutkittiin viisiportaisen askelmallin avulla. Mallin askeleet ovat; arviointi, strategian muotoilu, suunnitelma, pohjapiirros ja toteutus. Arviointi- ja toteutusvaiheiden täydentämiseksi sekä erityisesti myös internet toiminnan onnistumisen mittaamisen avuksi internet toiminnan hyödyt (CRM,kommunikointi-, myynti-, ja jakelukanava hyödyt markkinoinnin kannalta) käsiteltiin. Toiminnan menestyksen arvioinnin avuksi esiteltiin myös porrasmalli internet toimintaan. Porrasmalli määrittelee kauppakulissi-, dynaaminen-, transaktio- ja e-businessportaat. Tutkimuksessa löydettiin menestystekijöitä internet toimintojen menestykselle. Nämä tekijät ovat laadukas sisältö, kiinnostavuus, viihdyttävyys, informatiivisuus, ajankohtaisuus, personoitavuus, luottamus, interaktiivisuus, käytettävyys, kätevyys, lojaalisuus, suoriutuminen, responssiivisuus ja käyttäjätiedon kerääminen. Mittarit jaettiin tutkimuksessa aktiivisuus-, käyttäytymis- ja muunnosmittareihin. Lisäksi muita mittareita ja menestysindikaattoreita esiteltiin. Nämä menestyksen elementit ja mittarit koottiin yhteen uudessa internet toimintojen menestyksenarviointimallissa. Tutkielman empiirisessä osuudessa,esitettyjä teorioita peilattiin ABB:n (ABB:n sisällä erityisesti ABB Stotz-Kontakt) web toimintaan. Apuna olivat dokumenttianalyysi sekä haastattelut. Empiirinen osa havainnollisti teoriat käytännössä ja toi ilmi mahdollisuuden teorioiden laajentamiseen. Internet toimintojen rakentamismallia voidaan käyttää myös web toimintojen kehittämiseen ja porrasmalli sopii myös nykyisten internet toimintojen arvioimiseen. Mittareiden soveltaminen käytännössä toi kuitenkin ilmi tarpeen niiden kehittämiseen ja aiheen lisätutkimukseen. Niiden tulisi olla myös aiempaatiiviimmin liitetty kokonaisvaltaisen liiketoiminnan menestyksen mittaamiseen.

Building Strong Brands with Sponsorship: Case Battery Energy Drink

Tutkimuksen päätavoitteena oli ymmärtää vahvojen brändien ja brändipääoman rakentamisprosessia, painottaen erityisesti sponsoroinnin roolia tässä prosessissa. Tutkimus suoritettiin laadullisena tutkimuksena, jossa käytettiintapaustutkimusmenetelmää. Tutkimuksen aineisto kerättiin suurimmista online artikkelitietokannoista sekä kolmesta henkilökohtaisesta haastattelusta case-yrityksen edustajien kanssa. Tutkimuksen teoreettisen perustan muodosti brändipääoma-käsite ja sen osa-alueet, näiden liittyminen vahvoihin brändeihin ja brändien rakentamiseen, sekä sponsoroinnin strateginen käyttö brändien rakentamisessa. Lisäksi tutkimuksen empiirinen perusta arvio ja testasi näitä oletuksia ja aikaisemmin käsiteltyjä teorioita case-brändi Battery energiajuoman valossa. Tutkimus osoitti, että nykypäivänä kovan kilpailun markkinointiympäristössä, sponsorointi edustaa vaihtoehtoista tapaa rakentaa vahvoja, omalaatuisia ja suotuisia brändejä, joilla on korkea brändipääoma. Sponsoroinnista on tullut yhä tärkeämpi kommunikointiväline brändien rakentamisessa ja erityisesti siellä missä perinteiset menetelmät ovat muuttumassa tehottomiksi. Empiirisessä osassa selvisi, että sponsorointia on käytetty menestyksekkäästi strategisena keinona vahvan ja omalaatuisen Battery brändin ja sen korkean brändipääoman rakentamisessa.

Local and Global Feature Extraction for Invariant Object Recognition

Perceiving the world visually is a basic act for humans, but for computers it is still an unsolved problem. The variability present innatural environments is an obstacle for effective computer vision. The goal of invariant object recognition is to recognise objects in a digital image despite variations in, for example, pose, lighting or occlusion. In this study, invariant object recognition is considered from the viewpoint of feature extraction. Thedifferences between local and global features are studied with emphasis on Hough transform and Gabor filtering based feature extraction. The methods are examined with respect to four capabilities: generality, invariance, stability, and efficiency. Invariant features are presented using both Hough transform and Gabor filtering. A modified Hough transform technique is also presented where the distortion tolerance is increased by incorporating local information. In addition, methods for decreasing the computational costs of the Hough transform employing parallel processing and local information are introduced.

Intelligent Internet Data Searching

In this thesis author approaches the problem of automated text classification, which is one of basic tasks for building Intelligent Internet Search Agent. The work discusses various approaches to solving sub-problems of automated text classification, such as feature extraction and machine learning on text sources. Author also describes her own multiword approach to feature extraction and pres-ents the results of testing this approach using linear discriminant analysis based classifier, and classifier combining unsupervised learning for etalon extraction with supervised learning using common backpropagation algorithm for multilevel perceptron.

Building high technology complete products for the markets of humanitarian organizations and developing countries

Tämä tutkielma käsittelee high-tech kokonaisratkaisun rakentamista kehitysmaiden ja humanitääristen organisaatioiden markkinoille. Tavoitteena on löytää ne komponentit joita case-yritys Mediburner Ltd:n polttouuni tarvitsee rinnalleen. Jotta täydentävien elementtien määritteleminen olisi mahdollista, pitää ensin selvittää keitä ovat asiakkaat, ja mitkä ovat heidän tarpeensa. Tutkimusmetodina käytetään kuvailevaa case-tutkimusta. Empiirinen materiaali kerättiin henkilökohtaisissa- ja puhelinkeskusteluissa. Niihin henkilöihin, joiden tavoittaminen oli aikaeron vuoksi hankalaa, otettiin yhteyttä sähköpostitse. Toinen tietolähde olivat dokumentit. Tutkielmassa käytettiin internetsivuja, sairaalajätehuoltoon liittyvien kansainvälisten konferenssien ja kenttätutkimusten raportteja sekä humanitääristen organisaatioiden suosituksia ja lehdistötiedotteita. Tulokseksi saatiin kymmenen tarvittavaa tukevien elementtien ryhmää: lisälaitteet, astiat jätteen keräilyyn ja tilapäiseen varastointiin, polttoaine, sähkö, logistiset ratkaisut, asennus ja käyttöönotto, huolto- ja korjauspalvelut, koulutus, help-desk –palvelu ja rahoitus. Lisäksi tarvitaan imago, joka konkretisoi tarjotun ratkaisun hyödyt. Yksi toimivan imagotyylin perusta voisi olla vastuullisuus.

Global virtual teamwork. Building and communicating trust through technology

Tutkimuksen ensisijaisena tavoitteena oli tarkastella luottamuksen rakentumista virtuaalitiimissä. Keskeistä tarkastelussa olivat luottamuksen lähteiden löytäminen, suhteen rakentuminen sekä teknologiavälitteinen kommunikaatio. Myös käytännön keinoja ja sovelluksia etsittiin. Tässä tutkimuksessa luottamus nähtiin tärkeänä yhteistyön mahdollistajana sekä keskeisenä elementtinä ihmisten välisten suhteiden rakentumisessa. Tämä tutkimus oli empiirinen ja kuvaileva tapaustutkimus. Tutkimuksessa kvalitatiivista aineistoa kerättiin pääasiassa web-pohjaisen kyselyn sekä puhelinhaastattelun avulla. Aineistonkeruu toteutettiin siis pääasiassa virtuaalisesti. Saatu aineisto analysoitiin teemoittelun avulla. Tässä työssä teemoja etsittiin tekstistä pääasiassa teoriasta johdettujen oletusten perusteella. Tutkimuksen tuloksena oli, että luottamusta rakentavia mekanismeja ovat, karkeasti luokiteltuna, yhteiset päämäärät ja vastuut, kommunikaatio, sosiaalinen kanssakäyminen ja informaation jakaminen, toisten huomioiminen ja henkilökohtaiset ominaisuudet. Mekanismit eivät suuresti eronneet luottamuksen rakentumisen mekanismeista perinteisessä kontekstissa. Virtuaalitiimityön alkuvaiheessa luottamus pohjautui käsityksille toisten tiimin jäsenten kyvykkyydestä. Myös institutionaalinen identifioituminen loi pohjaa luottamukselle alkuvaiheessa. Muuten luottamus rakentui vähän kerrassaan tehtävään liittyvän kommunikaation ja sosiaalisen kommunikaation kautta. Tekojen merkitys korostui erityisesti ajan myötä. Työssä esitettiin myös käytännön keinoja luottamuksen rakentamiseksi. Olemassa olevien teknologioiden havaittiin tukevan hyvin suhteen rakentumista tiedon jakamiseen ja sen varastoimiseen liittyvissä tehtävissä. Sen sijaan vuorovaikutuksen näkökulmasta tuen ei nähty olevan yhtä kattavaa. Kaiken kaikkiaan kuitenkin parannuksella sosiaalisissa suhteissa voitaneen saada enemmän aikaan kuin parannuksilla teknologian suhteen.

On Option Price Information Content and Extraction of Implied Probability Distributions

In this study we used market settlement prices of European call options on stock index futures to extract implied probability distribution function (PDF). The method used produces a PDF of returns of an underlying asset at expiration date from implied volatility smile. With this method, the assumption of lognormal distribution (Black-Scholes model) is tested. The market view of the asset price dynamics can then be used for various purposes (hedging, speculation). We used the so called smoothing approach for implied PDF extraction presented by Shimko (1993). In our analysis we obtained implied volatility smiles from index futures markets (S&P 500 and DAX indices) and standardized them. The method introduced by Breeden and Litzenberger (1978) was then used on PDF extraction. The results show significant deviations from the assumption of lognormal returns for S&P500 options while DAX options mostly fit the lognormal distribution. A deviant subjective view of PDF can be used to form a strategy as discussed in the last section.