Sentence Compression with Supervised Machine Learning

The subject of the thesis is automatic sentence compression with machine learning, so that the compressed sentences remain both grammatical and retain their essential meaning. There are multiple possible uses for the compression of natural language sentences. In this thesis the focus is generation of television program subtitles, which often are compressed version of the original script of the program. The main part of the thesis consists of machine learning experiments for automatic sentence compression using different approaches to the problem. The machine learning methods used for this work are linear-chain conditional random fields and support vector machines. Also we take a look which automatic text analysis methods provide useful features for the task. The data used for machine learning is supplied by Lingsoft Inc. and consists of subtitles in both compressed an uncompressed form. The models are compared to a baseline system and comparisons are made both automatically and also using human evaluation, because of the potentially subjective nature of the output. The best result is achieved using a CRF - sequence classification using a rich feature set. All text analysis methods help classification and most useful method is morphological analysis. Tutkielman aihe on suomenkielisten lauseiden automaattinen tiivistäminen koneellisesti, niin että lyhennetyt lauseet säilyttävät olennaisen informaationsa ja pysyvät kieliopillisina. Luonnollisen kielen lauseiden tiivistämiselle on monta käyttötarkoitusta, mutta tässä tutkielmassa aihetta lähestytään television ohjelmien tekstittämisen kautta, johon käytännössä kuuluu alkuperäisen tekstin lyhentäminen televisioruudulle paremmin sopivaksi. Tutkielmassa kokeillaan erilaisia koneoppimismenetelmiä tekstin automaatiseen lyhentämiseen ja tarkastellaan miten hyvin erilaiset luonnollisen kielen analyysimenetelmät tuottavat informaatiota, joka auttaa näitä menetelmiä lyhentämään lauseita. Lisäksi tarkastellaan minkälainen lähestymistapa tuottaa parhaan lopputuloksen. Käytetyt koneoppimismenetelmät ovat tukivektorikone ja lineaarisen sekvenssin mallinen CRF. Koneoppimisen tukena käytetään tekstityksiä niiden eri käsittelyvaiheissa, jotka on saatu Lingsoft OY:ltä. Luotuja malleja vertaillaan Lopulta mallien lopputuloksia evaluoidaan automaattisesti ja koska teksti lopputuksena on jossain määrin subjektiivinen myös ihmisarviointiin perustuen. Vertailukohtana toimii kirjallisuudesta poimittu menetelmä. Tutkielman tuloksena paras lopputulos saadaan aikaan käyttäen CRF sekvenssi-luokittelijaa laajalla piirrejoukolla. Kaikki kokeillut teksin analyysimenetelmät auttavat luokittelussa, joista tärkeimmän panoksen antaa morfologinen analyysi.

Puolueiden keskustelutilaisuuksista mediatapahtumiksi. Television vaaliohjelmat ja niihin liittynyt sanomalehtijulkisuus 1960-luvulta 1980-luvulle

Tässä tutkimuksessa tarkastellaan television vaaliohjelmia ja niihin liittynyttä sanomalehtijulkisuutta 1960-luvun alusta 1980-luvun lopulle. Tarkastelun kohteena ovat sekä eduskunta- että presidentinvaalien vaaliohjelmat. Tutkimusaineisto koostuu Yleisradion hallinto- ja ohjelmaneuvostojen pöytäkirjoista, vaaliohjelmien televisiotallenteista sekä vaaliohjelmia käsittelevistä sanomalehtikirjoituksista. Lehtiaineisto on kerätty Helsingin Sanomista, Ilta-Sanomista, Iltalehdestä, Aamulehdestä, Kansan Uutisista, Suomenmaasta sekä Suomen Sosialidemokraatista. Sanomalehtiaineistoa on täydennetty Yleisradion leikearkistoon kerätyillä lehtileikkeillä. Tutkimuksessa on analysoitu toisaalta television vaaliohjelmien kehitystä ja toisaalta vaaliohjelmiin liittynyttä sanomalehtikirjoittelua. Television vaaliohjelmien kehityksen osalta tutkimuksessa on kuvattu, millä tavoin vaaliohjelmia on eri aikoina tehty ja millaisia poliittisia kiistoja niiden tekemiseen on liittynyt. Sanomalehtiaineiston analyysissa on tarkasteltu sitä, mihin seikkoihin vaaliohjelmia käsittelevissä kirjoituksissa on kiinnitetty huomiota, millä tavoin lehdet ovat suhtautuneet ohjelmien toteutukseen ja millainen rooli ohjelmilla on nähty olleen vaalikampanjoinnissa. Väitöskirjan näkökulma on historiallinen, mikä merkitsee ajallisten kontekstien keskeisyyttä analyysissa. Tutkimuksessa on kiinnitetty huomiota sekä poliittisessa kulttuurissa että mediamaisemassa tapahtuneisiin muutoksiin. Vaaliohjelmat olivat 1960-luvulla tarkkaan säänneltyjä puolueiden välisiä keskustelutilaisuuksia, joissa toimittajilla ei ollut näkyvää roolia. Ohjelmien toteutuksesta vastasivat puoluemandaateilla toimineet Yleisradion ohjelma- ja hallintoneuvoston jäsenet, joten ohjelmien toteutuksen yksityiskohdista vastasivat puolueet. Puolueet riitelivät usein vaaliohjelmien toteutuksesta, mikä osoittaa, että puolueille television vaaliohjelmat olivat tärkeitä poliittisia foorumeita jo 1960-luvulta lähtien. Vaaliohjelmat jakautuivat kahteen erilaiseen ohjelmaformaattiin; vaalitentteihin ja suureen vaalikeskusteluun. Vaalitenteissä kunkin puolueen edustajat olivat vuorollaan ”altavastaajina”, joille muiden puolueiden edustajat esittivät kysymyksiä. Suuri vaalikeskustelu oli perinteisempi paneelikeskustelu, jossa poliitikot selvittivät vuorotellen kantojaan ajankohtaisiin poliittisin kysymyksiin. 1970-luvun puolivälissä vaalitenttien toteutuksessa tapahtui suuria muutoksia, kun toimittajat syrjäyttivät poliitikot vaalitenttien kyselijöinä. Suuri vaalikeskustelu säilyi ennallaan. Sanomalehtien suhtautuminen vaaliohjelmiin oli 1960- ja 1970-luvuilla huomattavasti pidättyvämpää kuin poliitikkojen. Sanomalehdistön näkökulmasta television vaaliohjelmien tärkeimpänä tehtävänä oli puolueiden poliittisten linjausten esittely. Vaaliohjelmia käsittelevissä teksteissä esiteltiin pääasiassa poliitikkojen ohjelmissa pitämiä puheenvuoroja. Puoluelehdissä puheenvuorojen sisältöä arvioitiin aatteellisista lähtökohdista, sitoutumattomissa sanomalehdissä neutraalimmin. Vaaliohjelmien toteutukseen liittynyt kritiikki kohdistui toisaalta poliitikkojen puoluepropagandaan, toisaalta poliitikkojen liialliseen varovaisuuteen. Sanomalehtien suhtautuminen vaaliohjelmiin säilyi ennallaan myös 1970-luvulla, jolloin vaaliohjelmia alettiin tehdä toimittajavetoisesti. Ainoa muutos liittyi vaaliohjelmakritiikkiin, joka kohdistui nyt poliitikkojen ohella myös toimittajiin, joiden katsottiin olleen ohjelmissa liian hyökkääviä. Suurin muutos vaaliohjelmiin liittyneessä kirjoittelussa tapahtui 1980-luvulla. Vaaliohjelmia käsitteleviä kirjoituksia julkaistiin sanomalehdistössä monikertainen määrä 1970-lukuun verrattuna. Samalla myös vaaliohjelmia käsittelevien kirjoitusten näkökulmat alkoivat muuttua, kun ohjelmin visuaalinen ulottuvuus alkoi olla yhä näkyvämmin esillä sanomalehtiin laadituissa analyyseissa. Lehdet alkoivat teettää säännöllisesti erilaisia tutkimuksia poliitikkojen pärjäämisestä ohjelmissa ja kirjoittaa vaalikeskusteluiden voittajista ja häviäjistä. Lisäksi lehtijutuissa arvioitiin poliitikkojen esiintymistä ja vaaliohjelmista välittyviä vaikutelmia. Vuoden 1982 presidentinvaaleissa uusista näkökulmista kirjoittivat erityisesti iltapäivälehdet, mutta vuosikymmenen jälkipuoliskolla samankaltaisia lähestymistapoja omaksuivat myös Helsingin Sanomat ja Aamulehti. Niiden vaaliohjelmia käsittelevissä uutisissa kiinnitettiin yhä useammin huomiota poliitikkojen esiintymiseen, pukeutumiseen ja tunnetiloihin. Puoluelehtien suhtautuminen vaaliohjelmiin säilyi kuitenkin ennallaan, ja myös vaaliohjelmakritiikki säilyi suurelta osin muuttumattomana. 1980-luvun aikana television vaaliohjelmat muuttuivat lehdistön käsittelyssä puolueiden tavoitteita esittelevistä keskustelutilaisuuksista poliitikkojen ja puolue johtajien henkilökohtaisia ominaisuuksia mittaaviksi esiintymiskokeiksi ja suuriksi mediatapahtumiksi, joiden katsottiin toisinaan jopa ratkaisseen vaalin tuloksen. Nostaessaan television vaaliohjelmat kampanjajournalisminsa ytimeen, sanomalehdet vahvistivat television poliittista roolia.

Rohkeutta henkilöiden käsittelyyn : katsojatutkimus 45 minuuttia -ajankohtaisohjelman henkilökuvajutuista

The present thesis deals with the reception of the celebrity profiles of the MTV3 news current affairs program "45 minuuttia". The target group of the research consists of young adults between the ages from 25 to 34 living in the Helsinki metropolitan area. The research is qualitative and it studies the target group's opinions of the program profiles by the means of a survey and a group interview. In the group interview, the interviewees were also presented sample clips of the program. The results of the survey were analyzed mainly quantitatively. The purpose of the survey results was to map the viewing habits of the target group. In analyzing the results of the group, the interview methods of feedback research and cultural audience research were used. The current thesis was a commissioned research, the purpose of which was to study how interested the young adults are in the program. In addition, the aim was also to find out possible new trends and approaches for the producer of the program. In contrary to the expectations, the reason for the low interest in the profiles seemed to be due to the approach taken to the topics, e.g. the profiled person. By the approach I mean how the person is visually presented or how the person is verbally described. Many people presented in the profiles were regarded as interesting, but at the same time, the way the stories were told was hoped to be more versatile. In addition, a more contemporary visual approach was hoped for. The results also verified the claim that the young adults in general are not interested in the current affair programmes. In addition, these results suggested that in order to obtain more precise information of the viewing preferences of the audience, a more thorough study should be conducted.

Mielikuvien luominen traileroinnilla : tutkimuskohteena Big Brother Suomi

The thesis studies the launch campaign of Big Brother Finland, especially from the viewpoint of on-air promotion. Interest to the subject arose when participating in the campaign as an on-air promotion planner together with Subtv's marketing director, on-air promotion editor and the channel's advertising agency. The launch of the campaign was a challenge due to the format, since not a lot of information can be revealed before the start of the program. When the planning started, all the material consisted of two logos. The first season of the Finnish version of Big Brother begun on Subtv August 2005. The goal of the program was to become a topic of discussion on TV on the fall 2005 and to raise the profile of the channel. The goal of the launch was to get good ratings for the first episode. The launch campaign was also supposed to open up the format to the viewers and to arouse interest in the show. Secrecy and the size of the program were set to be the marketing tones of the launch. Although partly different messages were told via on-air promotion and external media, the campaign was congruent in visual design. In the study, interviews of Subtv's staff, campaign plans and notes were used as research material. From the aspect of affecting images and emotions, the finished campaign promos and other on-air elements were analyzed. In on-air promotion, all choices in audio and visual design affect the outcome and therefore the images that the viewer constructs. The two promo series were made to affect emotions and to awaken curiosity. Other on-air elements were merely used to present program information. The campaign and the series were accepted with enthusiasm. The launch of the second season was even more massive than the first. Participation in the launch campaign of Big Brother Finland was an essential experience in the development of professional identity. When one has taken part in the creation of a massive campaign from scarce materials, tools are given to future assignments in the field of on-air promotion.

Tavallisia tarinoita : rivikansalaiset television uutisjutuissa

Tässä opinnäytetyössä käsittelen tavallisia ihmisiä televisiouutisten jutuissa käyttäen esimerkkeinä uutisjuttuja Nelosen ja MTV3:n kotimaan uutisista. Tavoitteeni on tutkia tavallisen ihmisen rooleja ja tehtäviä television uutisjutuissa, sekä tarkastella ”rivikansalaisten” käyttämistä uutisjutuissa toimittajantyön kannalta. Valotan sitä, mitä MTV3 ja Nelonen uutisillaan tavoittelevat, millaisista lähtökohdista kanavat toimivat ja miten kanavien arvot vaikuttavat tavallisten ihmisen esiintymiseen uutisjutuissa. Esittelen ja analysoin erilaisia juttutyyppejä, joissa tavallisia ihmisiä uutisissa esiintyy, pohdin millaisia tarinoita ja sisältöjä heidän kannaltaan kerrotaan ja millaisissa rooleissa he esiintyvät. Pohdin myös sitä, mitä lisäarvoa tavallisilla ihmisillä uutisjuttuihin haetaan ja sitä, voisiko arjen näkökulmaa laajentaa niistä juttutyypeistä, joissa se nyt jo esiintyy. Tarkastelen omien kokemuksieni pohjalta myös, millaisia käytännöllisiä, moraalisia ja journalistisia pulmia ja mahdollisuuksia tavallisten ihmisten käyttämiseen television uutisjutuissa liittyy. Käsittelen myös sitä, mihin tavalliset ihmiset asettuvat uutisten hierarkiassa, ja miten heidän esiintymisensä uutisjutuissa vaikuttaa uutisen objektiivisuuteen. Tavallinen ihminen on uutisjutussa elävöittävä kokija, toimija tai passiivinen toiminnan kohde. Hän voi esiintyä lähes minkä tahansa tyyppisessä uutisjutussa kuvittajana, kommentoijana, uutiskuorman keventäjänä tai jutulle rakenteen antavana tapauksena. Tavalliset ihmiset esiintyvät televisiouutisten gallupeissa tai avaamassa keskustelunaiheita elämäntilanteellaan. Usein he esiintyvät toimittajan tai toimituksen alter egoina, ottavat kantaa asioihin vapaina uutishuoneen objektiivisen totuuden oletusarvosta. Televisio on arkinen, perhekeskeinen ja tasa-arvoinen väline, joka joutuu taistelemaan huomiosta kodin muiden tapahtumien kanssa. Viihtymisen kannalta on olennaista kuvata ihmiskasvoja, tehdä uutisista tarinoita ja tarjota samaistuttavia elementtejä katsojalle. Vaikka monet tutkijat sijoittavat tavallisen ihmisen uutishierarkian alimmalle portaalle, heillä on uutisjutuissa viihdyttäjän osan ohella tärkeä tehtävä totuudenpuhujina.

Tasavallan Presidentin valtiovierailu Neuvostoliittoon 17.-24.5.1977 (Neuvostoliiton television välittämä Tasavallan Presidentin tervehdys 18.5.1977)

Puhe

Republikens Presidents tal i radio och television 7.5.1973

Puhe

Finnish embryo transfer breeding program "ASMO" : description of the goals and a summary of the results of initial selection

Selostus: Alkionsiirtojalostusohjelma "ASMO", sen tavoitteet ja yhteenveto alkuvalinnan tuloksista