Information integration and its impacts on logistics performance - Using information technology and systems to facilitate information integration

Fast changing environment sets pressure on firms to share large amount of information with their customers and suppliers. The terms information integration and information sharing are essential for facilitating a smooth flow of information throughout the supply chain, and the terms are used interchangeably in research literature. By integrating and sharing information, firms want to improve their logistics performance. Firms share information with their suppliers and customers by using traditional communication methods (telephone, fax, Email, written and face-to-face contacts) and by using advanced or modern communication methods such as electronic data interchange (EDI), enterprise resource planning (ERP), web-based procurement systems, electronic trading systems and web portals. Adopting new ways of using IT is one important resource for staying competitive on the rapidly changing market (Saeed et al. 2005, 387), and an information system that provides people the information they need for performing their work, will support company performance (Boddy et al. 2005, 26). The purpose of this research has been to test and understand the relationship between information integration with key suppliers and/or customers and a firm’s logistics performance, especially when information technology (IT) and information systems (IS) are used for integrating information. Quantitative and qualitative research methods have been used to perform the research. Special attention has been paid to the scope, level and direction of information integration (Van Donk & van der Vaart 2005a). In addition, the four elements of integration (Jahre & Fabbe-Costes 2008) are closely tied to the frame of reference. The elements are integration of flows, integration of processes and activities, integration of information technologies and systems and integration of actors. The study found that information integration has a low positive relationship to operational performance and a medium positive relationship to strategic performance. The potential performance improvements found in this study vary from efficiency, delivery and quality improvements (operational) to profit, profitability or customer satisfaction improvements (strategic). The results indicate that although information integration has an impact on a firm’s logistics performance, all performance improvements have not been achieved. This study also found that the use of IT and IS have a mediocre positive relationship to information integration. Almost all case companies agreed on that the use of IT and IS could facilitate information integration and improve their logistics performance. The case companies felt that an implementation of a web portal or a data bank would benefit them - enhance their performance and increase information integration.

Tiedonvaihto - ja tietojärjestelmäyhteentoimivuus kahden sotilaallisen koalition välillä

Tämä diplomityö käsittelee kahden sotilaallisen koalition yhteentoimivuuden haasteita ja toteutusta kaupallisintyökaluin. Työ pohjautuu kahteen todelliseen, palvelusuuntautunutta arkkitehtuurisuunnittelua (SOA) hyödyntäneeseen integraatioprojektiin jotka on toteutettu Suomen IBM:n Palveluyksikössä vuosina 2006 - 2007. Työn tavoitteena on ollut tutkia sotilaallisten koalitioiden järjestelmä - ja tiedonvaihtoyhteentoimivuuden menetelmiä, näkökulmia ja teknistä toteutusta kaupallisin ohjelmistotuottein ja yhteistä tietomallia käyttäen. Lisäksi esitetään puolustustoimialan erityispiirteet tietojärjestelmätoimittajien ohjelmistokehitys - prosesseihin liittyen. Tätä varten tutkittiin koalitioiden käyttöön tarkoitettuja olemassa olevia ohjelmistoarkkitehtuureja ja yhteentoimivuusmalleja sekä sovitettiin niitä SOA - arkkitehtuuriajatteluun. Työn teoreettisena pohjana käytettiin organisatorisen ja teknisen yhteentoimivuuden kuvaavaa Layers of Coalition Interoperability (LCI) - mallia, minkä jälkeen mallin teknistä osiota käytettiin pohjana SOA - palveluihin perustuvan esimerkkijärjestelmän kehittämiseen kahden kuvitteellisen koalition tiedonvaihtoa varten. Työn keskeisinä tuloksina on syntynyt suunnitelma koalitioiden taustajärjestelmien yhdistämisestä dynaamisten SOA- palveluiden avulla yhteiseen JC3IEDM - tietomalliin. Tämä tietomalli vuorostaan antaa mahdollisuuden järjestelmän laajentamiseen esimerkiksi avustusjärjestöjen, poliisivoimien ja terveydenhuollon organisaatioiden tarpeisiin.

Value added logistics in supply and demand chain. Smile. Part 2. eBusiness in a service business. Case: A maintenance and operations network in forest industry

VVALOSADE is a research project of professor Anita Lukka's VALORE research team in the Lappeenranta University of Technology. The VALOSADE includes the ELO technology program of Tekes. SMILE is one of four subprojects of the VALOSADE. The SMILE study focuses on the case of the company network that is composed of small and micro-sized mechanical maintenance service providers and forest industry as large-scale customers. The basic principle of the SMILE study is the communication and ebusiness in supply and demand networks. The aim of the study is to develop ebusiness strategy, ebusiness model and e-processes among the SME local service providers, and onthe other hand, between the local service provider network and the forest industry customers in a maintenance and operations service business. A literature review, interviews and benchmarking are used as research methods in this qualitative case study. The first SMILE report, 'Ebusiness between Global Company and Its Local SME Supplier Network', concentrated on creating background for the SMILE study by studying general trends of ebusiness in supply chains and networks of different industries. This second phase of the study concentrates on case network background, such as business relationships, information systems and business objectives; core processes in maintenance and operations service network; development needs in communication among the network participants; and ICT solutions to respond needs in changing environment. In the theory part of the report, different ebusiness models and frameworks are introduced. Those models and frameworks are compared to empirical case data. From that analysis of the empirical data, therecommendations for the development of the network information system are derived. In process industry such as the forest industry, it is crucial to achieve a high level of operational efficiency and reliability, which sets up great requirements for maintenance and operations. Therefore, partnerships or strategic alliances are needed between the network participants. In partnerships and alliances, deep communication is important, and therefore the information systems in the network also are critical. Communication, coordination and collaboration will increase in the case network in the future, because network resources must be optimised to improve competitive capability of the forest industry customers and theefficiency of their service providers. At present, ebusiness systems are not usual in this maintenance network. A network information system among the forest industry customers and their local service providers actually is the only genuinenetwork information system in this total network. However, the utilisation of that system has been quite insignificant. The current system does not add value enough either to the customers or to the local service providers. At present, thenetwork information system is the infomediary that share static information forthe network partners. The network information system should be the transaction intermediary, which integrates internal processes of the network companies; the network information system, which provides common standardised processes for thelocal service providers; and the infomediary, which share static and dynamic information on right time, on right partner, on right costs, on right format and on right quality. This study provides recommendations how to develop this system in the future to add value to the network companies. Ebusiness scenarios, vision, objectives, strategies, application architecture, ebusiness model, core processes and development strategy must be considered when the network information system will be developed in the next development step. The core processes in the case network are demand/capacity management, customer/supplier relationship management, service delivery management, knowledge management and cash flow management. Most benefits from ebusiness solutions come from the electrifying of operational level processes, such as service delivery management and cash flow management.

Studies on coordination of systems development process

This thesis examines coordination of systems development process in a contemporary software producing organization. The thesis consists of a series of empirical studies in which the actions, conceptions and artifacts of practitioners are analyzed using a theory-building case study research approach. The three phases of the thesis provide empirical observations on different aspects of systemsdevelopment. In the first phase is examined the role of architecture in coordination and cost estimation in multi-site environment. The second phase involves two studies on the evolving requirement understanding process and how to measure this process. The third phase summarizes the first two phases and concentrates on the role of methods and how practitioners work with them. All the phases provide evidence that current systems development method approaches are too naïve in looking at the complexity of the real world. In practice, development is influenced by opportunity and other contingent factors. The systems development processis not coordinated using phases and tasks defined in methods providing universal mechanism for managing this process like most of the method approaches assume.Instead, the studies suggest that managing systems development process happens through coordinating development activities using methods as tools. These studies contribute to the systems development methods by emphasizing the support of communication and collaboration between systems development participants. Methods should not describe the development activities and phases in a detail level, butshould include the higher level guidance for practitioners on how to act in different systems development environments.

Information System Consolidation in a Multinational Corporation

Tietojärjestelmien konsolidointi on eräs vallalla olevista trendeistä, jonka avulla yritykset parantavat järjestelmiensä hallittavuutta sekä kustannustehokkuutta. Tutkimuksen tarkoituksena oli analysoida monikansallisen yrityksen tietojärjestelmän konsolidointiprojektia. Tavoitteena oli kuvata projektissa käytetty konsolidointimalli sekä evaluoida syntyneitä liiketoiminnallisia vaikutuksia. Työn teoreettisessa osassa esitellään tietojärjestelmien hallintaan sekä konsolidointiin vaikuttavia perustekijöitä. Lisäksi analysoidaan merkittäviä liiketoiminnallisia etuja,jotka konsolidointi mahdollistaa. Työn empiirisessä osassa kuvataan yrityksen näkökulmasta konsolidointiin johtavia syitä, projektin kulkua sekä saavutettuja liiketoiminnallisia hyötyjä. Työn tulokset osoittavat, että konsolidoimalla tietojärjestelmiään yritys pystyy parantamaan tehokkuuttaan, palveluastettaan sekä liiketoiminnallista joustavuuttaan monin eri tavoin. Työssä esitettyä konsolidointimallia sekä analyysia liiketoiminnallisista vaikutuksista voidaan hyödyntää tulevien projektien suunnittelussa ja toteutuksessa.

Information and Material Flows in Project Business

Tavoitteena diplomityössä oli kuvata projektiliiketoimintaa harjoittavan yrityksen informaatio- ja materiaalivirrat toimitusprojekteissa. Selvitys haluttiin tehdä tulevia kehitysprojekteja varten. Diplomityö toteutettiin kahessa osassa: laatimalla aiheeseen liittyvä teoriakatsaus ja kartoittamalla todellinen tilanne yrityksen sisällä.Teoriaosassa kuvattiin tarkastelualue ja projektiliiketoiminnan erityispiirteitä sekä käsiteltiin tietojärjestelmiä ja materiaalivirran hallintaan liittyviä asioita. Yrityksen informaatio- ja materiaalivirtojen nykytila kartoitettiin laatimalla vuokaaviot kolmen esimerkkituotteen toimitusprojekteista. Kaaviot laadittiin yrityksen sisäisten dokumenttien ja kvalitatiivisten haastattelujen pohjalta. Kaavioiden sisältöä täydennettiin taulukoimalla kaavioissa esiintyvien dokumettien sisältöä. Työn tuloksena muodostui kuva tiedonkäsittelyn nykytilasta myynti- ja toimitusprojekteissa, pelkistetty visio tulevaisuuden tietojärjestelmien rooleista sekä ehdotuksia tulevia kehitysprojekteja varten.

Metsäteollisuusyrityksen tehdasjärjestelmän integrointi globaaliin tuotantoketjun hallintajärjestelmään

Tämän diplomityö käsittelee UPM-Kymmenen paperitoimialoilla käynnissä olevaa Chain 2000 –projektin toteutusta uuden markkinan integroinnin aikana SAP –toiminnanohjausjärjestelmään yhden paperitehtaan näkökulmasta. Koska tehdasjärjestelmän kaikkien osa-alueiden integraatio on erittäin vaativa ja pitkäkestoinen prosessi, keskittyy tämä työ yhden markkinan integraatioon. Tavoitteena on suunnitella, toteuttaa ja testata tässä integroinnissa tarvittavat järjestelmämuutokset ja kuvata integroinnissa käytettäviä työkaluja, toimintamalleja ja prosesseja. Samalla kerrotaan tämän vaativan projektin mukanaan tuomia ongelmia ja ratkaisuja yhden paperitehtaan kannalta. Työssä esitellään erilaisia keinoja ja työkaluja varsinkin IT -projektien hallinnointiin ja toteuttamiseen sekä käydään läpi ohjelmistotestaaminen, ERP -järjestelmät ja tietovarastot. Työ tuo esille miten haastavaa globaalin IT –projektin toteuttaminen on. Tarkastelun tuloksena huomataan, että standardityökalujen käyttö aiheuttaa ongelmia erikoistilanteissa ja väärä informaatio tuo yritykselle ylimääräisiä kustannuksia. Projektin myötä toimintojen toteutuksen painotus ja samalla vastuu tiedon oikeellisuudesta siirtyy jatkuvasti tehtaalle päin. Integraatiotestaamisesta ja tarvittavista muutoksista on diplomityön aikana selviydytty kiitettävästi, mutta täysi varmuus kaikkien integraatioon osallistuvien järjestelmien toimivuudesta saadaan vasta itse käyttöönotossa kesällä 2004. Ylläpito käyttöönoton jälkeen vaatii myös resursseja.

Application Architecture Design for an Industrial Service Company

Työssä oli tavoitteena suunnitella globaali sovellusarkkitehtuuri, joka ohjaa teollisen huoltoyrityksen sovellusten kehitystyötä. Sovellusarkkitehtuuri kuvaa tietokoneohjelmien toiminnallisuuteen loppukäyttäjien näkökulmasta ja sen laatiminen on osa strategista tietojärjestelmäsuunnittelua. Arkkitehtuurin tehtävänä on varmistaa, että tietojärjestelmät suunnitellaan kokonaisuutena tukemaan organisaation toimintaa. Arkkitehtuurin tekemistä ohjasi strategisen tietojärjestelmäsuunnittelun periatteet ja mallit. Tekniikat olivat samoja kuin projektikohtaisessa tietojärjestelmäsuunnittelussa. Sovellusarkkitehtuurin tekeminen alkoi tutustumalla yrityksessä vallitsevaan tilanteeseen sekä liiketoiminta- ja tietotekniikkastrategioihin. Tarkastelun kohteena olivat pääasiassa liiketoimintaprosessit ja käytössä olevat sovellukset. Tutustuminen tapahtui lähinnä haastatteluin ja dokumentteihin tutustumalla. Seuraavaksi johdettiin vaatimukset tulevaisuuden sovelluksille haastatteluista ja edellisen vaiheen materiaalin perusteella. Liiketoiminnan kannalta tärkeimmät vaatimukset valittiin täytettäväksi arkkitehtuurilla. Varsinaisen arkitehtuurin tekeminen oli lähinnä sovellusten valitsemisesta ja niiden keskinäisten suhteiden määrittelyä. Arkkitehtuurin perusteella määritettiin kehityshankeet.

Software Security Design and Testing

Elektroninen kaupankäynti ja pankkipalvelut ovat herättäneet toiminnan jatkuvuuden kannalta erittäin kriittisen kysymyksen siitä, kuinka näitä palveluja pystytään suojaamaan järjestäytynyttä rikollisuutta ja erilaisia hyväksikäyttöjä vastaan.

Dokumenttien hallinta voimalaitosliiketoiminnassa

Diplomityön tavoitteena oli löytää voimalaitosprojektin dokumenttien hallinnan epäjatkuvuuskohdat, mikä ne aiheuttaa ja millä toimenpiteillä dokumenttien hallintaa voidaan parantaa. Tietojärjestelmien, tiedon ja dokumenttien hallinnan merkitys kasvaa yhä enenevässä määrin globaalissa verkostoliiketoiminnassa. Tieto on varastoituna voimalaitoksen suunnittelu-, rakentamis- sekä käyttö- ja ylläpitodokumenteissa. Dokumentit pitää pystyä jäljittämään tietojärjestelmistä ajasta ja paikasta riippumatta laitoksen koko elinkaaren ajan. Laitosdokumentaatiota hyödynnetään laitoksen käyttö- ja ylläpitotoimintojen, tuotekehityksen sekä uusien projektien lähtötietona. Haastatteluilla selvitettiin dokumentoinnin tilaa eräässä laajassa hajautetussa voimalaitosprojektissa. Haastattelujen tuloksia ja yrityksen sisäistä dokumentoinnin ohjeistusta vertaamalla havaittiin, että tiedon siirtoa myynniltä projektille tulee kehittää, samoin kuin dokumenttien tarkastus- ja hyväksymiskäytäntöjä. Dokumenttien käytettävyys edellyttää tietojärjestelmien integrointia ja metatietojen määrittelyä. Työn tuloksena on syntynyt karkean tason tietovirtakaavio sekä dokumentoinnin prosessikuvaukset parantamaan yrityksen ja sen alihankkijoiden välistä kommunikaatiota.

Toimitusketjun kehittäminen logistiikkaintegraattorin avulla

Globaalissa taloudessa yritysten rakenteet ovat kehittyneet yhteistyöverkostoiksi, joissa yritykset pyrkivät keskittymään ydinosaamiseensa ja tuottamaan muut toiminnot yhteistyökumppaneilla. Nykyisin yhä suurempi osa myös logistisista toiminnoista tuotetaan kolmansilla osapuolilla. Logistiikan piirissä saavutettavat synergiaedut ovat suuret ja monet yritykset niitä ovat myös jo saavuttaneet. Menestyksekkäät esimerkit ulkoistamisista ja toisaalta kehittyvän tietotekniikan tuomat uudet toimintamahdollisuudet johtavat ulkoistamisen, 3PL toiminnan, entistäkin suurempaan suosioon. Ongelmaksi on yrityksille muodostunut yhteistyökumppaneiden suuri määrä. Kun ydinosaamisalueen ulkopuolisia tehtäviä on jaettu useille eri yritykselle, tulee yhteistyöverkoston hallinnasta haasteellinen tehtävä, ja siihen vaaditaan kalliita tietojärjestelmiä. Kustannusten säästö saattoi kuitenkin olla ulkoistaneen yrityksen motiivi! Kaiken lisäksi toimitusketjun hallinnan periaatteiden mukaisesti tiukka toimitusketjun sisäinen koordinointi on välttämättömyys arvoprosessin tehokkuuudelle. Tutkimuksen tarkoituksena on selvittää 4PL toimintamallin logiikka, sekä kuinka sitä voidaan käyttää ratkaisemaan 3PL toiminnan ongelmakohtia. Case osuudessa esitellään kahden haastateluin selvitetyn logistiikkaintegraattorin toiminta ja tarkastellaan niiden toiminnan pohjalta teoreettista mallia. Tutkimuksen toisena päätavoitteena on selvittää toimitusketjun hallinnan periaatteet kehitettäessä toimitusketjua sekä tutkia 4PL toimintamallia näiden teorioiden valossa. Tutkielmassa esitetään toimitusketjun hallinnan integraatiofilosofian mukaiset periaatteet, jossa integroidaan toimitusketjun 8 avainprosessia. Tutkimuksen tulokset osoittavat, että joint venture yrityksenä perustettavan logistiikkaintegraattorin käyttö toimitusketjussa voi parantaa ennenkaikkea koordinointiongelmia, pienentää logistisia kustannuksia, sekä tehokkaasti vähentää niitä ongelmia, joita kolmannen osapuolen palveluntarjoajien käyttö yritykselle aiheuttaa. Tutkimuksessa esitetään myös kuinka logistiikkaintegraattorin toimintaperiaatteita voidaan laajentaa arvoketjuintegraattoriksi ja kuinka se voi auttaa toimitusketjun avainprosessien integroinnissa, synergiaetujen hyödyntämisessä ja koko toimitusketjun tehokkaassa hallinnassa.

Clustering and International Competitiveness of Information Technology Industry in the Saint Petersburg Area

The main objective of this study is to assess the potential of the information technology industry in the Saint Petersburg area to become one of the new key industries in the Russian economy. To achieve this objective, the study analyzes especially the international competitiveness of the industry and the conditions for clustering. Russia is currently heavily dependent on its natural resources, which are the main source of its recent economic growth. In order to achieve good long-term economic performance, Russia needs diversification in its well-performing industries in addition to the ones operating in the field of natural resources. The Russian government has acknowledged this and started special initiatives to promote such other industries as information technology and nanotechnology. An interesting industry that is basically less than 20 years old and fast growing in Russia, is information technology. Information technology activities and markets are mainly concentrated in Russia’s two biggest cities, Moscow and Saint Petersburg, and areas around them. The information technology industry in the Saint Petersburg area, although smaller than Moscow, is especially dynamic and is gaining increasing foreign company presence. However, the industry is not yet internationally competitive as it lacks substantial and sustainable competitive advantages. The industry is also merely a potential global information technology cluster, as it lacks the competitive edge and a wide supplier and manufacturing base and other related parts of the whole information technology value system. Alone, the industry will not become a key industry in Russia, but it will, on the other hand, have an important supporting role for the development of other industries. The information technology market in the Saint Petersburg area is already large and if more tightly integrated to Moscow, they will together form a huge and still growing market sufficient for most companies operating in Russia currently and in the future. Therefore, the potential of information technology inside Russia is immense.

Clustering and international competitiveness of information technology industry in the Saint Petersburg area

The main objective of this study is to assess the potential of the information technology industry in the Saint Petersburg area to become one of the new key industries in the Russian economy. To achieve this objective, the study analyzes especially the international competitiveness of the industry and the conditions for clustering. Russia is currently heavily dependent on its natural resources, which are the main source of its recent economic growth. In order to achieve good long-term economic performance, Russia needs diversification in its well-performing industries in addition to the ones operating in the field of natural resources. The Russian government has acknowledged this and started special initiatives to promote such other industries as information technology and nanotechnology. An interesting industry that is basically less than 20 years old and fast growing in Russia, is information technology. Information technology activities and markets are mainly concentrated in Russia’s two biggest cities, Moscow and Saint Petersburg, and areas around them. The information technology industry in the Saint Petersburg area, although smaller than Moscow, is especially dynamic and is gaining increasing foreign company presence. However, the industry is not yet internationally competitive as it lacks substantial and sustainable competitive advantages. The industry is also merely a potential global information technology cluster, as it lacks the competitive edge and a wide supplier and manufacturing base and other related parts of the whole information technology value system. Alone, the industry will not become a key industry in Russia, but it will, on the other hand, have an important supporting role for the development of other industries. The information technology market in the Saint Petersburg area is already large and if more tightly integrated to Moscow, they will together form a huge and still growing market sufficient for most companies operating in Russia currently and in the future. Therefore, the potential of information technology inside Russia is immense.

Managing the Front End of Innovation in a Networked Company Environment - Combining Strategy, Processes and Systems of Innovation

The objective of the thesis is to enhance the understanding about the management of the front end phases of the innovation process in a networked environment. The thesis approaches the front end of innovation from three perspectives, including the strategy, processes and systems of innovation. The purpose of the use of different perspectives in the thesis is that of providing an extensive systemic view of the front end, and uncovering the complex nature of innovation management. The context of the research is the networked operating environment of firms. The unit of analysis is the firm itself or its innovation processes, which means that this research approaches the innovation networks from the point of view of a firm. The strategy perspective of the thesis emphasises the importance of purposeful innovation management, the innovation strategy of firms. The role of innovation processes is critical in carrying out innovation strategies in practice, supporting the development of organizational routines for innovation, and driving the strategic renewal of companies. The primary focus of the thesis from systems perspective is on idea management systems, which are defined as a part of innovation management systems, and defined for this thesis as any working combination of methodology and tools (manual or IT-supported) that enhance the management of innovations within their early phases. The main contribution of the thesis are the managerial frameworks developed for managing the front end of innovation, which purposefully “wire” the front end of innovation into the strategy and business processes of a firm. The thesis contributes to modern innovation management by connecting the internal and external collaboration networks as foundational elements for successful management of the early phases of innovation processes in a dynamic environment. The innovation capability of a firm is largely defined by its ability to rely on and make use of internal and external collaboration already during the front end activities, which by definition include opportunity identification and analysis, idea generation, profileration and selection, and concept definition. More specifically, coordination of the interfaces between these activities, and between the internal and external innovation environments of a firm is emphasised. The role of information systems, in particular idea management systems, is to support and delineate the innovation-oriented behaviour and interaction of individuals and organizations during front end activities. The findings and frameworks developed in the thesis can be used by companies for purposeful promotion of their front end processes. The thesis provides a systemic strategy framework for managing the front end of innovation – not as a separate process, but as an elemental bundle ofactivities that is closely linked to the overall innovation process and strategy of a firm in a distributed environment. The theoretical contribution of the thesis relies on the advancement of the open innovation paradigm in the strategic context of a firm within its internal and external innovation environments. This thesis applies the constructive research approach and case study methodology to provide theoretically significant results, which are also practically beneficial.

Machine Learning and Clinical Text. Supporting Health Information Flow

Fluent health information flow is critical for clinical decision-making. However, a considerable part of this information is free-form text and inabilities to utilize it create risks to patient safety and cost-­effective hospital administration. Methods for automated processing of clinical text are emerging. The aim in this doctoral dissertation is to study machine learning and clinical text in order to support health information flow.First, by analyzing the content of authentic patient records, the aim is to specify clinical needs in order to guide the development of machine learning applications.The contributions are a model of the ideal information flow,a model of the problems and challenges in reality, and a road map for the technology development. Second, by developing applications for practical cases,the aim is to concretize ways to support health information flow. Altogether five machine learning applications for three practical cases are described: The first two applications are binary classification and regression related to the practical case of topic labeling and relevance ranking.The third and fourth application are supervised and unsupervised multi-class classification for the practical case of topic segmentation and labeling.These four applications are tested with Finnish intensive care patient records.The fifth application is multi-label classification for the practical task of diagnosis coding. It is tested with English radiology reports.The performance of all these applications is promising. Third, the aim is to study how the quality of machine learning applications can be reliably evaluated.The associations between performance evaluation measures and methods are addressed,and a new hold-out method is introduced.This method contributes not only to processing time but also to the evaluation diversity and quality. The main conclusion is that developing machine learning applications for text requires interdisciplinary, international collaboration. Practical cases are very different, and hence the development must begin from genuine user needs and domain expertise. The technological expertise must cover linguistics,machine learning, and information systems. Finally, the methods must be evaluated both statistically and through authentic user-feedback.