Search Interfaces on the Web: Querying and Characterizing

Current-day web search engines (e.g., Google) do not crawl and index a significant portion of theWeb and, hence, web users relying on search engines only are unable to discover and access a large amount of information from the non-indexable part of the Web. Specifically, dynamic pages generated based on parameters provided by a user via web search forms (or search interfaces) are not indexed by search engines and cannot be found in searchers’ results. Such search interfaces provide web users with an online access to myriads of databases on the Web. In order to obtain some information from a web database of interest, a user issues his/her query by specifying query terms in a search form and receives the query results, a set of dynamic pages that embed required information from a database. At the same time, issuing a query via an arbitrary search interface is an extremely complex task for any kind of automatic agents including web crawlers, which, at least up to the present day, do not even attempt to pass through web forms on a large scale. In this thesis, our primary and key object of study is a huge portion of the Web (hereafter referred as the deep Web) hidden behind web search interfaces. We concentrate on three classes of problems around the deep Web: characterization of deep Web, finding and classifying deep web resources, and querying web databases. Characterizing deep Web: Though the term deep Web was coined in 2000, which is sufficiently long ago for any web-related concept/technology, we still do not know many important characteristics of the deep Web. Another matter of concern is that surveys of the deep Web existing so far are predominantly based on study of deep web sites in English. One can then expect that findings from these surveys may be biased, especially owing to a steady increase in non-English web content. In this way, surveying of national segments of the deep Web is of interest not only to national communities but to the whole web community as well. In this thesis, we propose two new methods for estimating the main parameters of deep Web. We use the suggested methods to estimate the scale of one specific national segment of the Web and report our findings. We also build and make publicly available a dataset describing more than 200 web databases from the national segment of the Web. Finding deep web resources: The deep Web has been growing at a very fast pace. It has been estimated that there are hundred thousands of deep web sites. Due to the huge volume of information in the deep Web, there has been a significant interest to approaches that allow users and computer applications to leverage this information. Most approaches assumed that search interfaces to web databases of interest are already discovered and known to query systems. However, such assumptions do not hold true mostly because of the large scale of the deep Web – indeed, for any given domain of interest there are too many web databases with relevant content. Thus, the ability to locate search interfaces to web databases becomes a key requirement for any application accessing the deep Web. In this thesis, we describe the architecture of the I-Crawler, a system for finding and classifying search interfaces. Specifically, the I-Crawler is intentionally designed to be used in deepWeb characterization studies and for constructing directories of deep web resources. Unlike almost all other approaches to the deep Web existing so far, the I-Crawler is able to recognize and analyze JavaScript-rich and non-HTML searchable forms. Querying web databases: Retrieving information by filling out web search forms is a typical task for a web user. This is all the more so as interfaces of conventional search engines are also web forms. At present, a user needs to manually provide input values to search interfaces and then extract required data from the pages with results. The manual filling out forms is not feasible and cumbersome in cases of complex queries but such kind of queries are essential for many web searches especially in the area of e-commerce. In this way, the automation of querying and retrieving data behind search interfaces is desirable and essential for such tasks as building domain-independent deep web crawlers and automated web agents, searching for domain-specific information (vertical search engines), and for extraction and integration of information from various deep web resources. We present a data model for representing search interfaces and discuss techniques for extracting field labels, client-side scripts and structured data from HTML pages. We also describe a representation of result pages and discuss how to extract and store results of form queries. Besides, we present a user-friendly and expressive form query language that allows one to retrieve information behind search interfaces and extract useful data from the result pages based on specified conditions. We implement a prototype system for querying web databases and describe its architecture and components design.

HiberActive: Pro-Active Archiving of Web References from Scholarly Articles

Presentation at Open Repositories 2014, Helsinki, Finland, June 9-13, 2014

Farmasian verkkolähteiden arviointi osana farmasian verkko-opetusta

Summary: Valuating pharmacy web resources as a part of pharmacy web teaching

Social tagging within task management

Social tagging evolved in response to a need to tag heterogeneous objects, the automated tagging of which is usually not feasible by current technological means. Social tagging can be used for more flexible competence management within organizations. The profiles of employees can be built in the form of groups of tags, as employees tag each other, based on their familiarity of each other’s expertise. This can serve as a replacement for the more traditional competence management approaches, which usually become outdated due to social and organizational hurdles, and obsolete data. These limitations can be overcome by people tagging, as the information revealed by such tags is usually based on most recent employee interaction and knowledge. Task management as part of personal information management aims at the support of users’ individual task handling. This can include collaborating with other individuals, sharing one’s knowledge, both functional and process-related, and distributing documents and web resources. In this context, Task patterns can be used as templates that collect information and experience around tasks associated to it during run time, facilitating agility. The effective collaboration among contributors necessitates the means to find the appropriate individuals to work with on the task, and this can be made possible by using social tagging to describe individual competencies. The goal of this study is to support finding and tagging people within task management, through the effective exploitation of the work/task context. This involves the utilization of knowledge of the workers’ expertise, nature of the task/task pattern and information available from the documents and web resources attached to the task. Vice versa, task management provides an excellent environment for social tagging due to the task context that already provides suitable tags. The study also aims at assisting users of the task management solution with the collaborative construction of light-weight ontology by inferring semantic relations between tags. The thesis project aims at an implementation of people finding & tagging within the java application for task management that consumes web services, which provide the required ontology for the organization.

Translating with the Web. Professional translators' information-seeking behaviour in translation with online resources

Tämän tutkielman aiheena on ammattikääntäjien tiedonhaku, kun käytettävissä on ainoastaan verkkolähteitä. Tutkimuksessa on tarkasteltu, mistä ja miten ammattikääntäjät etsivät tietoa internetistä kääntäessään lähtötekstiä englannista suomeen. Lisäksi tutkimuksen tarkoituksena on osoittaa, että tiedonhakutaidot ja lähdekriittisyys ovat käännöskompetensseja, joita tulisi sekä ylläpitää että opettaa osana kääntäjäkoulutusta. Tutkimuksen aineisto kerättiin empiirisesti käyttämällä kolmea metodia. Käännösprosessi ja sen aikana tapahtunut tiedonhaku tallennettiin käyttäen Camtasia-näyttövideointiohjelmaa ja Translog-II -näppäilyntallennusohjelmaa. Lisäksi tutkimukseen osallistuneet kääntäjät täyttivät kaksi kyselyä, joista ensimmäinen sisälsi taustatietokysymyksiä ja toinen itse prosessiin liittyviä retrospektiivisiä kysymyksiä. Kyselyt toteutettiin Webropol-kyselytyökalulla. Aineistoa kerättiin yhteensä viidestä koetilanteesta. Tutkimuksessa tarkasteltiin lähemmin kolmen ammattikääntäjän tiedon-hakutoimintoja erottelemalla käännösprosesseista ne tauot, joiden aikana kääntäjät etsivät tietoa internetistä. Käytettyjen verkkolähteiden osalta tutkimuksessa saatiin vastaavia tuloksia kuin aiemmissakin tutkimuksissa: eniten käytettyjä olivat Google, Wikipedia sekä erilaiset verkkosanakirjat. Tässä tutkimuksessa kuitenkin paljastui, että ammattikääntäjien tiedonhaun toimintamallit vaihtelevat riippuen niin kääntäjän erikoisalasta kuin hänen tiedonhakutaitojensa tasosta. Joutuessaan työskentelemään tutun työympäristönsä ja oman erikoisalansa ulkopuolella turvautuu myös osa ammattikääntäjistä alkeellisimpiin tiedonhakutekniikoihin, joita käännöstieteen opiskelijoiden on havaittu yleisesti käyttävän. Tulokset paljastivat myös, että tiedonhaku voi viedä jopa 70 prosenttia koko käännösprosessiin kuluvasta ajasta riippuen kääntäjän aiemmasta lähtötekstin aihepiiriin liittyvästä tietopohjasta ja tiedonhaun tehokkuudesta. Tutkimuksessa saatujen tulosten pohjalta voidaan sanoa, että myös ammattikääntäjien tulisi kehittää tiedonhakutaitojaan pitääkseen käännösprosessinsa tehokkaana. Lisäksi kääntäjien pitäisi muistaa arvioida kriittisesti käyttämiään tietolähteitä: lähdekritiikki on tarpeen erityisesti verkkolähteitä käytettäessä. Tästä syystä tiedonhakutaitoja ja lähdekriittisyyttä tulisikin opettaa ja harjoitella jo osana kääntäjäkoulutusta. Kääntäjien ei myöskään pidä jättää tiedonhakua pelkkien verkkolähteiden varaan, vaan jatkossakin käyttää hyväkseen niin painettuja tietolähteitä kuin myös henkilölähteitä.

Aerodynamical instability of web

Diplomityön tavoitteena oli tutkia miten ilman turbulenttisuus vaikuttaa tasaisesti liikkuvan rainan tilaan. Yhtenä sovelluskohteena teollisuudessa voidaan mainita esimerkiksi leiju-kuivain. Tiedetään, että konenopeuksien kasvu ja siitä johtuva ilmavirran nopeuden kasvu aiheuttaa voimavaikutuksia rainaan ja voi aiheuttaa lepatusta. Lepatus johtaa dynaamiseen epästabiilisuuteen, joka voidaan havaita, kun lineaarinen systeemi tulee epävakaaksi ja joh-taa epälineaariseen, rajoitettuun värähtelyyn. Lepatus huonontaa tuotteiden laatua ja voi johtaa ratakatkoihin. Työssä on esitetty tietoa ilman ja rainan vuorovaikutuksesta, jota hyödyntämällä voidaan kehittää yksinkertaistettu malli, jonka avulla liikkuvaa rainaa voidaan simuloida kuivaimes-sa. Kaasufaasin virtausyhtälöt on ratkaistu eri turbulenttimalleja käyttäen. Myös viskoelas-tisen rainan muodonmuutosta on tarkasteltu. Koska rainalle ei ole kirjallisuudesta saatavilla tarkkoja fysikaalisia ja mekaanisia arvoja, näitä ominaisuuksia testattiin eri arvoilla, jotta rainan käyttäytymistä jännityksen alaisena voidaan tarkastella. Näiden ominaisuuksien tun-teminen on ensiarvoisen tärkeää määritettäessä rainan aeroviskoelastista käyttäytymistä. Virtaussimulointi on kallista ja aikaa vievää. Tämä tarkoittaa uusien tutkimusmenetelmien omaksumista. Tässä työssä vaihtoehtoisena lähestymistapana on esitetty yksinkertaistettu malli, joka sisältää ilman ja rainan vuorovaikutusta kuvaavat ominaisuudet. Mallin avulla saadaan tietoa epälineaarisuuden ja turbulenssin vaikutuksesta sekä monimutkaisesta yh-teydestä stabiilisuuden ja ulkoisesti aikaansaadun värähtelyn sekä itse aiheutetun värähtelyn välillä. Työn lopussa on esitetty havainnollinen esimerkki, jolla voidaan kuvata olosuhteita, jossa rainan tasainen liike muuttuu epävakaaksi. Kun turbulenttisuudesta johtuva painevaih-telu ylittää tietyn rajan, rainan värähtely kasvaa muuttuen satunnaisesta järjestäytyneeksi. Saaduttulokset osoittavat, että turbulenttisuudella on suuri vaikutus eikä sitä voi jättää huomioimatta. Myös rainan viskoelastiset ominaisuudet tulee huomioida, jotta rainan käyt-täytymistä voidaan kuvata tarkasti.

Customer driven business model – connecting customer value to firm resources in ICT value networks

The objective of this thesis is to provide a business model framework that connects customer value to firm resources and explains the change logic of the business model. Strategic supply management and especially dynamic value network management as its scope, the dissertation is based on basic economic theories, transaction cost economics and the resource-based view. The main research question is how the changing customer values should be taken into account when planning business in a networked environment. The main question is divided into questions that form the basic research problems for the separate case studies presented in the five Publications. This research adopts the case study strategy, and the constructive research approach within it. The material consists of data from several Delphi panels and expert workshops, software pilot documents, company financial statements and information on investor relations on the companies’ web sites. The cases used in this study are a mobile multi-player game value network, smart phone and “Skype mobile” services, the business models of AOL, eBay, Google, Amazon and a telecom operator, a virtual city portal business system and a multi-play offering. The main contribution of this dissertation is bridging the gap between firm resources and customer value. This has been done by theorizing the business model concept and connecting it to both the resource-based view and customer value. This thesis contributes to the resource-based view, which deals with customer value and firm resources needed to deliver the value but has a gap in explaining how the customer value changes should be connected to the changes in key resources. This dissertation also provides tools and processes for analyzing the customer value preferences of ICT services, constructing and analyzing business models and business concept innovation and conducting resource analysis.

Resources and capabilities approach to online strategy – Multiple-case study of Finnish magazines' online services

Most Finnish periodical magazines have a website, often an online service. The objective of this thesis is to understand the magazines’ resources and capabilities and match them with online strategies’ goals and objectives. The thesis’ theoretical part focuses on explaining and classifying resources, capabilities, goals and objectives, and applying everything into Finnish magazine publishing context. In the empirical part, there is a comparative case study of four magazines. The findings indicate that with cooperating, advertising and community hosting capabilities magazines may utilize their human, brand, content and customer base resources. The resources can be further addressed to reach profitability, customer-centricity and brand congruency goals.

Web-sovellus Google App Engine alustalle

App Engine on lyhenne englanninkielisistä termeistä application, sovellus ja engine, moottori. Kyseessä on Google, Inc. -konsernin toteuttama kaupallinen palvelu, joka noudattaa pilvimallin tietojenkäsittelyn periaatteita ja mahdollistaa asiakkaan oman sovelluskehityksen. Järjestelmään on mahdollista ohjelmoida itse ideoitu palvelu Internet - verkon välityksellä käytettäväksi, joko yksityisesti tai julkisesti. Kyse on siis hajautetusta palvelinjärjestelmästä, jonka tarjoaa dynaamisesti kuormitukseen sopeutuvan sovellusalustan, jossa asiakas ei vuokraa virtuaalikoneita. Myös järjestelmän tarjoama tallennuskapasiteetti on saatavilla joustavasti. Itse kandidaatintyössä syvennytään yksityiskohtaisemmin sovelluksen toteuttamiseen palvelussa, rajoitteisiin ja soveltuvuuteen. Alussa käydään läpi pilvikäsite, joista monilla tietokoneiden käyttäjillä on epäselvä käsitys. Erilaisia kokonaisuuksia voidaan luoda erittäin monella tavalla, joista rajaamme käsittelyn kohteeksi toteuttamiskelpoiset yleiset ratkaisut.

Viitearkkitehtuuri Windows-sovelluksen käyttöliittymän modernisoimiseksi web-sovellukseksi

IT-järjestelmillä on tärkeä rooli organisaation liiketoiminnassa. Koska organisaation liiketoimintavaatimukset ja strategia muuttuvat ympäröivän maailman mukaan, täytyy järjestelmän arkkitehtuurin sopeutua vallitsevaan tilanteeseen sekä mahdollisiin muutoksiin lyhyellä ja pitkällä aikavälillä. Modernin web-sovelluksen arkkitehtuuri sopeutuu organisaation liiketoiminnan haasteisiin. Erityisesti hallinnolliseksi ongelmaksi organisaatiossa muodostuvat Windows-sovellukset, koska niiden ylläpito sitoo henkilöresursseja ja niiden käyttökonteksti on rajallinen. Tästä syystä organisaatiot ovat käyneet etsimään ratkaisuja kuinka korvata Windows-sovellukset web-sovelluksilla. Kustannustehokas ratkaisu on modernisoida Windows-sovelluksen käyttöliittymä web-sovellukseksi. Tämän diplomityön tavoitteena oli laatia Logica Suomi Oy yritykselle viitearkkitehtuuri Win-dows-sovelluksen käyttöliittymän modernisoimiseksi web-sovellukseksi. Työ suoritettiin Proof of Concept projektissa, jossa modernisointiin Logican pääkäyttäjäsovellus. Työn tarkoituksena oli tunnistaa laajalti käytetyt arkkitehtuurimallit ja menetelmät jotka mahdollistavat modernisoinnin toteutuksen. Lisäksi tarkoitus oli tunnistaa menetelmät ja ohjelmistot jotka mahdollistavat kustannustehokkaan ja laadukkaan web-sovelluksen kehittämisen ja toteuttamisen. Työn osatavoitteena oli laatia modernisoitavan pääkäyttäjäsovelluksen kokonaisarkkitehtuuri. Työn tuloksena saatiin viitearkkitehtuuri jota voidaan käyttää ja hyödyntää ohjelmistokehitysprojekteissa, asiakkaan dokumentaatiossa, myynnissä ja markkinoinnissa. Viitearkkitehtuurissa on esitelty modernit web-teknologiat joilla on mahdollista toteuttaa web-sovellus jonka käyttökokemus vastaa Windows-sovellusta. Lisäksi tuloksena saatiin pääkäyttäjäsovelluksen kokonaisarkkitehtuuri, jonka tärkeimpiä tuloksia ovat modernisoinnin tavoitetila ja sovellusarkkitehtuuri. Tärkeimpiä jatkotoimenpiteitä ovat viitearkkitehtuuriin pohjautuvan modernisointiviitekehyksen laadinta sekä modernisointiprojektin arviointiin käytettävien mittareiden määrittely, suunnittelu ja toteutus. Relevanttien mittareiden avulla voidaan todeta, vastaako modernisoitu sovellus organisaation liiketoimintavaatimuksia ja strategiaa.

Design and validation of stateful composite RESTful web services

A web service is a software system that provides a machine-processable interface to the other machines over the network using different Internet protocols. They are being increasingly used in the industry in order to automate different tasks and offer services to a wider audience. The REST architectural style aims at producing scalable and extensible web services using technologies that play well with the existing tools and infrastructure of the web. It provides a uniform set of operation that can be used to invoke a CRUD interface (create, retrieve, update and delete) of a web service. The stateless behavior of the service interface requires that every request to a resource is independent of the previous ones facilitating scalability. Automated systems, e.g., hotel reservation systems, provide advanced scenarios for stateful services that require a certain sequence of requests that must be followed in order to fulfill the service goals. Designing and developing such services for advanced scenarios with REST constraints require rigorous approaches that are capable of creating web services that can be trusted for their behavior. Systems that can be trusted for their behavior can be termed as dependable systems. This thesis presents an integrated design, analysis and validation approach that facilitates the service developer to create dependable and stateful REST web services. The main contribution of this thesis is that we provide a novel model-driven methodology to design behavioral REST web service interfaces and their compositions. The behavioral interfaces provide information on what methods can be invoked on a service and the pre- and post-conditions of these methods. The methodology uses Unified Modeling Language (UML), as the modeling language, which has a wide user base and has mature tools that are continuously evolving. We have used UML class diagram and UML state machine diagram with additional design constraints to provide resource and behavioral models, respectively, for designing REST web service interfaces. These service design models serve as a specification document and the information presented in them have manifold applications. The service design models also contain information about the time and domain requirements of the service that can help in requirement traceability which is an important part of our approach. Requirement traceability helps in capturing faults in the design models and other elements of software development environment by tracing back and forth the unfulfilled requirements of the service. The information about service actors is also included in the design models which is required for authenticating the service requests by authorized actors since not all types of users have access to all the resources. In addition, following our design approach, the service developer can ensure that the designed web service interfaces will be REST compliant. The second contribution of this thesis is consistency analysis of the behavioral REST interfaces. To overcome the inconsistency problem and design errors in our service models, we have used semantic technologies. The REST interfaces are represented in web ontology language, OWL2, that can be part of the semantic web. These interfaces are used with OWL 2 reasoners to check unsatisfiable concepts which result in implementations that fail. This work is fully automated thanks to the implemented translation tool and the existing OWL 2 reasoners. The third contribution of this thesis is the verification and validation of REST web services. We have used model checking techniques with UPPAAL model checker for this purpose. The timed automata of UML based service design models are generated with our transformation tool that are verified for their basic characteristics like deadlock freedom, liveness, reachability and safety. The implementation of a web service is tested using a black-box testing approach. Test cases are generated from the UPPAAL timed automata and using the online testing tool, UPPAAL TRON, the service implementation is validated at runtime against its specifications. Requirement traceability is also addressed in our validation approach with which we can see what service goals are met and trace back the unfulfilled service goals to detect the faults in the design models. A final contribution of the thesis is an implementation of behavioral REST interfaces and service monitors from the service design models. The partial code generation tool creates code skeletons of REST web services with method pre and post-conditions. The preconditions of methods constrain the user to invoke the stateful REST service under the right conditions and the post condition constraint the service developer to implement the right functionality. The details of the methods can be manually inserted by the developer as required. We do not target complete automation because we focus only on the interface aspects of the web service. The applicability of the approach is demonstrated with a pedagogical example of a hotel room booking service and a relatively complex worked example of holiday booking service taken from the industrial context. The former example presents a simple explanation of the approach and the later worked example shows how stateful and timed web services offering complex scenarios and involving other web services can be constructed using our approach.

A Web-Based Environmental Toolkit to Support Small and Medium-Sized Enterprises in the Implementation of Their Own Environmental Management System

With small and medium sized-enterprises (SMEs) taking up the majority of the global businesses, it is important they act in an environmentally responsible manner. Environmental management systems (EMS) help companies evaluate and improve their environmental impact but they often require human, financial, and temporary resources that not all SMEs can provide. This research encompasses interviews with representatives of two small enterprises in Germany to provide insights into their understanding, and knowledge of an EMS and how they perceive their responsibility towards the environment. Furthermore, it presents a toolkit created especially for small and medium-sized enterprises that serves as a simplified version of an EMS based on the ISO 14001 standard and is evaluated by the representatives of the SMEs. Some of the findings are: while being open to the idea of improving their environmental impact, SMEs do not always feel it is their responsibility to do so; they seem to lack the means to fully implement an EMS. The developed toolkit is considered useful and usable and recommendations are drawn for its future enhancement.