Demonstration Platform for Visual Quality Metrics

This thesis presents two graphical user interfaces for the project DigiQ - Fusion of Digital and Visual Print Quality, a project for computationally modeling the subjective human experience of print quality by measuring the image with certain metrics. After presenting the user interfaces, methods for reducing the computation time of several of the metrics and the image registration process required to compute the metrics, and details of their performance are given. The weighted sample method for the image registration process was able to signifigantly decrease the calculation times while resulting in some error. The random sampling method for the metrics greatly reduced calculation time while maintaining excellent accuracy, but worked with only two of the metrics.

HTML-teknologian hyödyntäminen Web-sovelluksen prototypoinnissa

Käyttöliittymä on rajapinta käyttäjän ja järjestelmän tarjoamien toimintojen välillä ja sen toimivuus vaikuttaa toimintojen suorittamiseen joko positiivisesti tai negatiivisesti. Täten sovelluksen suunnitteluvaiheessa on hyvä arvioida käyttöliittymän ja sen toimintojen laatua ja kokeilla ideoiden toimivuutta rakentamalla asiasta prototyyppejä. Prototypoinnilla voidaan tunnistaa ja korjata mahdolliset ongelmat jo suunnittelupöydällä. Tämä diplomityö käsittelee Web-sovelluksen kehityksen aikana toteutettua käyttöliittymän ja sen toimintojen prototypointia. Käyttöliittymien mallintamista voidaan toteuttaa erilaisilla menetelmillä, joita työssä käydään läpi teknologisista näkökulmista eli miten prototypointimenetelmiä voidaan soveltaa projektin eri vaiheissa. Prototypoinnin apuna käytettäviin työkaluihin luodaan lyhyt katsaus esitellen yleisellä tasolla muutamia eri sovelluskategorian ohjelmistoja ja lisäksi käsitellään suunnittelumallien hyödyntämistä. Työ osoittaa, että yleisiä prototypointimenetelmiä ja -periaatteita voidaan soveltaa Web-sovellusten prototypoinnissa. Prototypointi on hyödyllistä aloittaa luonnostelemalla ja jatkaa aikaisessa vaiheessa HTML-malleihin, joilla päästään lähelle toteutuksen teknologioita ja mallintamaan sovelluksen luonnetta, ilmettä, tuntumaa ja vuorovaikutusta. HTML-prototyypeistä voidaan jalostaa sekoitetun tarkkuuden malleja ja ne toimivat toteutuksen perustana. Jatkokehityksessä ideoita voidaan esittää useilla eri tarkkuuden tekniikoilla.

Web-käyttöliittymän ajonaikainen parametripohjainen luominen

Työssä tutkitaan eri tekniikoita, joilla web-käyttöliittymä voidaan toteuttaa. Tutkituista tekniikoista valitaan työn tavoitteisiin ja rajoitteisiin parhaiten soveltuvat tekniikat, joita käytetään hyväksi luotaessa varsinainen käyttöliittymäkerros olemassa olevalle web-sovellukselle. Varsinaiset käyttöliittymät luodaan automaattisesti työn aikana toteutettavalla käyttöliittymägeneraattorilla, joka käyttää hyväkseen käyttöliittymiä kuvaavia XML-kuvaustiedostoja. Tekniikoista parhaiten tarpeisiimme soveltui AJAX-lähestymistapa, joka mahdollistaa sivun osittaisen päivittämisen ja täten työpöytäsovellusmaisemman käytettävyyden nopeamman sivun päivityksen vuoksi. Käyttöliittymägeneraattorin käyttämät kuvaustiedostot puolestaan mahdollistavat käyttöliittymäkontrollien valmiin mallintamisen yleisessä kontrollikuvaustiedostossa sekä niiden helpon muokkaamisen ja sijoittelun sivu-kohtaisesti. Lisäksi käyttöliittymäkerros sisältää monipuoliset käyttöliittymäkontrollit.

Kuulla vai kuunnella – käyttäjää osallistavan palveluinnovoinnin lähestymistavan toteuttamisen haasteita julkisella sektorilla

Julkisen sektorin itsensä synnyttämien innovaatioiden ja innovoinnin näkökulma on verrattain tuore innovaatiotutkimuksen tutkimuskohde. Vielä uudempaa lähestymistapaa edustaa käyttäjälähtöinen ja käyttäjää osallistava palveluinnovaatiotutkimus julkisella sektorilla. Käyttäjälähtöisen ja käyttäjää osallistavan palveluinnovoinnin lähestymistavan toteuttamisesta ollaan kiinnostuneita, mutta tieteelliseen tutkimukseen perustuva tieto lähestymistavasta on vielä kohtuullisen niukkaa. Tämän käyttäjälähtöiseen palvelujen innovointiin keskittyvän väitöskirjatutkimuksen päätavoitteena on mikrotasolla tunnistaa ja ryhmitellä käyttäjää osallistavan palveluinnovoinnin lähestymistavan toteuttamisen haasteita julkisella sektorilla. Väitöskirjatutkimuksen alatavoitteena on tutkimuksesta saatavan tiedon avulla muodostaa kysymyslista tukemaan lähestymistavan käyttöönottamista ja toteuttamista julkisen sektorin palveluorganisaatioissa ja -verkostoissa. Julkisen palvelusektorin ohella väitöskirjan tutkimustuloksia voivat soveltuvin osin hyödyntää myös yksityisen ja kolmannen sektorin palveluorganisaatiot ja -verkostot sekä käyttäjälähtöisen innovaatiopolitiikan suunnitteluun ja sen jalkauttamiseen osallistuvat tahot. Haasteita lähestytään tutkimuksessa käyttäjälähtöisen ja käyttäjää osallistavan palveluinnovoinnin lähestymistavan piirteiden kautta ja haasteita tarkastellaan kehittäjäviranomaisten (ryhmätaso) näkökulmasta. Kuntasektori on valittu tutkimukseen edustamaan julkista sektoria. Lähestymistavan piirteiksi tutkimuksessa määritellään käyttäjänäkökulman ohjaava rooli organisaation innovaatiotoiminnan strategisella tasolla ja palvelujen uudistamisprosessien tasoilla, avoimuus (erityisesti käyttäjärajapinta) ja tulkinnallisuus innovaatioprosessien varhaisessa vaiheessa sekä laaja-alainen käsitys innovaatioiden lähteistä käyttäjänäkökulmaa muodostettaessa. Tutkimuksen kohteena on hyvinvointipalveluinnovaatioprosessien varhainen vaihe, jolloin keskeisessä asemassa on uusien ideoiden sekä uuden tiedon ja ymmärryksen hankinta hyödynnettäväksi innovaatioprosessien seuraavissa vaiheissa. Tutkimuksessa rajaudutaan käyttäjälähtöisen palveluinnovoinnin muotoon, jossa käyttäjät intentionaalisesti ja konkreettisesti osallistetaan kehittäjäviranomaisjohtoisiin palveluinnovaatioprosesseihin. Käyttäjiksi tutkimuksessa ymmärretään palvelun loppukäyttäjät palvelujen ”ulkoisina hyödyntäjinä” ja yli sektorialisten palveluprosessien henkilöstö palvelujen ”sisäisinä hyödyntäjinä”. Hyvinvointipalveluista tutkimuksessa ovat edustettuina sosiaali- ja terveyspalvelut sekä ikäihmisten palvelukeskusten tarjoamat palvelut. Kuntasektorin innovaatiotoiminnan kenttä ymmärretään tutkimuksessa verkostomaisena kokonaisuutena, joka ylittää kuntien hallinnolliset rajat. Artikkeliväitöskirjana toteutetun väitöskirjatutkimuksen metodologia perustuu usean tapauksen tapaustutkimukseen (multiple case-studies) ja kvalitatiiviseen tutkimusotteeseen. Työn empiirinen osuus koostuu viidestä artikkelina julkaistusta osatutkimuksesta. Osatutkimuksissa käytetään tapaustutkimuksen eri variaatioita, ja tutkimusaineistot on kerätty kolmesta eri perustutkimusympäristöstä. Osatutkimuksien tapaukset on valittu palvelun käyttäjien ”äänen jatkumon” (the voice of the customer) eri kohdista. Käyttäjän ääntä käytetään tutkimuksessa metodisena ratkaisuna ja metaforana. Lisäksi käyttäjän ääni ymmärretään tutkimuksessa paremminkin kollektiivisena ja laajemmista palvelujen kehittämisnäkökulmista kertovana tekijänä kuin yksittäisten palvelun käyttäjien tarpeista ja toiveista kertovana metaforana. Käyttäjää osallistavan palveluinnovoinnin lähestymistavan toteuttamisen haasteiksi julkisella sektorilla tutkimuksessa tunnistetaan viisi haastetta. Tiivistetysti haasteena on 1. palvelujen käyttäjien subjektiuteen perustuva käyttäjälähtöisyys palvelujen uudistamisessa 2. tunnistaa palvelun käyttäjät innovaatiotoiminnan voimavarana ja rohkaistua heidän osallistamiseensa 3. sitoutuminen yhteistoiminnallisuuteen käyttäjä- ja muita rajapintoja ylittävissä palvelujen uudistamisprosesseissa ja innovaatiohakuisuus työskentelyssä 4. oivaltaa palvelutoivelistoja ja asiakaspalautteita laajempia kehittämisnäkökulmia 5. synnyttää luottamukseen perustuva hyvä kierre palvelun käyttäjien ja kehittäjien välille. Tutkimustuloksena syntyneet haasteet paikannetaan tutkimuksessa käyttäjän äänen jatkumolle erilaisin painotuksin. Lisäksi tutkimustulosten pohjalta tehdään kolme keskeistä johtopäätöstä. Ensinnäkin palvelun kehittäjätahon sekä palvelun loppukäyttäjien ja palvelujen sisäisten hyödyntäjien väliltä on tunnistettavissa innovaatiopotentiaalia sisältäviä rakenteellisia aukkoja. Toiseksi kehittäjäviranomaistahon valmius ja halu laajentaa tiedonmuodostustaan palvelujen uudistamisessa palvelun käyttäjien kanssa yhteisöllisen tiedonmuodostuksen suuntaan on puutteellinen. Kolmanneksi palvelujen kehittäjätaho ei ole sisäistänyt riittävässä määrin käyttäjää osallistavan palveluinnovoinnin lähestymistavan metodologisia perusajatuksia. Tutkimuksessa tunnistetut viisi haastetta osoittavat, että käyttäjää osallistavan palveluinnovoinnin lähestymistavan käyttöönotto hyvinvointipalveluorganisaation tai -verkoston palvelujen innovoinnin lähestymistavaksi ei ole mekaaninen toimenpide. Lähestymistavan käyttöönottoa tukeva kysymyslista perustuu tutkimuksessa tunnistettuihin haasteisiin. Kysymyslista on laadittu siten, että kysymykset liittyvät laajasti julkisten palveluorganisaatioiden ja -verkostojen innovaatiokulttuuriin. Kaksiosaisen kysymyslistan ensimmäisen osan kysymykset käsittelevät innovointia ohjaavia mentaalisia malleja. Ensimmäisessä osassa esitetään esimerkiksi seuraava kysymys: ”Millaista käsitystäpalvelun käyttäjistä (kuntalaisista) sekä käyttäjien ja kehittäjien (viranomaisten) välisestä suhteesta ilmennämme palvelujen innovoinnissa; onko palvelujen käyttäjä (kuntalainen) kohde, jolle kehitetään palveluja, vai onko hän jopa välttämätön kehittämiskumppani?”. Kysymyslistan toisen osan kysymykset liittyvät innovaatiokäytänteisiin ja valmiuksiin. Esimerkkinä voidaan mainita seuraava kaksiosainen kysymys: ”Tukevatko innovaatiokäytänteemme käyttäjärajapinnan ylittäviä innovaatioprosesseja ja sitoudummeko avoimin mielin työskentelyyn palvelun käyttäjien, potentiaalisten käyttäjien tai ei-käyttäjien kanssa? Mitä hyötyjä koemme yhteistoiminnallisuudesta koituvan meille ja käyttäjille sekä innovaation laatuominaisuuksiin?”. Mitä tulee tutkimuksen otsikon alkuosaan ”kuulla vai kuunnella”, vastaus on, että pääpaino on sanalla ”kuulla”. Pohdintaluvussa tuodaan myös esille tarve – tai ainakin kriittisen tarkastelun tarve – käyttäjälähtöisen ja käyttäjää osallistavan palveluinnovoinnin käsitteen ja sen luonteen sekä tavoitteiden määrittelemiselle julkisen sektorin ominaispiirteistä käsin vastapainona alkuperältään yksityisen sektorin liiketoimintakontekstista lähtöisin oleville määrittelyille.

Reaaliaikaisen PMU-mittaustiedon hyödyntäminen voimajärjestelmän valvonnassa

Tämä työ on tehty Fingrid Oyj:lle. Työn tavoitteena oli tutkia, miten reaaliaikaista PMU-mittaustietoa voidaan hyödyntää voimajärjestelmän valvonnassa. Voimajärjestelmän dynaamisia ilmiöitä ovat jännite- ja kulmastabiilius. Työssä tutkittiin voimajärjestelmän kulmastabiiliutta PSS/E-ohjelmalla simuloitujen mittaustulosten perusteella. Fouriermuunnoksen tulokset osoittavat, että huonoiten vaimeneva taajuuskomponentti on 0,3 Hz taajuus. Lisäksi tiedetään, että huonosti vaimeneva taajuuskomponentti rajoittaa siirtokapasiteettia. Voimajärjestelmän stabiiliutta voidaan esittää Wide Area Monitoring -järjestelmien (WAMS) avulla. WAMS perustuu Phasor Measurement -laitteen (PMU) reaaliaikaiseen mittaustekniikkaan. Jännitteen vaihekulman mittaaminen mahdollistaa voimajärjestelmän tilan määrittämisen reaaliajassa. Työssä on esitelty Fingridin käytössä oleva WAMS ja lisäksi esitelty kolmen eri laitetoimittajan WAMS:n rakennetta ja operaattorin käyttöön tarkoitettuja käyttöliittymiä. WAMS:n rakenteet ovat pääpiirteittäin samanlaisia, mutta stabiiliuden visuaalisessa esittämisessä on eroja. PMU -mittaustietoja on mahdollista tuoda käytönvalvontajärjestelmään erillisellä tiedonsiirtoprotokollalla. PMU-mittaustiedon hyödyntäminen käytönvalvontajärjestelmän toimintaaluenäytöllä mahdollistaa verkon tilan esittämisen reaaliajassa. Roottorin kulmastabiilius esitetään Fingridin käytönvalvontajärjestelmässä vaihekulmaerojen avulla ja työssä on esitetty, kuinka vaihekulmaeron arvolla on vaikutus tehonsiirtoon. Vaihekulmaeron arvo kuvaa vian jälkeisen tehoheilahtelun voimakkuutta. PMU-mittaustiedon esittäminen antaa operaattorille selkeämmän kuvan ylläpitää tehonsiirto turvallisella tasolla ja epästabiilin heilahtelun havainnoiminen vähentää suurhäiriön riskiä. Tulevaisuudessa siirtoverkon kehittyessä tarvitaan operaattorin käyttöön myös nopeita stabiilisuutta esittäviä työkaluja.

SharePoint-sovellusten käytettävyys ja sen kehittäminen

Tässä työssä tutkitaan SharePoint-sovellusten käytettävyyden kehittämistä. Käytettävyyden kehittämiselle etsitään keinoja kirjallisuudessa esitetyistä teoreettisista keinoista. Lisäksi selvitetään monipuolisten Internet-sovellusten käytön vaikutuksia SharePoint-sovellusten käytettävyyteen. Tässä työssä toteutetaan SharePoint-ohjelmisto, joka sisältää kaksi erilaista käyttöliittymää. Näitä käyttöliittymiä vertaillaan keskenään käytettävyyden näkökulmasta ja havaitaan, että käyttäjäpalautteen ja monipuolisten Internet-sovellusten ansiosta saadaan toteutettua laadukkaampaa käytettävyyttä. Työssä tehdään kyselytutkimus SharePointia käyttäville yrityksille, jossa selvitetään SharePoint-sovellusten käytettävyyden merkitystä ja laatua. Kyselyyn saadaan vain vähän vastauksia, jonka takia sen pohjalta ei pystytä tekemään yleistäviä johtopäätöksiä.

Service oriented archive based on Fedora Commons

Presentation at Open Repositories 2014, Helsinki, Finland, June 9-13, 2014

Design and evaluation of web interface signs to improve web usability : a semiotic framework

Technological innovations, the development of the internet, and globalization have increased the number and complexity of web applications. As a result, keeping web user interfaces understandable and usable (in terms of ease-of-use, effectiveness, and satisfaction) is a challenge. As part of this, designing userintuitive interface signs (i.e., the small elements of web user interface, e.g., navigational link, command buttons, icons, small images, thumbnails, etc.) is an issue for designers. Interface signs are key elements of web user interfaces because ‘interface signs’ act as a communication artefact to convey web content and system functionality, and because users interact with systems by means of interface signs. In the light of the above, applying semiotic (i.e., the study of signs) concepts on web interface signs will contribute to discover new and important perspectives on web user interface design and evaluation. The thesis mainly focuses on web interface signs and uses the theory of semiotic as a background theory. The underlying aim of this thesis is to provide valuable insights to design and evaluate web user interfaces from a semiotic perspective in order to improve overall web usability. The fundamental research question is formulated as What do practitioners and researchers need to be aware of from a semiotic perspective when designing or evaluating web user interfaces to improve web usability? From a methodological perspective, the thesis follows a design science research (DSR) approach. A systematic literature review and six empirical studies are carried out in this thesis. The empirical studies are carried out with a total of 74 participants in Finland. The steps of a design science research process are followed while the studies were designed and conducted; that includes (a) problem identification and motivation, (b) definition of objectives of a solution, (c) design and development, (d) demonstration, (e) evaluation, and (f) communication. The data is collected using observations in a usability testing lab, by analytical (expert) inspection, with questionnaires, and in structured and semi-structured interviews. User behaviour analysis, qualitative analysis and statistics are used to analyze the study data. The results are summarized as follows and have lead to the following contributions. Firstly, the results present the current status of semiotic research in UI design and evaluation and highlight the importance of considering semiotic concepts in UI design and evaluation. Secondly, the thesis explores interface sign ontologies (i.e., sets of concepts and skills that a user should know to interpret the meaning of interface signs) by providing a set of ontologies used to interpret the meaning of interface signs, and by providing a set of features related to ontology mapping in interpreting the meaning of interface signs. Thirdly, the thesis explores the value of integrating semiotic concepts in usability testing. Fourthly, the thesis proposes a semiotic framework (Semiotic Interface sign Design and Evaluation – SIDE) for interface sign design and evaluation in order to make them intuitive for end users and to improve web usability. The SIDE framework includes a set of determinants and attributes of user-intuitive interface signs, and a set of semiotic heuristics to design and evaluate interface signs. Finally, the thesis assesses (a) the quality of the SIDE framework in terms of performance metrics (e.g., thoroughness, validity, effectiveness, reliability, etc.) and (b) the contributions of the SIDE framework from the evaluators’ perspective.

Toimialakohtaisen tietojärjestelmän käytettävyyden kehittäminen

Työssä on tutkittu toimialakohtaisen tietojärjestelmän käyttöliittymän ja käytettävyyden kehittämistä uuteen sovelluskehittimen versioon siirtymisen yhteydessä. Kirjallisuusosassa käsitellään keskeisiä asioita käyttöliittymien suunnitteluun ja käytettävyyteen kehittämiseen liittyen. Työssä esitetään mahdollisia ratkaisumalleja erinäisiin ongelmiin. Työ sisältää käyttäjäkyselyn, johon vapaaehtoiset järjestelmän käyttäjät osallistuivat. Tämän lisäksi työ sisältää analyysia tutkimuksesta saatujen tulosten perusteella. Lopputuloksena työssä ovat testauksen merkityksen korostuminen ja yhtenäisyys käyttöliittymien suunnittelussa. Myös asiakastyytyväisyyden merkitys tietojärjestelmän käytettävyydessä korostuu.

Tablet-käyttöliittymäsovellus sähköisen asioinnin palvelulle

Tässä diplomityössä oli tavoitteena tutkia käytettävyyttä ja käyttöliittymiä tablet-laitteiden näkökulmasta. Työssä tutkittiin sitä, mikä tekee hyvän tablet-käyttöliittymän ja mitä asioita sen suunnittelussa tulisi huomioida. Lisäksi tehtävänä oli selvittää, miten työn toimeksian-tajan käytössä olevat tekniikat soveltuvat käytettäviksi tablet-laitteiden kanssa. Työn poh-jalta havaittiin, että tablet-käyttöliittymien suunnittelussa tulisi noudattaa vakiintuneita käyttöliittymäsuunnittelun periaatteita, joista tärkeimmät ovat yksinkertaisuus, yhtenäisyys, virheiden ehkäisy ja käyttäjätuki. Hyvän käytettävyyden takaamiseksi suunnittelussa tulisi kuitenkin huomioida tablet-laitteiden erikoispiirteet ja rajoitukset. Tutkimustyön lisäksi diplomityössä toteutettiin yksinkertainen tablet-laitteille suunniteltu käyttöliittymä Vaadin TouchKit -käyttöliittymäkehystä käyttäen.

Data analysis tools and methods for DNA microarray and high-throughput sequencing data

The recent rapid development of biotechnological approaches has enabled the production of large whole genome level biological data sets. In order to handle thesedata sets, reliable and efficient automated tools and methods for data processingand result interpretation are required. Bioinformatics, as the field of studying andprocessing biological data, tries to answer this need by combining methods and approaches across computer science, statistics, mathematics and engineering to studyand process biological data. The need is also increasing for tools that can be used by the biological researchers themselves who may not have a strong statistical or computational background, which requires creating tools and pipelines with intuitive user interfaces, robust analysis workflows and strong emphasis on result reportingand visualization. Within this thesis, several data analysis tools and methods have been developed for analyzing high-throughput biological data sets. These approaches, coveringseveral aspects of high-throughput data analysis, are specifically aimed for gene expression and genotyping data although in principle they are suitable for analyzing other data types as well. Coherent handling of the data across the various data analysis steps is highly important in order to ensure robust and reliable results. Thus,robust data analysis workflows are also described, putting the developed tools andmethods into a wider context. The choice of the correct analysis method may also depend on the properties of the specific data setandthereforeguidelinesforchoosing an optimal method are given. The data analysis tools, methods and workflows developed within this thesis have been applied to several research studies, of which two representative examplesare included in the thesis. The first study focuses on spermatogenesis in murinetestis and the second one examines cell lineage specification in mouse embryonicstem cells.

Search Interfaces on the Web: Querying and Characterizing

Current-day web search engines (e.g., Google) do not crawl and index a significant portion of theWeb and, hence, web users relying on search engines only are unable to discover and access a large amount of information from the non-indexable part of the Web. Specifically, dynamic pages generated based on parameters provided by a user via web search forms (or search interfaces) are not indexed by search engines and cannot be found in searchers’ results. Such search interfaces provide web users with an online access to myriads of databases on the Web. In order to obtain some information from a web database of interest, a user issues his/her query by specifying query terms in a search form and receives the query results, a set of dynamic pages that embed required information from a database. At the same time, issuing a query via an arbitrary search interface is an extremely complex task for any kind of automatic agents including web crawlers, which, at least up to the present day, do not even attempt to pass through web forms on a large scale. In this thesis, our primary and key object of study is a huge portion of the Web (hereafter referred as the deep Web) hidden behind web search interfaces. We concentrate on three classes of problems around the deep Web: characterization of deep Web, finding and classifying deep web resources, and querying web databases. Characterizing deep Web: Though the term deep Web was coined in 2000, which is sufficiently long ago for any web-related concept/technology, we still do not know many important characteristics of the deep Web. Another matter of concern is that surveys of the deep Web existing so far are predominantly based on study of deep web sites in English. One can then expect that findings from these surveys may be biased, especially owing to a steady increase in non-English web content. In this way, surveying of national segments of the deep Web is of interest not only to national communities but to the whole web community as well. In this thesis, we propose two new methods for estimating the main parameters of deep Web. We use the suggested methods to estimate the scale of one specific national segment of the Web and report our findings. We also build and make publicly available a dataset describing more than 200 web databases from the national segment of the Web. Finding deep web resources: The deep Web has been growing at a very fast pace. It has been estimated that there are hundred thousands of deep web sites. Due to the huge volume of information in the deep Web, there has been a significant interest to approaches that allow users and computer applications to leverage this information. Most approaches assumed that search interfaces to web databases of interest are already discovered and known to query systems. However, such assumptions do not hold true mostly because of the large scale of the deep Web – indeed, for any given domain of interest there are too many web databases with relevant content. Thus, the ability to locate search interfaces to web databases becomes a key requirement for any application accessing the deep Web. In this thesis, we describe the architecture of the I-Crawler, a system for finding and classifying search interfaces. Specifically, the I-Crawler is intentionally designed to be used in deepWeb characterization studies and for constructing directories of deep web resources. Unlike almost all other approaches to the deep Web existing so far, the I-Crawler is able to recognize and analyze JavaScript-rich and non-HTML searchable forms. Querying web databases: Retrieving information by filling out web search forms is a typical task for a web user. This is all the more so as interfaces of conventional search engines are also web forms. At present, a user needs to manually provide input values to search interfaces and then extract required data from the pages with results. The manual filling out forms is not feasible and cumbersome in cases of complex queries but such kind of queries are essential for many web searches especially in the area of e-commerce. In this way, the automation of querying and retrieving data behind search interfaces is desirable and essential for such tasks as building domain-independent deep web crawlers and automated web agents, searching for domain-specific information (vertical search engines), and for extraction and integration of information from various deep web resources. We present a data model for representing search interfaces and discuss techniques for extracting field labels, client-side scripts and structured data from HTML pages. We also describe a representation of result pages and discuss how to extract and store results of form queries. Besides, we present a user-friendly and expressive form query language that allows one to retrieve information behind search interfaces and extract useful data from the result pages based on specified conditions. We implement a prototype system for querying web databases and describe its architecture and components design.

Adopting the Vaadin Java framework to rebuild VTT’s Web Interfaces and Database Applications

With the growth in new technologies, using online tools have become an everyday lifestyle. It has a greater impact on researchers as the data obtained from various experiments needs to be analyzed and knowledge of programming has become mandatory even for pure biologists. Hence, VTT came up with a new tool, R Executables (REX) which is a web application designed to provide a graphical interface for biological data functions like Image analysis, Gene expression data analysis, plotting, disease and control studies etc., which employs R functions to provide results. REX provides a user interactive application for the biologists to directly enter the values and run the required analysis with a single click. The program processes the given data in the background and prints results rapidly. Due to growth of data and load on server, the interface has gained problems concerning time consumption, poor GUI, data storage issues, security, minimal user interactive experience and crashes with large amount of data. This thesis handles the methods by which these problems were resolved and made REX a better application for the future. The old REX was developed using Python Django and now, a new programming language, Vaadin has been implemented. Vaadin is a Java framework for developing web applications and the programming language is extremely similar to Java with new rich components. Vaadin provides better security, better speed, good and interactive interface. In this thesis, subset functionalities of REX was selected which includes IST bulk plotting and image segmentation and implemented those using Vaadin. A code of 662 lines was programmed by me which included Vaadin as the front-end handler while R language was used for back-end data retrieval, computing and plotting. The application is optimized to allow further functionalities to be migrated with ease from old REX. Future development is focused on including Hight throughput screening functions along with gene expression database handling