Search Interfaces on the Web: Querying and Characterizing

Current-day web search engines (e.g., Google) do not crawl and index a significant portion of theWeb and, hence, web users relying on search engines only are unable to discover and access a large amount of information from the non-indexable part of the Web. Specifically, dynamic pages generated based on parameters provided by a user via web search forms (or search interfaces) are not indexed by search engines and cannot be found in searchers’ results. Such search interfaces provide web users with an online access to myriads of databases on the Web. In order to obtain some information from a web database of interest, a user issues his/her query by specifying query terms in a search form and receives the query results, a set of dynamic pages that embed required information from a database. At the same time, issuing a query via an arbitrary search interface is an extremely complex task for any kind of automatic agents including web crawlers, which, at least up to the present day, do not even attempt to pass through web forms on a large scale. In this thesis, our primary and key object of study is a huge portion of the Web (hereafter referred as the deep Web) hidden behind web search interfaces. We concentrate on three classes of problems around the deep Web: characterization of deep Web, finding and classifying deep web resources, and querying web databases. Characterizing deep Web: Though the term deep Web was coined in 2000, which is sufficiently long ago for any web-related concept/technology, we still do not know many important characteristics of the deep Web. Another matter of concern is that surveys of the deep Web existing so far are predominantly based on study of deep web sites in English. One can then expect that findings from these surveys may be biased, especially owing to a steady increase in non-English web content. In this way, surveying of national segments of the deep Web is of interest not only to national communities but to the whole web community as well. In this thesis, we propose two new methods for estimating the main parameters of deep Web. We use the suggested methods to estimate the scale of one specific national segment of the Web and report our findings. We also build and make publicly available a dataset describing more than 200 web databases from the national segment of the Web. Finding deep web resources: The deep Web has been growing at a very fast pace. It has been estimated that there are hundred thousands of deep web sites. Due to the huge volume of information in the deep Web, there has been a significant interest to approaches that allow users and computer applications to leverage this information. Most approaches assumed that search interfaces to web databases of interest are already discovered and known to query systems. However, such assumptions do not hold true mostly because of the large scale of the deep Web – indeed, for any given domain of interest there are too many web databases with relevant content. Thus, the ability to locate search interfaces to web databases becomes a key requirement for any application accessing the deep Web. In this thesis, we describe the architecture of the I-Crawler, a system for finding and classifying search interfaces. Specifically, the I-Crawler is intentionally designed to be used in deepWeb characterization studies and for constructing directories of deep web resources. Unlike almost all other approaches to the deep Web existing so far, the I-Crawler is able to recognize and analyze JavaScript-rich and non-HTML searchable forms. Querying web databases: Retrieving information by filling out web search forms is a typical task for a web user. This is all the more so as interfaces of conventional search engines are also web forms. At present, a user needs to manually provide input values to search interfaces and then extract required data from the pages with results. The manual filling out forms is not feasible and cumbersome in cases of complex queries but such kind of queries are essential for many web searches especially in the area of e-commerce. In this way, the automation of querying and retrieving data behind search interfaces is desirable and essential for such tasks as building domain-independent deep web crawlers and automated web agents, searching for domain-specific information (vertical search engines), and for extraction and integration of information from various deep web resources. We present a data model for representing search interfaces and discuss techniques for extracting field labels, client-side scripts and structured data from HTML pages. We also describe a representation of result pages and discuss how to extract and store results of form queries. Besides, we present a user-friendly and expressive form query language that allows one to retrieve information behind search interfaces and extract useful data from the result pages based on specified conditions. We implement a prototype system for querying web databases and describe its architecture and components design.

An ontology to automated learning scenarios? an approach to its knowledge domain

Automation or semi-automation of learning scenariospecifications is one of the least exploredsubjects in the e-learning research area. There isa need for a catalogue of learning scenarios and atechnique to facilitate automated retrieval of stored specifications. This requires constructing anontology with this goal and is justified inthis paper. This ontology must mainlysupport a specification technique for learning scenarios. This ontology should also be useful in the creation and validation of new scenarios as well as in the personalization of learning scenarios or their monitoring. Thus, after justifying the need for this ontology, a first approach of a possible knowledge domain is presented. An example of a concrete learning scenario illustrates some relevant concepts supported by this ontology in order to define the scenario in such a way that it could be easy to automate.

Injetor multicanal com válvulas de estrangulamento para análise em fluxo

An important component for the automation of flow injection analysis (FIA) systems is the sample injection valve. A simple and inexpensive commutator with 16 pinch valves (8 normally open and 8 closed) was developed and configured as a multichannel injection valve. It is activated by a single solenoid of 3 Kgf, powered by a pulsed driver circuit, controlled by a microcomputer or a switch. FIA with spectrophometric detection of potassium dichromate solution was used for the evaluation of the new injection valve and its comparison with other valves, for sample loops of 50, 100, 200, 300 and 500 muL. The repeatability was favorable (RSD 1.0% for 15 injections at each loop volume) compared to a manual injector, an electropneumatic injector and an injector configured with three mini solenoid valves (RSD 1.1, 1.3 and 1.0%, respectively, for15 injections at each loop volume).

Automatització de l’estació FESTO MPS2000C

L’Escola Politècnica Superior de la Universitat de Vic disposa d’una cèl·lula de fabricació didàctica de la marca FESTO que simula un procés d’assemblatge d’una comanda. Aquesta cèl·lula esta composta per quatre estacions diferenciades que poden treballar de forma independent o de forma conjunta, l’estació palets, l’estació plaques, l’estació cinta i l’estació magatzem. Cada estació és un conjunt de sensors i actuadors controlats per mitjà d’un PLC, aquests estan interconnectats a través d’un bus industrial. L’objectiu d’aquest treball consisteix en realitzar la substitució dels PLC’s, decidir el funcionament que han de tenir les estacions, instal·lar una pantalla tàctil pel control del procés i realitzar la programació de tots els elements. Aquest projecte ha estat realitzat en cinc fases principals: 1. Estudi i coneixement de les estacions, en aquesta fase s’ha estudiat els diferents sensors i actuadors que les conformen, així com el funcionament d’aquestes amb el programa i PLC’s antics. 2. Instal·lació i cablejat dels nous PLC’s i de la pantalla tàctil. 3. Estudi sobre el nou funcionament que han de seguir les estacions. 4. Programació dels nous dispositius seguint el funcionament acordat. 5. Posada en marxa del sistema i realització de proves. 6. Realització de la memòria del projecte, on s’expliquen les característiques i el funcionament de totes les estacions i de la pantalla tàctil. La conclusió que s’ha extret d’aquest treball és que l’automatització d’un procés de fabricació tot i que suposa un esforç inicial a nivell de recursos, un cop realitzada la instal·lació suposa una millora de l’eficiència del sistema. És per això que la indústria cada cop més tendeix a automatitzar els seus processos, no només per millorar la competitivitat, sinó també per realitzar tasques que les persones no poden executar de forma eficient o segura.

Tiedon tuottaminen ja vaikuttaminen: prosessi ja liitynnät tietolähteisiin

Diplomityön tavoitteena on helpottaa Energiamarkkinaviraston tietomassojen käsittelyä ja tehostaa organisaatiotiedon hallintaa. Keskeisin tavoite on määritellä ja kuvata viraston tiedon tuottamis- ja vaikuttamisprosessi sekä sen liitynnät sisäisiin ja ulkoisiin tietolähteisiin. Työssä perehdytään organisaatiotiedon nykytilanteeseen, tiedon tuottamiseen ja vaikuttamiseen sekä ehdotetaan useita keinoja olemassa olevan tietomassan tehokkaampaan hyödyntämiseen. Työssä analysoidaan millaista tietoa virastossa tarvitaan, missä tieto on saatavilla ajantasaisena sekä luotettavana ja mihin hankittua tietoa loppujen lopuksi käytetään. Nykytilanteen selvittämisen lisäksi työssa ehdotetaan keinoja, joiden avulla organisaatiotieto saadaan nostettua nykyiseltä, pääosin operatiiviselta tasolta vähintään täysin taktiselle tai jopa osin strategiselle tasolle. Lisaksi työssä selvitetään kuinka virasto pystyy hankkimaan tietoa uudenlaiseen tietotarpeeseen. Työn keskeisimmät tulokset ovat diplomityössä esille nostetut kehityskohteet liittyen tietolähteiden hyödyntämiseen, internetsivuston uudistamiseen, uusien analyysien tuottamiseen, tärkeiden ohjeistusten tekemiseen ja prosessien suunnitteluun sekä automatisointiin. Näihin voidaan puuttua prosessikeskeisen ajattelutavan ja proaktiivisuuden lisäämisellä.

Validação do método de determinação simultânea dos íons brometo e bromato por cromatografia iônica em águas de consumo humano

European Directive (98/83/CE), compulsory after 2008, states that bromate in drinking water must be controlled at levels below 10 mg L-1. Supporting implementation of the Directive, the European Comission has established project SMT4-CT96 2134, in collaboration with various european institutions, aiming at the identification of the interferents to the current analytical method (Ionic Chromatography with Conductimetric Detection - IC/CD), their removal and the automation of pre-treatment and injection steps, as well as the development of alternative methods. EPAL, responsible for the water supply to a great deal of Portuguese regions, has taken steps to meet these requirements. Although not part of such project, this work (the result of a project conducted under a protocol of collaboration between EPAL SA and FCUL - Faculty of Sciences, University of Lisbon), reports on studies of usefulness to laboratories planning to monitor bromate in ozone treated waters, in conditions different from those described in EPA 300.1. Simultaneous determination of bromide is justified by its role as bromate precursor.

Automatització d'un procés de fabricació de peces plàstiques

RESUM L'automatització s'utilitza des de fa molts anys, tot i que va començar a agafar la definició que coneixem actualment al voltant dels anys seixanta i setanta, moment en què es comencen a comercialitzar els primers PLC. A partir d'aquí, el seu creixement ha estat exponencial. En aquest sentit, la tecnologia ha anat avançant i ha augmentat els components que la forma, per això a hores d'ara encara no sabem fins on podrà arribar i què aconseguirà. Per a la indústria tot això ha significat l'automatització de processos que fins ara utilitzaven molt mà d'obra, reduint-la dràsticament. Una de les indústries que més s'ha beneficiat de tots aquests avenços ha estat la de l'automoció, concretament les seves grans línies de producció, automatitzades a uns nivells que fins fa poc temps eren impensables. Aquest projecte forma part d'aquesta indústria, no directament per a la construcció de l'automòbil, sinó indirectament, ja que l'empresa per a la qual s'ha fet l'automatització fabrica peces plàstiques per a automòbils. Concretament, unes peces amb uns injerts metàl•lics conductors que es munten a tots els vehicles i s'utilitzen per accionar els neteja vidres dels cotxes. Aquest fet implica que la fabricació i el disseny de la peça sigui curosament vigilat i controlat per al client final, amb uns controls de qualitat extremadament exigents. El funcionament del procés de fabricació es fa a partir d'unes peces de plàstic produïdes per una injectora que es fan passar per unes estacions automatitzades, cada una de les quals fa una acció concreta per aconseguir el muntatge final.

Programa d'anàlisi d'imatges de provetes metal·logràfiques

L’objectiu del present TFM és explorar les possibilitats del programa matemàtic MATLAB i la seva eina Entorn de Disseny d’Interfícies Gràfiques d’Usuari (GUIDE), desenvolupant un programa d’anàlisi d’imatges de provetes metal·logràfiques que es pugui utilitzar per a realitzar pràctiques de laboratori de l’assignatura Tecnologia de Materials de la titulació de Grau en Enginyeria Mecatrònica que s’imparteix a la Universitat de Vic. Les àrees d’interès del treball són la Instrumentació Virtual, la programació MATLAB i les tècniques d’anàlisi d’imatges metal·logràfiques. En la memòria es posa un èmfasi especial en el disseny de la interfície i dels procediments per a efectuar les mesures. El resultat final és un programa que satisfà tots els requeriments que s’havien imposat en la proposta inicial. La interfície del programa és clara i neta, destinant molt espai a la imatge que s’analitza. L’estructura i disposició dels menús i dels comandaments ajuda a que la utilització del programa sigui fàcil i intuïtiva. El programa s’ha estructurat de manera que sigui fàcilment ampliable amb altres rutines de mesura, o amb l’automatització de les rutines existents. Al tractar-se d’un programa que funciona com un instrument de mesura, es dedica un capítol sencer de la memòria a mostrar el procediment de càlcul dels errors que s’ocasionen durant la seva utilització, amb la finalitat de conèixer el seu ordre de magnitud, i de saber-los calcular de nou en cas que variïn les condicions d’utilització. Pel que fa referència a la programació, malgrat que MATLAB no sigui un entorn de programació clàssic, sí que incorpora eines que permeten fer aplicacions no massa complexes, i orientades bàsicament a gràfics o a imatges. L’eina GUIDE simplifica la realització de la interfície d’usuari, malgrat que presenta problemes per tractar dissenys una mica complexos. Per altra banda, el codi generat per GUIDE no és accessible, cosa que no permet modificar manualment la interfície en aquells casos en els que GUIDE té problemes. Malgrat aquests petits problemes, la potència de càlcul de MATLAB compensa sobradament aquestes deficiències.

Uso da RMN como um sensor online em processos industriais

Nuclear magnetic resonance (NMR) is one of the most versatile analytical techniques for chemical, biochemical and medical applications. Despite this great success, NMR is seldom used as a tool in industrial applications. The first application of NMR in flowing samples was published in 1951. However, only in the last ten years Flow NMR has gained momentum and new and potential applications have been proposed. In this review we present the historical evolution of flow or online NMR spectroscopy and imaging, and current developments for use in the automation of industrial processes.

Uuden robottisolun ohjelmointitavan mahdollisuudet pienille ja keskisuurille yrityksille

Robotin ohjelmointi on aikaa vievää ja tarvitsee robotin ohjelmoinnin tuntevan operaattorin toimimaan robotin opettajana. Saadakseen robottisolun kustannustehokkaaksi operaattorilla olisi hyvä olla useampi solu hoidettavanaan samaan aikaan. Tämä ei ole suuri ongelma suurille yrityksille, joissa voi olla kymmeniä robottisoluja. Jos kyseessä on pieni tai keskisuuri yritys, automatisointi-investointi voi jäädä tekemättä ohjelmoinnin vaikeuden aiheuttaman ongelman vuoksi. Diplomityössä keskityttiin tutkimaan robotisointia pienten ja keskisuurten yritysten kannalta. Teoriaosassa on keskitytty robottisolun suunnittelun kannalta tarvittaviin perustietoihin robotin rakenteesta, ohjausjärjestelmästä, ohjelmoinnista sekä turvallisuudesta. Näiden perustietojen lisäksi on huomioitu hitsauksen automatisointia sekä taluttamalla ohjelmoitavan robottisolun tekninen konsepti. Taluttamalla ohjelmoitavan robottisolun konseptin käsittelyosassa on myös perehdytty taluttamalla ohjelmoinnin vaatimiin komponentteihin kuten voima/vääntö-anturi. Robottisolun suunnittelu on tehtävä koneasetuksen vaatimusten mukaan. Turvallisuus osiossa on käsitelty koneasetuksen vaatimuksia koneensuunnittelulle ja käytännön osassa on käsitelty Winnovan taluttamalla ohjelmoitavan robottisolun suunnittelua koneasetuksen ohjeiden mukaan. Käytännön osassa on tutkittu taluttamalla ohjelmoinnin tuomia etuja muihin ohjelmointimenetelmiin nähden sekä suoritettu investointilaskelmat taluttamalla ohjelmoitavasta ja opettamalla ohjelmoitavasta robottisolusta. Koetuloksista nähdään taluttamalla ohjelmoinnin olevan nopeampi ja yksinkertaisempi tapa ohjelmoida robottia kuin opettamalla ohjelmointi. Investointilaskelmien vertailusta nähdään taluttamalla ohjelmoinnin tulevan opettamalla ohjelmointia edullisemmaksi vaihtoehdoksi käyttökustannusten edullisuuden ansiosta.

Hammashihnajohdeakseleiden liikkeiden synkronointi

Nykyisessä valmistusteollisuudessa erilaisten robottien ja automatisoitujen tuotantovaiheiden rooli on erittäin merkittävä. Tarkasti suunnitellut liikkeet ja toimintavaiheet voidaan nykyisillä järjestelmillä ajoittaa tarkasti toisiinsa nähden, jolloin erilaisten virhetilanteidenkin sattuessa järjestelmä pystyy toimimaan tilanteen edellyttämällä tavalla. Automatisoinnin etuna on myös tuotannon muokkaaminen erilaisten tuotteiden valmistamiseen pienillä muutoksilla, jolloin tuotantokustannukset pysyvät matalina myös pienten valmistuserien tapauksissa. Usean akselin laitteissa eli niin sanotuissa moniakselikäytöissä laitteen toimintatarkkuus riippuu jokaisen liikeakselin tarkkuudesta. Liikkeenohjauksessa on perinteisesti ollut käytössä myötäkytketty paikkakaskadi, jonka virityksessä otetaan huomioon akselilla olevat erilaiset dynaamiset tilat ja käytettävät referenssit. Monissa nykyisissä hajautetuissa järjestelmissä eli moniakselikäytöissä, joissa jokaiselle akselille on oma ohjauslaite, ei yksittäisen akselin paikkavirhettä huomioida muiden akseleiden ohjauksessa. Työssä tutkitaan erilaisia moniakselijärjestelmien ohjausmenetelmiä ja myötäkytketyn paikkakaskadin toimintaa moniakselikäytössä pyritään parantamaan tuomalla paikkasäätimen rinnalle toinen säädin, jonka tulona on akseleiden välinen paikkaero.

Modeling, optimizing and simulating robot calibration with accuracy improvement

This work describes techniques for modeling, optimizing and simulating calibration processes of robots using off-line programming. The identification of geometric parameters of the nominal kinematic model is optimized using techniques of numerical optimization of the mathematical model. The simulation of the actual robot and the measurement system is achieved by introducing random errors representing their physical behavior and its statistical repeatability. An evaluation of the corrected nominal kinematic model brings about a clear perception of the influence of distinct variables involved in the process for a suitable planning, and indicates a considerable accuracy improvement when the optimized model is compared to the non-optimized one.

Roadmap for Service Charging Development

Corporate support functions are increasingly being concentrated into service centers. Service Management principles guide companies in the transition. Service Financial Management is an integral part in supporting the strategic positioning of the service center. The main goal of this thesis is to create a step-by-step plan to improve and automate the service charging processes for the finance service function of the case company. Automating the service transaction data collection for reporting is expected to improve efficiency, reliability and transparency. Interviews with finance service managers are held to define current processes and areas for improvement. These create the basis for the creation of a development roadmap that takes place in two phases. The first phase is to create an environment where automation is possible, and the second phase is the automation of each finance service. Benchmarking interviews are held with the service centers in three other companies to discover best practices. The service charging processes between the studied companies are found incompatible, and suggestions for process automation cannot be inferred. Some implications of Service Financial Management decisions to the strategy of the service center are identified. The bundling of services and charging them inside or outside of the goal-setting frame of the business unit can be used to support the strategic choice and customer acceptance of the service center.

Virtuaalisen oppimisympäristön funktionaalisen käyttöliittymätestauksen automatisointi

Tämän tutkimuksen kohteena on Turun yliopistossa kehitetyn www-pohjaisen ViLLE-oppimisjärjestelmän funktionaalisen käyttöliittymätestauksen automatisointityö. Tutkimusta varten olen kerännyt kattavasti aineistoa aihetta käsittelevästä yleisestä kirjallisuudesta ja artikkeleista sekä toteutuksen kannalta spesifistä tietoa tarjoavista Internet-lähteistä. Tutkimuksessa olen tehnyt myös pienehkön määrän testausalan asiantuntijahaastatteluja. Tutkimuksen empiirisessä osuudessa olen valinnut testaukseen käytettävän testaustyökalun sekä toteuttanut valitulla testaustyökalulla ViLLE-oppimisjärjestelmän testauksen automatisointityön soveltamalla käytäntöön tutkimuksen teoriaosuudessa esitettyä tietoa hyvistä käytänteistä funktionaalisen käyttöliittymätestauksen automatisoinnissa. Tutkimuksen toteutuksessa olen käyttänyt kvalitatiivista tutkimusmenetelmää. Tutkimuksen empiirisen osuuden pohjalta kerätyn havaintoaineiston perusteella olen selvittänyt vastaukset seuraaviin tutkimuksessa esitettyihin tutkimuskysymyksiin: • Miten käytetty testaustyökalu on valittu ja mitkä olivat valintaan vaikuttaneet tärkeimmät kriteerit? • Miten käytetty testaustyökalu soveltuu ViLLE-oppimisjärjestelmän funktionaalisen käyttöliittymätestauksen automatisointiin? • Millä eri tavoin käytäntöön viety hyvien testiautomaation laatimistapojen mukainen toteutus vaikuttaa nyt laadittuun testiautomaatioon? • Esiintyikö toteutetussa testiautomaatiossa tutkimuksen teoreettisessa viitekehyksessä kuvattuja funktionaalisen käyttöliittymätestauksen automatisoinnille tyypillisiä ongelmia ja miten ongelmat saatiin ratkaistua? Tutkimuksen tulokset osoittavat melko selvästi, että ViLLE-oppimisympäristön funktionaalisen käyttöliittymätestauksen automatisointityön toteutukseen valittu Vaadin TestBench -testaustyökalu, joka on valittu tutkimuksen alkuvaiheessa suoritetun evaluoinnin perusteella, soveltuu käyttötarkoitukseensa hyvin. Lisäksi pystyin luotettavasti havainnoimaan, että testiautomaation ylläpidon tarve sekä testien laatimiseen kuluva aika vähenevät merkittävästi, kun testit laaditaan heti alusta lähtien rakenteeltaan modulaariseksi sekä tietyin teknisin keinoin mahdollisimman vähän käyttöliittymän rakennetta huomioonottavaksi. Ongelmia testiautomaation laatimisessa voivat aiheuttaa käytetty työkalu itsessään, testattavan järjestelmän toteutus sekä testien suoritusympäristö. Huolimatta kirjallisuuskatsauksen perusteella tehdystä varautumisesta tyypillisiin testiautomaation laatimisessa esiintyviin ongelmiin, myös joitakin sellaisia ongelmia esiintyi, joihin en ollut osannut varautua. Mahdollisiin ongelmiin etukäteen varautuminen kuitenkin selvästi auttoi suurimpaan osaan testiautomaation laatimisessa esiintyneistä ongelmista.

Développement et validation d'un instrument non-invasifde caractérisation du comportement musculaire respiratoire

Réalisé en cotutelle avec l'Université Joseph Fourier École Doctorale Ingénierie pour la Santé,la Cognition et l'Environnement (France)