Search Interfaces on the Web: Querying and Characterizing

Current-day web search engines (e.g., Google) do not crawl and index a significant portion of theWeb and, hence, web users relying on search engines only are unable to discover and access a large amount of information from the non-indexable part of the Web. Specifically, dynamic pages generated based on parameters provided by a user via web search forms (or search interfaces) are not indexed by search engines and cannot be found in searchers’ results. Such search interfaces provide web users with an online access to myriads of databases on the Web. In order to obtain some information from a web database of interest, a user issues his/her query by specifying query terms in a search form and receives the query results, a set of dynamic pages that embed required information from a database. At the same time, issuing a query via an arbitrary search interface is an extremely complex task for any kind of automatic agents including web crawlers, which, at least up to the present day, do not even attempt to pass through web forms on a large scale. In this thesis, our primary and key object of study is a huge portion of the Web (hereafter referred as the deep Web) hidden behind web search interfaces. We concentrate on three classes of problems around the deep Web: characterization of deep Web, finding and classifying deep web resources, and querying web databases. Characterizing deep Web: Though the term deep Web was coined in 2000, which is sufficiently long ago for any web-related concept/technology, we still do not know many important characteristics of the deep Web. Another matter of concern is that surveys of the deep Web existing so far are predominantly based on study of deep web sites in English. One can then expect that findings from these surveys may be biased, especially owing to a steady increase in non-English web content. In this way, surveying of national segments of the deep Web is of interest not only to national communities but to the whole web community as well. In this thesis, we propose two new methods for estimating the main parameters of deep Web. We use the suggested methods to estimate the scale of one specific national segment of the Web and report our findings. We also build and make publicly available a dataset describing more than 200 web databases from the national segment of the Web. Finding deep web resources: The deep Web has been growing at a very fast pace. It has been estimated that there are hundred thousands of deep web sites. Due to the huge volume of information in the deep Web, there has been a significant interest to approaches that allow users and computer applications to leverage this information. Most approaches assumed that search interfaces to web databases of interest are already discovered and known to query systems. However, such assumptions do not hold true mostly because of the large scale of the deep Web – indeed, for any given domain of interest there are too many web databases with relevant content. Thus, the ability to locate search interfaces to web databases becomes a key requirement for any application accessing the deep Web. In this thesis, we describe the architecture of the I-Crawler, a system for finding and classifying search interfaces. Specifically, the I-Crawler is intentionally designed to be used in deepWeb characterization studies and for constructing directories of deep web resources. Unlike almost all other approaches to the deep Web existing so far, the I-Crawler is able to recognize and analyze JavaScript-rich and non-HTML searchable forms. Querying web databases: Retrieving information by filling out web search forms is a typical task for a web user. This is all the more so as interfaces of conventional search engines are also web forms. At present, a user needs to manually provide input values to search interfaces and then extract required data from the pages with results. The manual filling out forms is not feasible and cumbersome in cases of complex queries but such kind of queries are essential for many web searches especially in the area of e-commerce. In this way, the automation of querying and retrieving data behind search interfaces is desirable and essential for such tasks as building domain-independent deep web crawlers and automated web agents, searching for domain-specific information (vertical search engines), and for extraction and integration of information from various deep web resources. We present a data model for representing search interfaces and discuss techniques for extracting field labels, client-side scripts and structured data from HTML pages. We also describe a representation of result pages and discuss how to extract and store results of form queries. Besides, we present a user-friendly and expressive form query language that allows one to retrieve information behind search interfaces and extract useful data from the result pages based on specified conditions. We implement a prototype system for querying web databases and describe its architecture and components design.

Pitkän käyttöiän web-sovelluksen toteuttaminen

Tässä työssä selvitettiin hyviä tapoja ja vakiintuneita käytäntöjä pitkän käyttöiän web-sovelluksen tekemiseksi. Saatiin selville, että sovelluksen elinkaaren aikana suurin osa kustannuksista tulee ylläpidosta. Tavoitteena oli tehdä pitkään käytettävä sovellus, joten ylläpidon kustannusten osuudesta tuli saada mandollisimman pieni. Ohjelmistotuotantoprosessissa mandollisimman aikaisessa vaiheessa havaitut virheet vähentävät korjauskustannuksia oleellisesti verrattuna siihen, että virheet havaittaisiin valmiissa tuotteessa. Siksi tässä työssä tehdyssä web-sovelluksessa panostettiin prosessin alkuvaiheisiin, määrittelyyn ja suunnitteluun. Web-sovelluksen ylläpidettävyyteen ja selkeyteen vaikuttavat oleellisesti hyvät ohjelmistokehitystavat. Käyttämällä valmista sovelluskehystä ja lisäämällä toiminnallisuuksia valmiiden ohjelmistokomponenttien avulla saadaan aikaiseksi hyvien tapojen mukaisesti tehty sovellus. Tässä työssä toteutettu web-sovellus laadittiin käyttämällä sovelluskehystä ja komponenttiarkkitehtuuria. Toteutuksesta saatiin selkeä. Sovellus jaettiin loogisiin kokonaisuuksiin, jotka käsittelevät näkymiä, tietokantaa ja tietojen yhdistämistä näiden välillä. Jokainen kokonaisuus on itsenäisesti toimiva, mikä auttaa sovelluksen ylläpitämisessä ja testaamisessa.

Desenvolupament d’una aplicación web per a la gestió d’un taller mecànic

Collsaplana Motor SL, és un taller mecànic situat a Vilablareix, al costat de Girona. El taller, a part de fer tot tipus de reparacions mecàniques, està especialitzat en la reparació de caixes de canvis automàtiques i manuals, vehicles clàssics, competició. Els clients són particulars, empreses o altres tallers mecànics, normalment de la província.Una aplicació per aquest negoci ha de ser senzilla i pràctica, per a què qualssevol mecànic, sense gaires coneixements d'informàtica, la pugui utilitzar i portar una bona gestió del taller. L’objectiu del projecte és desenvolupar l’anàlisi, disseny i implementació d’una aplicació per a la gestió de l’empresa. L’aplicació té com a propòsit gestionar els usuaris de l'aplicació, clients, vehicles, recanvis, ordres de reparació, pressupostos, albarans i factures

Diseño de una aplicación web para la gestión de una revista científica

Este proyecto tiene como finalidad el análisis, diseño y desarrollo de una aplicación web en base a una revista científica. La mecánica de la revista consiste en la propia revisión y edición de los artículos por parte de los usuarios dados de alta en el aplicativo. Los usuarios que componen la web, puede tener diferentes perfiles: autor, editor, revisor, técnico editor y administrador. Cada usuario tiene unas tareas específicas en el flujo de revisión y edición. El proyecto se ha desarrollado sobre la plataforma ASP.NET y SQL para el diseño de la base de datos.

Disseny i implementació d'una web administrable i d'una aplicació per dispositius mòbils

En la societat en què vivim cada vegada agafen més importància les pàgines web, ja que és una eina d’informació molt útil i ràpida de consultar. Per això, no s’entén que una activitat empresarial sigui del tipus que sigui, no tingui representació a la xarxa. No és necessari que l’activitat en qüestió hagi de vendre productes a través d’Internet, sinó que simplement aquesta representació pot ajudar a donar a conèixer l’empresa i a ampliar la cartera de clients. De la mateixa manera, els dispositius mòbils també s’estan convertint en una eina important en la societat d’avui en dia i una bona aplicació pot aportar-te un avantatge en moltes de les feines diàries de les persones. D’aquestes idees sorgeix el projecte de fer la web i l’aplicació pel centre de fisioteràpia Fisioripoll. La web serviria per tenir un lloc a la xarxa on donar-se a conèixer i poder captar nous clients, i l’aplicació funcionaria com a eina pel propi centre, seria una espècie d’agenda electrònica per saber les hores que tens reservades els pròxims dies. Per aconseguir un bon funcionament de la web, s’ha demanat que la pàgina sigui administrable en els seus continguts. És a dir, que els propis gestors del centre puguin canviar els texts, les imatges dels diferents apartats i gestionar les reserves dels clients. En canvi, l’aplicació serà només una eina de consulta i no s’hauria de gestionar res. Per tal de dur a terme aquesta web s’ha tingut en compte utilitzar eines de programació de distribució lliure com és el llenguatge PHP, la base de dades MySQL, jQuery, el framework Phonegap per tal de poder construir una web i una aplicació amb cost de programari nul.

Disseny i implementació d'una pàgina web de subhastes

Amb la situació econòmica actual pot ser interessant poder vendre objectes que ja no s’utilitzen i també poder-ne comprar de segona mà. Amb aquesta idea sorgeix el projecte de crear una pàgina de subhastes online on la gent pugui comerciar amb les coses que ja no necessita. Tenint en compte el concepte inicial, el propietari de la pàgina no rebrà cap retribució ni percentatge de cada subhasta, tot l’import serà pel venedor. L’objectiu principal és el de poder oferir un lloc on després de registrar-se, els usuaris puguin veure i pujar per els articles que altres persones estan subhastant i també la possibilitat de crear les seves pròpies subhastes. Cada usuari disposarà d’un espai personal on veure les subhastes amb les que ha interactuat i així no perdre-les de vista i també on poder veure en cada moment l’estat de les subhastes que ha creat. La vista d’una subhasta s’actualitzarà automàticament sense haver de recarregar la pàgina i si algú puja durant l’últim minut la subhasta s’allargarà un minut més per evitar puges a l’últim moment i així maximitzar el preu final. Hi haurà un administrador que serà l’encarregat de gestionar el bon funcionament de la pàgina amb permís per afegir, editar, consultar i eliminar tota la informació disponible. Per portar a terme el projecte s’ha utilitzat PHP per la part de programació i MySQL com a sistema gestor de bases de dades.

Disseny i implementació d'una web administrable pel sector del caravàning

Vivim en una era digital on cada vegada més les persones estem connectades a la xarxa, ja sigui a través del mòbil, ordinadors o altres dispositius. Actualment internet és un gran aparador i des de fa temps, les empreses han vist en aquest una manera de treure’n profit. És per això, junt amb el seu baix cost, que fa que qualsevol empresa disposi del seu propi espai a la xarxa. D’aquestes idees sorgeix el projecte de fer la web per AutoSuministres Motor. La principal funció de la web es donar-se a conèixer i ensenyar els seus productes, que en aquest cas, són autocaravanes i caravanes. Tot i així, la pàgina web contindrà un espai de reportatges on l’usuari podrà conèixer més a fons un model concret d’autocaravana o caravana i on també podrà demanar més informació mitjançant un formulari de contacte. Per tant, la pàgina web serà totalment administrable perquè els comercials puguin introduir els vehicles corresponents i l’usuari final pugui consultarlos correctament d’una manera fàcil i senzilla. Per tal de dur a terme aquesta web s’ha tingut en compte utilitzar eines de programació de distribució lliure com és el llenguatge PHP, la base de dades MySQL i jQuery.

Gestió d'un portal web d'intercanvi de coneixement

En aquest món on ens ha tocat viure i patir canvis tan durs amb la crisi econòmica que patim, que ens ha fet passar de lligar els gossos amb llonganisses a vigilar en les despeses del dia a dia per poder arribar just a final de mes, és el moment de reinventar-se. És per aquest motiu que presento aquesta idea, on el seu objectiu és desenvolupar una pàgina web que esdevingui un punt de trobada entre usuaris que volen transmetre o ampliar el seu coneixement i oferir-los la possibilitat que entre ells puguin compartir les seves habilitats i destreses. El web consistirà en un panell d’activitats on els usuaris un cop s’hagin registrat puguin crear les activitats que vulguin aprendre o bé ensenyar, tot demanant, si ho desitgen, quelcom a canvi. Aleshores la resta d’usuaris si els interessa l’activitat, poden acceptar la demanda o bé fer una proposta pròpia. A partir d’aquí els usuaris s’han de posar d’acord a l’hora de dur a terme l’activitat. El web disposarà d’una part pels usuaris amb permisos d’administrador perquè puguin gestionar el portal. Aquest projecte s’ha desenvolupat amb el framework de PHP Codeigniter, el qual utilitza la programació per capes MVC, la qual separa la programació en tres parts: el Model, la Vista i el Controlador. També s’han utilitzat els llenguatges HTML5 i CSS3, i jQuery, que és una llibreria de JavaScript. Com a sistema gestor de base de dades s’ha utilitzat el MySQL.

Engineering of Business Critical Web Applications

Research focus of this thesis is to explore options for building systems for business critical web applications. Business criticality here includes requirements for data protection and system availability. The focus is on open source software. Goals are to identify robust technologies and engineering practices to implement such systems. Research methods include experiments made with sample systems built around chosen software packages that represent certain technologies. The main research focused on finding a good method for database data replication, a key functionality for high-availability, database-driven web applications. Research included also finding engineering best practices from books written by administrators of high traffic web applications. Experiment with database replication showed, that block level synchronous replication offered by DRBD replication software offered considerably more robust data protection and high-availability functionality compared to leading open source database product MySQL, and its built-in asynchronous replication. For master-master database setups, block level replication is more recommended way to build high-availability into the system. Based on thesis research, building high-availability web applications is possible using a combination of open source software and engineering best practices for data protection, availability planning and scaling.

SimpleREST -RESTful DSpace API

Poster at Open Repositories 2014, Helsinki, Finland, June 9-13, 2014

AnaBench: a Web/CORBA-based workbench for biomolecular sequence analysis

Affiliation: Département de biochimie, Faculté de médecine, Université de Montréal

Building a Canadian Virtual Health Library Database / Création de la Bibliothèque virtuelle canadienne de santé

Introduction: Avec l’abondance d’information gratuite disponible en ligne, la tâche de trouver, de trier et d’acheminer de l’information pertinente à l’auditoire approprié peut s’avérer laborieuse. En décembre 2010, la Bibliothèque virtuelle canadienne de santé / Canadian Virtual Health Library (BVCS) a formé un comité d’experts afin d’identifier, d’évaluer, de sélectionner et d’organiser des ressources d’intérêt pour les professionnels de la santé. Méthodes: Cette affiche identifiera les décisions techniques du comité d’experts, incluant le système de gestion de contenus retenu, l’utilisation des éléments Dublin Core et des descripteurs Medical Subject Headings pour la description des ressources, et le développement et l’adaptation de taxonomies à partir de la classification MeSH. La traduction française des descripteurs MeSH à l’aide du portail CISMeF sera également abordée. Résultats: Au mois de mai 2011, le comité a lancé la base de données BVCS de ressources en ligne gratuites sur la santé, regroupant plus de 1600 sites web et ressources. Une variété de types de contenus sont représentés, incluant des articles et rapports, des bases de données interactives et des outils de pratique clinique. Discussion: Les bénéfices et défis d’une collaboration pancanadienne virtuelle seront présentés, ainsi que l’inclusion cruciale d’un membre francophone pour composer avec la nature bilingue de la base de données. En lien avec cet aspect du projet, l’affiche sera présentée en français et en anglais. Introduction: With the abundance of freely available online information, the task of finding, filtering and fitting relevant information to the appropriate audience, is daunting. In December 2010 the Canadian Virtual Health Library / Bibliothèque virtuelle canadienne de santé (CVHL) formed an expert committee to identify, evaluate, select and organize resources relevant to health professionals. Methods: This poster will identify the key technical decisions of the expert committee including the content management system used to manage the data, the use of Dublin Core elements and Medical Subject Headings to describe the resources, and the development and adaptation of taxonomies from MeSH classification to catalog resources. The translation of MeSH terms to French using the CiSMeF portal will also be discussed. Results: In May 2010, the committee launched the CVHL database of free web-based health resources. Content ranged from online articles and reports to videos, interactive databases and clinical practice tools, and included more than 1,600 websites and resources. Discussion: The benefits and challenges of a virtual, pan-Canadian collaboration, and the critical inclusion of a Francophone member to address the bilingual nature of the database, will be presented. In keeping with the nature of the project, the poster will be presented in French and English.

Aplicación de gestión y web para un criadero-residencia canino.

El objetivo de este proyecto es implementar un sitio Web i un programa gestor de datos para el criadero/residencia canino De La Serranía (Madrid). Gracias al desarrollo de esta aplicación y del sitio Web se conseguirá que el cliente suprima el uso de todo el papel utilizado anteriormente para guardar la información relativa a clientes, animales y entradas a la residencia, podrá controlar la ocupación de la residencia y generar automáticamente las facturas, crear automáticamente árboles genealógicos de todos los ejemplares registrados, mejorar el rendimiento del criadero gracias a la opción que controla los datos de cría de cada animal: fecha de monta, fecha de parto, resultados de cada parto, etc. y controlar los gastos y ganancias de la empresa

Sistema de información geográfica para web con informaciones espaciales (geográficas) de output y input para expediciones

This project is a Web Geographic Information System built on an Open Source geographic structure like MapServer (Minnesota University) and PostgreSQL/PostGIS (object relational database management system). The study case is a web site for expeditions in a specific Brazilian region

COMP3016 Web Technology - Strand "XML" Lecture 3

Lecture 3: DOM and XPath Lecture slides and exercises for using DOM and XPath to access material within an XML database or document.