Search Interfaces on the Web: Querying and Characterizing

Current-day web search engines (e.g., Google) do not crawl and index a significant portion of theWeb and, hence, web users relying on search engines only are unable to discover and access a large amount of information from the non-indexable part of the Web. Specifically, dynamic pages generated based on parameters provided by a user via web search forms (or search interfaces) are not indexed by search engines and cannot be found in searchers’ results. Such search interfaces provide web users with an online access to myriads of databases on the Web. In order to obtain some information from a web database of interest, a user issues his/her query by specifying query terms in a search form and receives the query results, a set of dynamic pages that embed required information from a database. At the same time, issuing a query via an arbitrary search interface is an extremely complex task for any kind of automatic agents including web crawlers, which, at least up to the present day, do not even attempt to pass through web forms on a large scale. In this thesis, our primary and key object of study is a huge portion of the Web (hereafter referred as the deep Web) hidden behind web search interfaces. We concentrate on three classes of problems around the deep Web: characterization of deep Web, finding and classifying deep web resources, and querying web databases. Characterizing deep Web: Though the term deep Web was coined in 2000, which is sufficiently long ago for any web-related concept/technology, we still do not know many important characteristics of the deep Web. Another matter of concern is that surveys of the deep Web existing so far are predominantly based on study of deep web sites in English. One can then expect that findings from these surveys may be biased, especially owing to a steady increase in non-English web content. In this way, surveying of national segments of the deep Web is of interest not only to national communities but to the whole web community as well. In this thesis, we propose two new methods for estimating the main parameters of deep Web. We use the suggested methods to estimate the scale of one specific national segment of the Web and report our findings. We also build and make publicly available a dataset describing more than 200 web databases from the national segment of the Web. Finding deep web resources: The deep Web has been growing at a very fast pace. It has been estimated that there are hundred thousands of deep web sites. Due to the huge volume of information in the deep Web, there has been a significant interest to approaches that allow users and computer applications to leverage this information. Most approaches assumed that search interfaces to web databases of interest are already discovered and known to query systems. However, such assumptions do not hold true mostly because of the large scale of the deep Web – indeed, for any given domain of interest there are too many web databases with relevant content. Thus, the ability to locate search interfaces to web databases becomes a key requirement for any application accessing the deep Web. In this thesis, we describe the architecture of the I-Crawler, a system for finding and classifying search interfaces. Specifically, the I-Crawler is intentionally designed to be used in deepWeb characterization studies and for constructing directories of deep web resources. Unlike almost all other approaches to the deep Web existing so far, the I-Crawler is able to recognize and analyze JavaScript-rich and non-HTML searchable forms. Querying web databases: Retrieving information by filling out web search forms is a typical task for a web user. This is all the more so as interfaces of conventional search engines are also web forms. At present, a user needs to manually provide input values to search interfaces and then extract required data from the pages with results. The manual filling out forms is not feasible and cumbersome in cases of complex queries but such kind of queries are essential for many web searches especially in the area of e-commerce. In this way, the automation of querying and retrieving data behind search interfaces is desirable and essential for such tasks as building domain-independent deep web crawlers and automated web agents, searching for domain-specific information (vertical search engines), and for extraction and integration of information from various deep web resources. We present a data model for representing search interfaces and discuss techniques for extracting field labels, client-side scripts and structured data from HTML pages. We also describe a representation of result pages and discuss how to extract and store results of form queries. Besides, we present a user-friendly and expressive form query language that allows one to retrieve information behind search interfaces and extract useful data from the result pages based on specified conditions. We implement a prototype system for querying web databases and describe its architecture and components design.

Sistema de visualización SIG del Servei Meteorològic de Catalunya

El sistema de visualización SIG del Servei Meteorològic de Catalunya (SMC) consiste en un sistema que visualiza la información meteorológica del SMC mediante un visor SIG. La herramienta permitirá a los técnicos del SMC poder consultar productos meteorológicos, como modelos numéricos, productos de Meteosat, radar, descargas eléctricas, etc. El sistema se compone de un servidor MapServer, utilizando MapCache como sistema de caché, y de un visor SIG web implementado en JavaScript, utilizando las librerías Dojo Toolkit y OpenLayers.

Ajax: Web-sovellusten uudet mahdollisuudet

Tässä työssä selvitettiin Ajax-tekniikan tilannetta web-sovellusten kehityksessä. Sitä varten kehitettiin demosovellus, jonka avulla tekniikoiden käyttökelpoisuutta voitiin arvioida. Samalla työssä on esitelty eri tekniikoita, jotka liittyvät kiinteästi Ajax-sovellusten toteuttamiseen. Demosovellus tehtiin vapaalla LAMP (Linux, Apache, MySQL and PHP) -alustalla. Työssä on arvioitu Ajax-tekniikan käyttökelpoisuutta ja ongelmia nykyisen webin, web-kehittäjien, käytössä olevien selainten ja käyttäjien kannalta. Lopussa on myös pohdittu hieman webin tulevaisuutta ja Ajaxin osaa siinä.

Control doméstico visual desde Android : VisualDomo

VisualDomo tiene como objetivo la creación de una aplicación multiplataforma para dispositivos móviles que permita controlar de manera visual los dispositivos ODControl de la empresa OpenDomo Services SL. El proyecto está desarrollado utilizando HTML, CSS y JavaScript con el soporte de Cordova.

Desarrollo de mejoras y nuevas funcionalidades a eXeLearning.net y colaboración con la comunidad de software libre exelearning.net

En este TFM se detallan las mejoras realizadas a la aplicación eXeLearning.net, así como otras aportaciones a la comunidad realizadas durante el proyecto de fin de máster de Software libre. eXeLearning.net es una aplicación de software libre para la creación de materiales educativos digitales, desarrollada en Python, con una interfaz web (HTML + JavaScript). En este proyecto se desarrollaron entre otras cosas: un repositorio de estilos en la web oficial de la aplicación, disponibles para su descarga desde la aplicación de escritorio, la creación y mantenimiento de un repositorio en Launchpad y una funcionalidad para publicar los contenidos creados con eXeLearning.net directamente en Google Drive.

Control domèstic visual per a Android

El projecte desenvolupa una aplicació visual per a dispositius mòbils basada en PhoneGap - Cordova (HTML + CSS + JavaScript) per al control del dispositiu ODControl de l'empresa OpenDomo Services.

Sistema d’informació geogràfica: per la localització i visualització d’espècies invasores al delta de l’Ebre

Al delta de l’Ebre existeix una problemàtica amb les espècies invasores. Aquest projecte pretén desenvolupar una eina per ajudar a controlar-la. És un Sistema d’Informació Geogràfica que compta amb una aplicació mòbil que enregistra a partir d’un formulari omplert per l’usuari a una base de dades SQLite. Aquesta Informació serà tramitada i inserida a un servidor de mapes on-line . Un cop publicada al servidor, serà visualitzada amb un visor cartogràfic, programat a partir de javaScript que permetrà a l’usuari dur a terme accions com cercar coordenades, establir i consultar la informació dels registres al clicar-hi a sobre

Gestió d'un portal web d'intercanvi de coneixement

En aquest món on ens ha tocat viure i patir canvis tan durs amb la crisi econòmica que patim, que ens ha fet passar de lligar els gossos amb llonganisses a vigilar en les despeses del dia a dia per poder arribar just a final de mes, és el moment de reinventar-se. És per aquest motiu que presento aquesta idea, on el seu objectiu és desenvolupar una pàgina web que esdevingui un punt de trobada entre usuaris que volen transmetre o ampliar el seu coneixement i oferir-los la possibilitat que entre ells puguin compartir les seves habilitats i destreses. El web consistirà en un panell d’activitats on els usuaris un cop s’hagin registrat puguin crear les activitats que vulguin aprendre o bé ensenyar, tot demanant, si ho desitgen, quelcom a canvi. Aleshores la resta d’usuaris si els interessa l’activitat, poden acceptar la demanda o bé fer una proposta pròpia. A partir d’aquí els usuaris s’han de posar d’acord a l’hora de dur a terme l’activitat. El web disposarà d’una part pels usuaris amb permisos d’administrador perquè puguin gestionar el portal. Aquest projecte s’ha desenvolupat amb el framework de PHP Codeigniter, el qual utilitza la programació per capes MVC, la qual separa la programació en tres parts: el Model, la Vista i el Controlador. També s’han utilitzat els llenguatges HTML5 i CSS3, i jQuery, que és una llibreria de JavaScript. Com a sistema gestor de base de dades s’ha utilitzat el MySQL.

APIs and Datasets everywhere

Presentation at Open Repositories 2014, Helsinki, Finland, June 9-13, 2014

Système de listes de vérification interactives du niveau de conformité des maquettes avec les recommandations des fabricants de plateformes mobiles

L'ensemble de mon travail a été réalisé grâce a l'utilisation de logiciel libre.

Instant Storyboarding

This thesis aims at empowering software customers with a tool to build software tests them selves, based on a gradual refinement of natural language scenarios into executable visual test models. The process is divided in five steps: 1. First, a natural language parser is used to extract a graph of grammatical relations from the textual scenario descriptions. 2. The resulting graph is transformed into an informal story pattern by interpreting structurization rules based on Fujaba Story Diagrams. 3. While the informal story pattern can already be used by humans the diagram still lacks technical details, especially type information. To add them, a recommender based framework uses web sites and other resources to generate formalization rules. 4. As a preparation for the code generation the classes derived for formal story patterns are aligned across all story steps, substituting a class diagram. 5. Finally, a headless version of Fujaba is used to generate an executable JUnit test. The graph transformations used in the browser application are specified in a textual domain specific language and visualized as story pattern. Last but not least, only the heavyweight parsing (step 1) and code generation (step 5) are executed on the server side. All graph transformation steps (2, 3 and 4) are executed in the browser by an interpreter written in JavaScript/GWT. This result paves the way for online collaboration between global teams of software customers, IT business analysts and software developers.

OpenLayers

En este ultimo año y medio el mundo del Web Mapping ha visto nacer y crecer una comunidad muy activa alrededor de OpenLayers, una librería en Javascript para la publicación de mapas en el web. En este artículo se muestran las rutinas y herramientas para la creación de una aplicación de Web Mapping con OpenLayers. OpenLayers ofrece muchas herramientas con las que añadir al mapa, capas raster desde servicios WMS o desde servicios propietarios como los de Google Maps. Ademas, cuenta con una nueva librería de dibujo vectorial con lo que veremos como relacionarse con el editing online. En conclusión, vamos a evaluar el futuro de OpenLayers con las nuevas funciones y soporte a formatos con los que se esta trabajando

Desarrollo de una geoplataforma cibertaxonómica europea

Desde hace unos años se han tomado iniciativas muy importantes para facilitar la inserción de información biológica georeferenciada en bases de datos accesibles al público en general, mediante estándares para el intercambio de información en la red (TDWG; http://www.tdwg.org/). La iniciativa mundial más importante orientada a la digitalización y difusión de datos sobre la diversidad biológica es GBIF (http://www.gbif.org/) la cual ha logrado compilar más de 180 millones de registros provenientes de más de 500 colecciones repartidas por todo el mundo. Sin embargo, desafortunadamente, la calidad y representatividad espacial y taxonómica de esta información impide su utilización generalizada con fines aplicados. Desde el MNCN (CSIC), estamos comenzando a desarrollar una serie de herramientas dentro del proyecto EDIT (http://www.e-taxonomy.eu/) a fin de proporcionar aplicaciones capaces de visualizar y evaluar la calidad de la información biológica georeferenciada a la comunidad de taxónomos europea. El desarrollo creciente de técnicas de modelización capaces de extrapolar la distribución de los organismos a partir de datos fragmentarios, requiere de aplicaciones que permitan un estudio previo de la información de partida para: i) estimar las unidades espaciales con inventarios relativamente fiables, ii) representar su ubicación y iii) localizar espacialmente el conjunto mínimo de unidades espaciales que garantice una cobertura ambiental adecuada de los datos a modelizar. La ausencia de aplicaciones web asequibles y de fácil manejo ha motivado el desarrollo de este proyecto. Hasta el presente esta disponible una plataforma para descarga libre de capas de información geográfica -unidades espaciales y variables ambientales-, y una herramienta de visualización basada en la librería javascript de MapBuilder, que toma datos de PostGIS a través del servidor de mapas GeoServer (http://edit.csic.es). En un futuro cercano pretendemos aprovechar la posibilidad que nos proporciona PostGIS para realizar el análisis espacial (punto-en-polígono) “al vuelo”, plasmándose dichos resultados en la generación de mapas temáticos

Edición cartográfica vectorial en un sistema web

Tecnigral, S.L (consultoría medioambiental) ha buscado, desde su origen, apoyar a los técnicos en la gestión diaria de servicios urbanos. ¿Cómo? Proporcionándoles tanto software de gestión como servicios de análisis y de control de calidad. Desde 2006 hemos desarrollado una docena de proyectos de gestión SIG utilizando MapServer para generar las imágenes cartográficas. Una de las demandas que hemos recibido es la de poder editar (desde el mismo entorno, con suficiente precisión y sencillez) la información cartográfica gestionada. Frente a esta demanda nuestra propuesta de solución ha sido desarrollar una aplicación web con las siguientes características: • Reutilizar al máximo el software ya existente. (MapServer, como servidor de cartografía [y su capacidad de acceso a fuentes de datos vectoriales] y VML de Internet Explorer como gestor vectorial en el cliente web) • Evitar cualquier tipo de instalación en los clientes. Al utilizar, sobre IE, el formato VML (Para FireFox tenemos previsto utilizar SVG) el único requerimiento es tener activo javaScript. • Precisión métrica elevada. VML permite obtener mediciones con precisión centimétrica. • Contar con funciones de navegación, medición, alta de elementos puntuales, lineales, superficiales y rótulos. Edición de vértices, duplicación y desplazamiento de elementos, etc. • Todo el desarrollo, desde la parte cliente está realizado con javaScript y aprovecha la flexibilidad de AJAX. El citado Sistema de edición cartográfica (que empezamos a desarrollar a principio de 2007) se está aplicando en el proyecto GAVI, del departamento de Parques y Jardines del Ayuntamiento de Barcelona

Ka-Map: an interactive web-mapping application

ka-Map ("ka" as in ka-boom!) is an open source project that is aimed at providing a javascript API for developing highly interactive web-mapping interfaces using features available in modern web browsers. ka-Map currently has a number of interesting features. It sports the usual array of user interface elements such as: interactive, continuous panning without reloading the page; keyboard navigation options (zooming, panning); zooming to pre-set scales; interactive scalebar, legend and keymap support; optional layer control on client side; server side tile caching