Desarrollo de un sistema de arañas inteligentes para la extracción de datos de empresas

El presente proyecto de fin de grado es uno de los resultados generados en un proyecto de financiación privada por parte de Telefónica consistente en el desarrollo y posterior implantación de un sistema para minería de datos de empresas presentes en Internet. Este TFG surge a partir de un proyecto que el grupo de investigación AICU-LABS (Mercator) de la UPM ha desarrollado para Telefónica, y tiene como elemento principal el desarrollo de Agentes web (también llamados robots software, “softbots” o “crawlers”) capaces de obtener datos de empresas a partir de sus CIF a través de internet. El listado de empresas nos los proporciona Telefónica, y está compuesto por empresas que no son clientes de Telefónica en la actualidad. Nuestra misión es proporcionarles los datos necesarios (principalmente teléfono, correo electrónico y dirección de la empresa) para la creación de una base de datos de potenciales clientes. Para llevar a cabo esta tarea, se ha realizado una aplicación que, a partir de los CIF que nos proporcionan, busque información en internet y extraiga aquella que nos interese. Además se han desarrollado sistemas de validación de datos para ayudarnos a descartar datos no válidos y clasificar los datos según su calidad para así maximizar la calidad de los datos producidos por el robot. La búsqueda de datos se hará tanto en bases de datos online como, en caso de localizarlas, las propias páginas web de las empresas. ABSTRACT This Final Degree Project is one of the results obtained from a project funded by Telefónica. This project consists on the development and subsequent implantation of a system which performs data mining on companies operating on the Internet. This document arises from a project the research group AICU-LABS (Mercator) from the Universidad Politécnica de Madrid has developed for Telefónica. The main goal of this project is the creation of web agents (also known as “crawlers” or “web spiders”) able to obtain data from businesses through the Internet, knowing only their VAT identification number. The list of companies is given by Telefónica, and it is composed by companies that are not Telefónica’s customers today. Our mission is to provide the data required (mainly phone, email and address of the company) to create a database of potential customers. To perform this task, we’ve developed an application that, starting with the given VAT numbers, searches the web for information and extracts the data sought. In addition, we have developed data validation systems, that are capable of discarding low quality data and also sorting the data according to their quality, to maximize the quality of the results produced by the robot. We’ll use both the companies’ websites and external databases as our sources of information.

Integrating the development of data mining and data warehouses via model-driven engineering

Data mining is one of the most important analysis techniques to automatically extract knowledge from large amount of data. Nowadays, data mining is based on low-level specifications of the employed techniques typically bounded to a specific analysis platform. Therefore, data mining lacks a modelling architecture that allows analysts to consider it as a truly software-engineering process. Bearing in mind this situation, we propose a model-driven approach which is based on (i) a conceptual modelling framework for data mining, and (ii) a set of model transformations to automatically generate both the data under analysis (that is deployed via data-warehousing technology) and the analysis models for data mining (tailored to a specific platform). Thus, analysts can concentrate on understanding the analysis problem via conceptual data-mining models instead of wasting efforts on low-level programming tasks related to the underlying-platform technical details. These time consuming tasks are now entrusted to the model-transformations scaffolding. The feasibility of our approach is shown by means of a hypothetical data-mining scenario where a time series analysis is required.

Análisis mediante un sistema de información geográfica del desarrollo industrial de la ciudad de Alcoy

Los Sistemas de Información Geográfica nos permiten estudiar la evolución en el tiempo de cualquier fenómeno o hecho físico que se pueda referenciar geográficamente. En el presente trabajo se realiza un estudio, mediante un Sistema de Información Geográfica, del desarrollo industrial de la Ciudad de Alcoy en el P. G. O. U. de 1957. En el tiempo de duración de este plan, que abarca un período de 32 años, con una única revisión en 1982, la ciudad ha sufrido grandes transformaciones económicas, sociales, industriales y urbanísticas. El trabajo pretende, por una parte, elaborar la cartografía de la evolución que ha sufrido la localización de la industria alcoyana y realizar un análisis en el que quede de manifiesto la política industrial llevada a cabo por las Administraciones y las consecuencias que ha tenido para el desarrollo de la ciudad. En segundo lugar, se pretende estudiar las posibilidades de una aplicación GIS como GeoMedia en la realización de dicho estudio, así como analizar el proceso para la realización del trabajo: digitalización de mapas, referenciación geográfica, utilización de mapas digitales, definición de entidades y clases de entidad, bases de datos a utilizar, consultas a realizar etc.

Hacia la consideración de aspectos de calidad de datos en procesos de minería: el caso de las técnicas de clasificación

El éxito en la búsqueda de conocimiento a partir de grandes cantidades de datos radica en la calidad de los mismos. Hasta ahora los aspectos de calidad de los datos se han enfocado principalmente a la limpieza de los datos: detección de duplicados, valores atípicos, perdidos, incompletos o conflictos en instancias, entre otros. En este trabajo se presenta un caso de estudio que nos ha permitido determinar ciertos aspectos de calidad que pueden mejorar la expectativa de éxito en el análisis evitando resultados erróneos, incorrectos o poco fiables. Este es un primer paso hacia la consideración de manera sistemática y estructurada de criterios de calidad específicos para minería de datos que ayude al minero de datos en sus objetivos.

Fonaments de les Bases de Dades. Material de teoria i pràctiques (curs 2013-2014)

Material en valencià de l’assignatura Fonaments de les Bases de Dades.

Enseñanza de sistemas BIM en el ámbito universitario

Una de las exigencias técnicas más demandadas hoy en día dentro del ámbito edificatorio es el manejo de programas de diseño arquitectónico integrado, al convertirse en una formación indispensable frente al diseño tradicional. De este modo, la utilización de tecnologías BIM (Building Information Modeling) en el ámbito proyectual está suponiendo un impulso profesional cualitativo muy importante mediante la utilización de bases de datos específicas asociadas a dibujos convencionales desde distintas perspectivas y a todos los niveles. El objeto del presente estudio es la aplicación constructiva de esta herramienta en el ámbito docente de la Universidad de Alicante, suponiendo una oportunidad para implementar el estudio de nuevas tecnologías y conocer una interesante herramienta de trabajo implantada actualmente en muchas empresas de arquitectura y construcción. La metodología y los contenidos impartidos en el curso consideran una aplicación práctica de forma que los conocimientos adquiridos sean graduales y de aplicación sucesiva. En conclusión, el curso planteado responde a las crecientes necesidades profesionales en el ámbito constructivo con herramientas BIM y enriquece las habilidades de los estudiantes, mejorando su pericia en el ámbito del diseño y ampliando su capacidad de visión espacial; ambas cualidades indispensables en la práctica profesional arquitectónica.

Grado de interiorización de los sistemas de gestión medioambiental: una revisión de la literatura

El objetivo de este trabajo es analizar las principales características de los trabajos sobre interiorización de las normas de gestión medioambiental que fueron identificados a partir de una búsqueda electrónica en las bases de datos Web of Science, Science Direct, ProQuest y Emerald. Estos trabajos muestran que las empresas pueden tener un mayor o menor compromiso con los requisitos de una norma de gestión medioambiental, lo que puede llevar a niveles heterogéneos de interiorización e implantación. Además, los resultados de estos trabajos muestran que una mayor interiorización conlleva un mejor rendimiento medioambiental.

Integración y visualización de datos abiertos medioambientales

En la actualidad, muchos gobiernos están publicando (o tienen la intención de publicar en breve) miles de conjuntos de datos para que personas y organizaciones los puedan utilizar. Como consecuencia, la cantidad de aplicaciones basadas en Open Data está incrementándose. Sin embargo cada gobierno tiene sus propios procedimientos para publicar sus datos, y esto causa una variedad de formatos dado que no existe un estándar internacional para especificar los formatos de estos datos. El objetivo principal de este trabajo es un análisis comparativo de datos ambientales en bases de datos abiertas (Open Data) pertenecientes a distintos gobiernos. Debido a esta variedad de formatos, debemos construir un proceso de integración de datos que sea capaz de unir todos los tipos de formatos. El trabajo implica un pre-procesado, limpieza e integración de las diferentes fuentes de datos. Existen muchas aplicaciones desarrolladas para dar soporte en el proceso de integración por ejemplo Data Tamer, Data Wrangler como se explica en este documento. El problema con estas aplicaciones es que necesitan la interacción del usuario como parte fundamental del proceso de integración. En este trabajo tratamos de evitar la supervisión humana aprovechando las similitudes de los datasets procedentes de igual área que en nuestro caso se aplica al área de medioambiente. De esta forma los procesos pueden ser automatizados con una programación adecuada. Para conseguirlo, la idea principal de este trabajo es construir procesos ad hoc adaptados a las fuentes de cada gobierno para conseguir una integración automática. Concretamente este trabajo se enfoca en datos ambientales como lo son la temperatura, consumo de energía, calidad de aire, radiación solar, velocidad del viento, etc. Desde hace dos años el gobierno de Madrid está publicando sus datos relativos a indicadores ambientales en tiempo real. Del mismo modo, otros gobiernos han publicado conjuntos de datos Open Data relativos al medio ambiente (como Andalucía o Bilbao), pero todos estos datos tienen diferentes formatos. En este trabajo se presenta una solución capaz de integrar todas ellos que además permite al usuario visualizar y hacer análisis sobre los datos en tiempo real. Una vez que el proceso de integración está realizado, todos los datos de cada gobierno poseen el mismo formato y se pueden lanzar procesos de análisis de una manera más computacional. Este trabajo tiene tres partes fundamentales: 1. Estudio de los entornos Open Data y la literatura al respecto; 2. Desarrollo de un proceso de integración y 3. Desarrollo de una Interface Gráfica y Analítica. Aunque en una primera fase se implementaron los procesos de integración mediante Java y Oracle y la Interface Gráfica con Java (jsp), en una fase posterior se realizó toda la implementación con lenguaje R y la interface gráfica mediante sus librerías, principalmente con Shiny. El resultado es una aplicación que provee de un conjunto de Datos Ambientales Integrados en Tiempo Real respecto a dos gobiernos muy diferentes en España, disponible para cualquier desarrollador que desee construir sus propias aplicaciones.

Visualización de datos de comunidades colaborativas

Las comunidades colaborativas, donde grandes cantidades de personas colaboran para la producción de recursos compartidos (e.g. Github, Wikipedia, OpenStreetMap, Arduino, StackOverflow) están extendiéndose progresivamente a multitud de campos. No obstante, es complicado comprender cómo funcionan y evolucionan. ¿Qué tipos de usuarios son más activos en Wikia? ¿Cómo ha evolucionado el número de wikis activas en los últimos años? ¿Qué perfil de actividad presentan la mayor parte de colaboradores de Wikia? ¿Son más activos los hombres o las mujeres en la Wikipedia? En los proyectos de Github, ¿el esfuerzo de programación (y frecuencia de commits) se distribuye de forma homogénea a lo largo del tiempo o suele estar concentrado? Estas comunidades, típicamente online, dejan registrada su actividad en grandes bases de datos, muchas de ellas disponibles públicamente. Sin embargo, el ciudadano de a pie no tiene ni las herramientas ni el conocimiento necesario para sacar conclusiones de esos datos. En este TFG desarrollamos una herramienta de análisis exploratorio y visualización de datos de la plataforma Wikia, sitio web colaborativo que permite la creación, edición y modificación del contenido y estructura de miles de páginas web de tipo enciclopedia basadas en la tecnología wiki. Nuestro objetivo es que esta aplicación web sea usable por cualquiera y que no requiera que el usuario sea un experto en Big Data para poder visualizar las gráficas de evolución o distribuciones del comportamiento interno de la comunidad, pudiendo modificar algunos de sus parámetros y visualizando cómo cambian. Como resultado de este trabajo se ha desarrollado una primera versión de la aplicación disponible en GitHub1 y en http://chartsup.esy.es/

Evaluación de los factores de riesgo y protección de un programa de prevención universal de las drogodependencias en el ámbito educativo

Este estudio pretende evaluar un programa de Prevención Universal de las drogodependencias en el ámbito educativo a través de los cambios que produce en los diferentes factores de riesgo y protección seleccionados. La intensidad de la exposición al programa y la realización de talleres de refuerzo también han sido objetivo de la evaluación. La valoración se ha realizado en todas las etapas educativas: Educación Infantil, Educación Primaria y Educación Secundaria, teniéndose en cuenta el sexo y el curso. Metodología: La muestra está compuesta por 3.454 estudiantes de la Comunidad de Madrid. 250 estudiantes de Educación Infantil, 849 estudiantes de 1º y 2º Ciclo de Primaria, 520 estudiantes de 3º Ciclo de Primaria y 1.835 estudiantes de ESO. Se elaboraron 4 instrumentos de medida de factores de riesgo y protección: Preval_PP1 para Educación Infantil y Preval_PP2 para el 1º y 2º Ciclo de Primaria, ambos son informes a rellenar por el profesorado. El Preval_PP3 para el 3º Ciclo de Primaria y el Preval_PP4 para la ESO en forma de autoinforme a rellenar por el alumnado. A través de las bases de datos evaluamos la cantidad de años que cada centro ha participado en el programa preventivo así como el número de estudiantes que ha participado en talleres de refuerzo. Mediante un diseño cuasi-experimental con medida pre-test y post-test se realizan ANOVAs de medidas repetidas teniendo en cuenta el sexo y el curso para evaluar los cambios en los factores de riesgo y protección y comparar los centros de alta y baja exposición así como comparar al alumnado que realiza talleres de refuerzo con los que no los realizan...

Redefinición de las TIC en el museo: del discurso invasivo al inclusivo

Las TIC son inseparables de la museografía in situ e imprescindibles en la museografía en red fija y móvil. En demasiados casos se han instalado prótesis tecnológicas para barnizar de modernidad el espacio cultural, olvidando que la tecnología debe estar al servicio de los contenidos de manera que resulte invisible y perfectamente imbricada con la museografía tradicional. Las interfaces móviles pueden fusionar museo in situ y en red y acompañar a las personas más allá del espacio físico. Esa fusión debe partir de una base de datos narrativa y abierta a obras materiales e inmateriales de otros museos de manera que no se trasladen las limitaciones del museo físico al virtual. En el museo in situ tienen sentido las instalaciones hipermedia inmersivas que faciliten experiencias culturales innovadoras. La interactividad (relaciones virtuales) debe convivir con la interacción (relaciones físicas y personales) y estar al servicio de todas las personas, partiendo de que todas, todos tenemos limitaciones. Trabajar interdisciplinarmente ayuda a comprender mejor el museo para ponerlo al servicio de las personas.

Diseño de una turbina experimental de vapor de baja potencia.

Este trabajo se enfoca en el diseño de una turbina de vapor de carácter experimental para simular, en un laboratorio de transferencia térmica, la dinámica propia de una turbina de mayor tamaño en el circuito secundario de un ciclo de potencia. La máquina diseñada produciría 185 kW de potencia en el eje a 9.000 RPM con un rendimiento interno del 88 %, tomando en la entrada 0,4 kg/s de vapor saturado a 40 bar y descargando a una presión de 1,5 bar. Se desarrolló la teoría de turbomáquinas necesaria para realizar los cálculos fuidodinámicos y se propuso un método de diseño apropiado para el alcance del trabajo. Se decidió que la turbina sería de tres etapas, dos Curtis y una de impulso, y se realizaron los cálculos correspondientes. Una vez que el diseño fluidodinámico estaba definido, se procedió a dimensionar los distintos elementos mecánicos, con el alcance correspondiente a ingeniería conceptual y básica. Se realizaron detalladamente los cálculos propios del dimensionado del rotor (eje y discos), rodamientos, carcasa, válvula de seguridad de presión y asociados. Además se presentó el diseño conceptual de los elementos restantes, sistema de control y otros auxiliares. Finalmente, se realizaron los modelos en software 3D de todas las piezas y se produjeron los planos correspondientes.

Diseño de una turbina experimental de vapor de baja potencia.

Este trabajo se enfoca en el diseño de una turbina de vapor de carácter experimental para simular, en un laboratorio de transferencia térmica, la dinámica propia de una turbina de mayor tamaño en el circuito secundario de un ciclo de potencia. La máquina diseñada produciría 185 kW de potencia en el eje a 9.000 RPM con un rendimiento interno del 88 %, tomando en la entrada 0,4 kg/s de vapor saturado a 40 bar y descargando a una presión de 1,5 bar. Se desarrolló la teoría de turbomáquinas necesaria para realizar los cálculos fuidodinámicos y se propuso un método de diseño apropiado para el alcance del trabajo. Se decidió que la turbina sería de tres etapas, dos Curtis y una de impulso, y se realizaron los cálculos correspondientes. Una vez que el diseño fluidodinámico estaba definido, se procedió a dimensionar los distintos elementos mecánicos, con el alcance correspondiente a ingeniería conceptual y básica. Se realizaron detalladamente los cálculos propios del dimensionado del rotor (eje y discos), rodamientos, carcasa, válvula de seguridad de presión y asociados. Además se presentó el diseño conceptual de los elementos restantes, sistema de control y otros auxiliares. Finalmente, se realizaron los modelos en software 3D de todas las piezas y se produjeron los planos correspondientes.

Computer-aided tool for the teaching of relational algebra in data base courses

This article describes the design and implementation of computer-aided tool called Relational Algebra Translator (RAT) in data base courses, for the teaching of relational algebra. There was a problem when introducing the relational algebra topic in the course EIF 211 Design and Implementation of Databases, which belongs to the career of Engineering in Information Systems of the National University of Costa Rica, because students attending this course were lacking profound mathematical knowledge, which led to a learning problem, being this an important subject to understand what the data bases search and request do RAT comes along to enhance the teaching-learning process.It introduces the architectural and design principles required for its implementation, such as: the language symbol table, the gramatical rules and the basic algorithms that RAT uses to translate from relational algebra to SQL language. This tool has been used for one periods and has demonstrated to be effective in the learning-teaching process.  This urged investigators to publish it in the web site: www.slinfo.una.ac.cr in order for this tool to be used in other university courses.