Clasificación de tráfico de Internet mediante análisis de datos

Poder clasificar de manera precisa la aplicación o programa del que provienen los flujos que conforman el tráfico de uso de Internet dentro de una red permite tanto a empresas como a organismos una útil herramienta de gestión de los recursos de sus redes, así como la posibilidad de establecer políticas de prohibición o priorización de tráfico específico. La proliferación de nuevas aplicaciones y de nuevas técnicas han dificultado el uso de valores conocidos (well-known) en puertos de aplicaciones proporcionados por la IANA (Internet Assigned Numbers Authority) para la detección de dichas aplicaciones. Las redes P2P (Peer to Peer), el uso de puertos no conocidos o aleatorios, y el enmascaramiento de tráfico de muchas aplicaciones en tráfico HTTP y HTTPS con el fin de atravesar firewalls y NATs (Network Address Translation), entre otros, crea la necesidad de nuevos métodos de detección de tráfico. El objetivo de este estudio es desarrollar una serie de prácticas que permitan realizar dicha tarea a través de técnicas que están más allá de la observación de puertos y otros valores conocidos. Existen una serie de metodologías como Deep Packet Inspection (DPI) que se basa en la búsqueda de firmas, signatures, en base a patrones creados por el contenido de los paquetes, incluido el payload, que caracterizan cada aplicación. Otras basadas en el aprendizaje automático de parámetros de los flujos, Machine Learning, que permite determinar mediante análisis estadísticos a qué aplicación pueden pertenecer dichos flujos y, por último, técnicas de carácter más heurístico basadas en la intuición o el conocimiento propio sobre tráfico de red. En concreto, se propone el uso de alguna de las técnicas anteriormente comentadas en conjunto con técnicas de minería de datos como son el Análisis de Componentes Principales (PCA por sus siglas en inglés) y Clustering de estadísticos extraídos de los flujos procedentes de ficheros de tráfico de red. Esto implicará la configuración de diversos parámetros que precisarán de un proceso iterativo de prueba y error que permita dar con una clasificación del tráfico fiable. El resultado ideal sería aquel en el que se pudiera identificar cada aplicación presente en el tráfico en un clúster distinto, o en clusters que agrupen grupos de aplicaciones de similar naturaleza. Para ello, se crearán capturas de tráfico dentro de un entorno controlado e identificando cada tráfico con su aplicación correspondiente, a continuación se extraerán los flujos de dichas capturas. Tras esto, parámetros determinados de los paquetes pertenecientes a dichos flujos serán obtenidos, como por ejemplo la fecha y hora de llagada o la longitud en octetos del paquete IP. Estos parámetros serán cargados en una base de datos MySQL y serán usados para obtener estadísticos que ayuden, en un siguiente paso, a realizar una clasificación de los flujos mediante minería de datos. Concretamente, se usarán las técnicas de PCA y clustering haciendo uso del software RapidMiner. Por último, los resultados obtenidos serán plasmados en una matriz de confusión que nos permitirá que sean valorados correctamente. ABSTRACT. Being able to classify the applications that generate the traffic flows in an Internet network allows companies and organisms to implement efficient resource management policies such as prohibition of specific applications or prioritization of certain application traffic, looking for an optimization of the available bandwidth. The proliferation of new applications and new technics in the last years has made it more difficult to use well-known values assigned by the IANA (Internet Assigned Numbers Authority), like UDP and TCP ports, to identify the traffic. Also, P2P networks and data encapsulation over HTTP and HTTPS traffic has increased the necessity to improve these traffic analysis technics. The aim of this project is to develop a number of techniques that make us able to classify the traffic with more than the simple observation of the well-known ports. There are some proposals that have been created to cover this necessity; Deep Packet Inspection (DPI) tries to find signatures in the packets reading the information contained in them, the payload, looking for patterns that can be used to characterize the applications to which that traffic belongs; Machine Learning procedures work with statistical analysis of the flows, trying to generate an automatic process that learns from those statistical parameters and calculate the likelihood of a flow pertaining to a certain application; Heuristic Techniques, finally, are based in the intuition or the knowledge of the researcher himself about the traffic being analyzed that can help him to characterize the traffic. Specifically, the use of some of the techniques previously mentioned in combination with data mining technics such as Principal Component Analysis (PCA) and Clustering (grouping) of the flows extracted from network traffic captures are proposed. An iterative process based in success and failure will be needed to configure these data mining techniques looking for a reliable traffic classification. The perfect result would be the one in which the traffic flows of each application is grouped correctly in each cluster or in clusters that contain group of applications of similar nature. To do this, network traffic captures will be created in a controlled environment in which every capture is classified and known to pertain to a specific application. Then, for each capture, all the flows will be extracted. These flows will be used to extract from them information such as date and arrival time or the IP length of the packets inside them. This information will be then loaded to a MySQL database where all the packets defining a flow will be classified and also, each flow will be assigned to its specific application. All the information obtained from the packets will be used to generate statistical parameters in order to describe each flow in the best possible way. After that, data mining techniques previously mentioned (PCA and Clustering) will be used on these parameters making use of the software RapidMiner. Finally, the results obtained from the data mining will be compared with the real classification of the flows that can be obtained from the database. A Confusion Matrix will be used for the comparison, letting us measure the veracity of the developed classification process.

Aplicación de herramientas gis para la cartografía y correlación de datos de ensayos no destructivos en el diagnóstico de edificios históricos

La presente tesis propone un nuevo método de cartografía de ensayos no destructivos en edificios históricos mediante el uso de técnicas basadas en SIG. Primeramente, se define el método por el cual es posible elaborar y convertir una cartografía 3D basada en nubes de puntos de un elemento arquitectónico obtenida mediante fotogrametría, en cartografía raster y vectorial, legible por los sistemas SIG mediante un sistema de coordenadas particular que referencian cada punto de la nube obtenida por fotogrametría. A esta cartografía inicial la denominaremos cartografía base. Después, se define el método por el cual los puntos donde se realiza un ensayo NDT se referencian al sistema de coordenadas del plano base, lo que permite la generación de cartografías de los ensayos referenciadas y la posibilidad de obtener sobre un mismo plano base diferentes datos de múltiples ensayos. Estas nuevas cartografías las denominaremos cartografías de datos, y se demostrará la utilidad de las mismas en el estudio del deterioro y la humedad. Se incluirá el factor tiempo en las cartografías, y se mostrará cómo este nuevo hecho posibilita el trabajo interdisciplinar en la elaboración del diagnóstico. Finalmente, se generarán nuevas cartografías inéditas hasta entonces consistentes en la combinación de diferentes cartografías de datos con la misma planimetría base. Estas nuevas cartografías, darán pie a la obtención de lo que se ha definido como mapas de isograma de humedad, mapa de isograma de salinidad, factor de humedad, factor de evaporación, factor de salinidad y factor de degradación del material. Mediante este sistema se facilitará una mejor visión del conjunto de los datos obtenidos en el estudio del edificio histórico, lo que favorecerá la correcta y rigurosa interpretación de los datos para su posterior restauración. ABSTRACT This research work proposes a new mapping method of non-destructive testing in historical buildings, by using techniques based on GIS. First of all, the method that makes it possible to produce and convert a 3D map based on cloud points from an architectural element obtained by photogrammetry, are defined, as raster and vector, legible by GIS mapping systems using a particular coordinate system that will refer each cloud point obtained by photogrammetry. This initial mapping will be named base planimetry. Afterwards, the method by which the points where the NDT test is performed are referenced to the coordinate system of the base plane , which allows the generation of maps of the referenced tests and the possibility of obtaining different data from multiple tests on the same base plane. These new maps will be named mapping data and their usefulness will be demonstrated in the deterioration and moisture study. The time factor in maps will be included, and how this new fact will enable the interdisciplinary work in the elaboration of the diagnosis will be proved. Finally, new maps (unpublished until now) will be generated by combining different mapping from the same planimetry data base. These new maps will enable us to obtain what have been called isograma moisture maps, isograma salinity- maps, humidity factor, evaporation factor, salinity factor and the material degradation factor. This system will provide a better vision of all data obtained in the study of historical buildings , and will ease the proper and rigorous data interpretation for its subsequent restoration.

Desarrollo de un sistema de arañas inteligentes para la extracción de datos de empresas

El presente proyecto de fin de grado es uno de los resultados generados en un proyecto de financiación privada por parte de Telefónica consistente en el desarrollo y posterior implantación de un sistema para minería de datos de empresas presentes en Internet. Este TFG surge a partir de un proyecto que el grupo de investigación AICU-LABS (Mercator) de la UPM ha desarrollado para Telefónica, y tiene como elemento principal el desarrollo de Agentes web (también llamados robots software, “softbots” o “crawlers”) capaces de obtener datos de empresas a partir de sus CIF a través de internet. El listado de empresas nos los proporciona Telefónica, y está compuesto por empresas que no son clientes de Telefónica en la actualidad. Nuestra misión es proporcionarles los datos necesarios (principalmente teléfono, correo electrónico y dirección de la empresa) para la creación de una base de datos de potenciales clientes. Para llevar a cabo esta tarea, se ha realizado una aplicación que, a partir de los CIF que nos proporcionan, busque información en internet y extraiga aquella que nos interese. Además se han desarrollado sistemas de validación de datos para ayudarnos a descartar datos no válidos y clasificar los datos según su calidad para así maximizar la calidad de los datos producidos por el robot. La búsqueda de datos se hará tanto en bases de datos online como, en caso de localizarlas, las propias páginas web de las empresas. ABSTRACT This Final Degree Project is one of the results obtained from a project funded by Telefónica. This project consists on the development and subsequent implantation of a system which performs data mining on companies operating on the Internet. This document arises from a project the research group AICU-LABS (Mercator) from the Universidad Politécnica de Madrid has developed for Telefónica. The main goal of this project is the creation of web agents (also known as “crawlers” or “web spiders”) able to obtain data from businesses through the Internet, knowing only their VAT identification number. The list of companies is given by Telefónica, and it is composed by companies that are not Telefónica’s customers today. Our mission is to provide the data required (mainly phone, email and address of the company) to create a database of potential customers. To perform this task, we’ve developed an application that, starting with the given VAT numbers, searches the web for information and extracts the data sought. In addition, we have developed data validation systems, that are capable of discarding low quality data and also sorting the data according to their quality, to maximize the quality of the results produced by the robot. We’ll use both the companies’ websites and external databases as our sources of information.

Análisis de datos de periódicos digitales

En este proyecto se ha desarrollado una aplicación Web cuya finalidad es ofrecer al usuario datos provenientes del análisis de texto de las noticias que se encuentran en periódicos online. La aplicación permite al usuario realizar búsquedas personalizadas sobre temáticas específicas y configurar algunos tipos de análisis sobre la información recuperada. Entre los análisis que son llevados a cabo destaca el análisis del sentimiento. Para ello se ofrece la posibilidad de que el usuario utilice sus propios diccionarios de pares palabra-valor, utilizados para realizar este tipo de análisis. Para la codificación de la herramienta, se ha utilizado el lenguaje de programación Python y la framework web Django. El almacenamiento de la información de la aplicación se ha realizado sobre una base de datos NoSQL de tipo MongoDB.

Fundamentos de las Bases de Datos. Ejercicios hora1 (curso 2012-2013)

Ejercicios sobre los conceptos desarrollados en la primera parte de las sesiones de teoría (hora1, teoría1).

Fundamentos de las Bases de Datos. Teoría2 conceptos y ejercicios (curso 2012-2013)

La segunda hora de las sesiones de teoría se centra en el modelo relacional y tiene un carácter más práctico, de resolución de problemas de aplicación de lo anterior.

Fundamentos de las Bases de Datos. 2011C1 Exámenes finales (curso 2012-2013)

En ese curso, este examen se hizo en la última sesión de teoría por lo que se prepararon varias versiones ligeramente diferentes para cada grupo de teoría.

Fundamentos de las Bases de Datos. 2011C2 Exámenes finales (curso 2012-2013)

El examen consta de 3 partes: Test de teoría, problemas de teoría y SQL. Hay dos versiones, una para informática y otra para multimedia.

Fundamentos de las Bases de Datos. 2012C1 Examen final (curso 2012-2013)

En el curso 2011-12 este examen de problemas de aplicación de la teoría se realizó en la fecha asignada por la Universidad de Alicante y en aulas comunes para Informática y Multimedia.

Fundamentos de las Bases de Datos. 2012C2 Examen (curso 2012-2013)

Examen de segunda convocatoria del curso 2011-12. Consta de 3 partes: test y problemas de teoría, y SQL.

Fundamentos de las Bases de Datos. Mapas conceptuales (curso 2012-2013)

Mapas conceptuales de los temas de la asignatura.

Fundamentos de las Bases de Datos. Presentaciones Teoría1 (curso 2012-2013)

Presentaciones de la primera hora de las sesiones de teoría (TEORÍA1).

Identificación de minerales mediante difracción de rayos X utilizando bases de datos online de libre acceso

El artículo proporciona una metodología sencilla para la identificación de minerales mediante la técnica de difracción de rayos X de polvo utilizando bases de datos mineralógicos de libre acceso y online. Las bases de datos utilizadas son la base de datos mineralógicas webmineral y la base de datos de estructuras cristalinas de la American Mineralogist Crystal Structure Database, AMS. En el presente trabajo se han elaborado 3 actividades resueltas de estudios reales y en orden creciente de dificultad. Se ha pretendido hacer hincapié en puntos donde el profesor puede interactuar con el alumno y promover la capacidad de análisis, síntesis y razonamiento crítico del alumno ante un problema de investigación en geología. Finalmente se ha elaborado un Anexo donde se recogen recomendaciones para que el profesor desarrolle sus propias actividades.

Las bases de datos documentales (BDd) y el proceso de búsqueda

El tema Las bases de datos documentales (BDd) y el Proceso de Búsqueda forma parte del programa de la asignatura 'Documentación e Información Científica en Salud' del Máster Universitario en Investigación en Ciencias de la Enfermería que se imparte en la Facultad de Ciencias de la Salud (Universidad de Alicante).

Tendencias y características de los viajeros que visitan la ciudad de Pereira por medio de técnicas de minería de datos.

El sector del turismo es uno de los más grandes a nivel mundial, generando 212 millones de empleos contribuyendo al PIB de muchos países. Según las estadísticas del ministerio de comercio el total de llegadas de turistas internacionales a la ciudad de Pereira es mayor que el de Armenia y Manizales, esto sin tener en cuenta los turistas que ingresaron por una frontera, datos que se han mantenido desde el año 2011 hasta la actualidad, año 2014. En el Quindío se cuenta con un observatorio de turismo el cual cada vez ha ido incorporando nuevos datos para sus estadísticas, observándose en el año 2014 que se tienen en cuenta a los actores de turismo, como lo son los prestadores de servicios hoteleros, restaurantes, artesanías, servicios de guías. La ciudad de Pereira no cuenta con un observatorio de turismo ni estudios sobre sus viajeros, las entidades encargadas del Turismo de Pereira no tienen en cuenta dicha variable ya que en sus sitios web y en su entidad no hay información recopilada sobre estos. Por esto hizo un análisis de la ciudad, para poder determinar datos estadísticos como: Procedencia de los visitantes, propósito de la visita, servicios utilizados, tipos de comidas preferidas, tipo de transporte utilizado, medio por el cual se enteraron de la ciudad, nivel de satisfacción en la ciudad, costos de la ciudad. Con los datos recopilados se realizó una segmentación y descripción de hábitos de los viajeros realizando análisis de clúster, posteriormente se clasificaron de acuerdo a tendencias y características aplicando reglas de asociación y finalmente se agruparon por el nivel de gastos, percepción y satisfacción luego de visitar la ciudad por medio de un análisis de clúster. Este proceso de extracción de conocimiento a partir de los datos KDD, utilizado actualmente por el sector empresarial, educativo y científico, se desarrolló utilizando la metodología CRISP-DM y fue implementado sobre la aplicación de uso libre RapidMiner y comprende desde la recolección de la información en línea y la extracción de información de la base de datos diseñada para tal fin, su transformación, validación, el cálculo de los clústers y las reglas de asociación.