Predicción de tráfico de contenedores a corto plazo mediante técnicas de minería de datos : redes neuronales artificiales y redes bayesianas

El correcto pronóstico en el ámbito de la logística de transportes es de vital importancia para una adecuada planificación de medios y recursos, así como de su optimización. Hasta la fecha los estudios sobre planificación portuaria se basan principalmente en modelos empíricos; que se han utilizado para planificar nuevas terminales y desarrollar planes directores cuando no se dispone de datos iniciales, analíticos; más relacionados con la teoría de colas y tiempos de espera con formulaciones matemáticas complejas y necesitando simplificaciones de las mismas para hacer manejable y práctico el modelo o de simulación; que requieren de una inversión significativa como para poder obtener resultados aceptables invirtiendo en programas y desarrollos complejos. La Minería de Datos (MD) es un área moderna interdisciplinaria que engloba a aquellas técnicas que operan de forma automática (requieren de la mínima intervención humana) y, además, son eficientes para trabajar con las grandes cantidades de información disponible en las bases de datos de numerosos problemas prácticos. La aplicación práctica de estas disciplinas se extiende a numerosos ámbitos comerciales y de investigación en problemas de predicción, clasificación o diagnosis. Entre las diferentes técnicas disponibles en minería de datos las redes neuronales artificiales (RNA) y las redes probabilísticas o redes bayesianas (RB) permiten modelizar de forma conjunta toda la información relevante para un problema dado. En el presente trabajo se han analizado dos aplicaciones de estos casos al ámbito portuario y en concreto a contenedores. En la Tesis Doctoral se desarrollan las RNA como herramienta para obtener previsiones de tráfico y de recursos a futuro de diferentes puertos, a partir de variables de explotación, obteniéndose valores continuos. Para el caso de las redes bayesianas (RB), se realiza un trabajo similar que para el caso de las RNA, obteniéndose valores discretos (un intervalo). El principal resultado que se obtiene es la posibilidad de utilizar tanto las RNA como las RB para la estimación a futuro de parámetros físicos, así como la relación entre los mismos en una terminal para una correcta asignación de los medios a utilizar y por tanto aumentar la eficiencia productiva de la terminal. Como paso final se realiza un estudio de complementariedad de ambos modelos a corto plazo, donde se puede comprobar la buena aceptación de los resultados obtenidos. Por tanto, se puede concluir que estos métodos de predicción pueden ser de gran ayuda a la planificación portuaria. The correct assets’ forecast in the field of transportation logistics is a matter of vital importance for a suitable planning and optimization of the necessary means and resources. Up to this date, ports planning studies were basically using empirical models to deal with new terminals planning or master plans development when no initial data are available; analytical models, more connected to the queuing theory and the waiting times, and very complicated mathematical formulations requiring significant simplifications to acquire a practical and easy to handle model; or simulation models, that require a significant investment in computer codes and complex developments to produce acceptable results. The Data Mining (DM) is a modern interdisciplinary field that include those techniques that operate automatically (almost no human intervention is required) and are highly efficient when dealing with practical problems characterized by huge data bases containing significant amount of information. These disciplines’ practical application extends to many commercial or research fields, dealing with forecast, classification or diagnosis problems. Among the different techniques of the Data Mining, the Artificial Neuronal Networks (ANN) and the probabilistic – or Bayesian – networks (BN) allow the joint modeling of all the relevant information for a given problem. This PhD work analyses their application to two practical cases in the ports field, concretely to container terminals. This PhD work details how the ANN have been developed as a tool to produce traffic and resources forecasts for several ports, based on exploitation variables to obtain continuous values. For the Bayesian networks case (BN), a similar development has been carried out, obtaining discreet values (an interval). The main finding is the possibility to use ANN and BN to estimate future needs of the port’s or terminal’s physical parameters, as well as the relationship between them within a specific terminal, that allow a correct assignment of the necessary means and, thus, to increase the terminal’s productive efficiency. The final step is a short term complementarily study of both models, carried out in order to verify the obtained results. It can thus be stated that these prediction methods can be a very useful tool in ports’ planning.

Nuevos desarrollos en la medida de descargas parciales y técnicas avanzadas de análisis para el diagnóstico del estado de los aislamientos en sistemas eléctricos de alta tensión

En esta tesis se desarrolla una investigación sobre las técnicas de medida de descargas parciales (DP) que se aplican en medidas on-line, en condiciones normales de operación de las instalaciones eléctricas de alta tensión (AT). También se realiza un estudio de técnicas avanzadas de procesado y análisis de las señales medidas, que permiten realizar diagnósticos precisos del estado de los aislamientos eléctricos de AT. Uno de los objetivos fundamentales de la tesis ha sido disponer de un procedimiento eficaz de medida y procesado de las señales de DP, para la realización de medidas on-line tanto de forma itinerante, como mediante monitorización temporal o permanente. La implementación del nuevo procedimiento de medida permite obtener resultados satisfactorios en la detección, identificación y localización de defectos de aislamiento. Se ha dedicado especial interés al desarrollo de un método de clasificación de señales, que permite separar pulsos de ruido y diferentes fuentes de DP, presentes de forma simultánea en las instalaciones de AT. El estudio de la clasificación de señales se ha completado con la aplicación de un método para la detección de manera asistida, de los diferentes grupos de pulsos de ruido y de DP. La aplicación de este método de detección de grupos de pulsos, facilita la labor de los técnicos especialistas a la hora de diagnosticar el estado de los elementos aislantes. Al efecto de verificar de forma práctica las aportaciones de la tesis, se han realizado medidas de DP tanto en laboratorio como en campo. Las medidas experimentales en laboratorio se han efectuado en el Laboratorio de Alta Tensión de la Escuela Técnica Superior de Ingeniería y Diseño Industrial (LAT-UPM), de la Universidad Politécnica de Madrid. Por otro lado, las medidas experimentales en campo se han llevado a cabo en instalaciones de AT propiedad de compañías de transporte y distribución de energía eléctrica. La realización de ensayos de DP en estas instalaciones ha sido posible, gracias a los proyectos de investigación llevados a cabo por el grupo de trabajo del LAT-UPM, con diferentes empresas del sector durante los diez últimos años. ABSTRACT This thesis develops techniques for measuring partial discharges (PD) that are applied in on-line measurements, under normal operating conditions of the high voltage (HV) electrical installations. In addition there are studied advanced techniques for the processing and analysis of the measured signals, that permit precise diagnostics of the state of HV electrical insulation systems. One of the fundamental objectives of the thesis is to make available an effective procedure for measuring and processing PD signals, for making on-line measurements, either in an itinerant way or in temporary or permanent monitoring. The implementation of the new measurement procedure yields satisfactory results in the detection, identification and localization of insulation defects. Special attention has been devoted to the development of a method for classifying signals, that separates noise pulses and various PD sources present simultaneously in the HV installations. The study of the classification of signals has been completed by the application of a method for detecting, in a user assisted manner, the different groups of noise pulses and of PD. The application of this method for detecting groups of pulses facilitates the work of the specialist technicians to diagnose the condition of the insulation elements. To demonstrate the practical value of the thesis, PD measurements were made in laboratory as well as in field installations. The experimental measurements in laboratory were made in the High Voltage Laboratory (LAT-UPM) of the High Technical School of Engineering and Industrial Design, of the Polytechnic University of Madrid. Field measurements were realized in the HV installations of companies providing electrical energy transport and distribution. The realization of PD tests in these facilities was possible thanks to the research projects carried out by the working group of the LAT-UPM during the last ten years, with different companies operating in the sector.

Clasificación de tráfico de Internet mediante análisis de datos

Poder clasificar de manera precisa la aplicación o programa del que provienen los flujos que conforman el tráfico de uso de Internet dentro de una red permite tanto a empresas como a organismos una útil herramienta de gestión de los recursos de sus redes, así como la posibilidad de establecer políticas de prohibición o priorización de tráfico específico. La proliferación de nuevas aplicaciones y de nuevas técnicas han dificultado el uso de valores conocidos (well-known) en puertos de aplicaciones proporcionados por la IANA (Internet Assigned Numbers Authority) para la detección de dichas aplicaciones. Las redes P2P (Peer to Peer), el uso de puertos no conocidos o aleatorios, y el enmascaramiento de tráfico de muchas aplicaciones en tráfico HTTP y HTTPS con el fin de atravesar firewalls y NATs (Network Address Translation), entre otros, crea la necesidad de nuevos métodos de detección de tráfico. El objetivo de este estudio es desarrollar una serie de prácticas que permitan realizar dicha tarea a través de técnicas que están más allá de la observación de puertos y otros valores conocidos. Existen una serie de metodologías como Deep Packet Inspection (DPI) que se basa en la búsqueda de firmas, signatures, en base a patrones creados por el contenido de los paquetes, incluido el payload, que caracterizan cada aplicación. Otras basadas en el aprendizaje automático de parámetros de los flujos, Machine Learning, que permite determinar mediante análisis estadísticos a qué aplicación pueden pertenecer dichos flujos y, por último, técnicas de carácter más heurístico basadas en la intuición o el conocimiento propio sobre tráfico de red. En concreto, se propone el uso de alguna de las técnicas anteriormente comentadas en conjunto con técnicas de minería de datos como son el Análisis de Componentes Principales (PCA por sus siglas en inglés) y Clustering de estadísticos extraídos de los flujos procedentes de ficheros de tráfico de red. Esto implicará la configuración de diversos parámetros que precisarán de un proceso iterativo de prueba y error que permita dar con una clasificación del tráfico fiable. El resultado ideal sería aquel en el que se pudiera identificar cada aplicación presente en el tráfico en un clúster distinto, o en clusters que agrupen grupos de aplicaciones de similar naturaleza. Para ello, se crearán capturas de tráfico dentro de un entorno controlado e identificando cada tráfico con su aplicación correspondiente, a continuación se extraerán los flujos de dichas capturas. Tras esto, parámetros determinados de los paquetes pertenecientes a dichos flujos serán obtenidos, como por ejemplo la fecha y hora de llagada o la longitud en octetos del paquete IP. Estos parámetros serán cargados en una base de datos MySQL y serán usados para obtener estadísticos que ayuden, en un siguiente paso, a realizar una clasificación de los flujos mediante minería de datos. Concretamente, se usarán las técnicas de PCA y clustering haciendo uso del software RapidMiner. Por último, los resultados obtenidos serán plasmados en una matriz de confusión que nos permitirá que sean valorados correctamente. ABSTRACT. Being able to classify the applications that generate the traffic flows in an Internet network allows companies and organisms to implement efficient resource management policies such as prohibition of specific applications or prioritization of certain application traffic, looking for an optimization of the available bandwidth. The proliferation of new applications and new technics in the last years has made it more difficult to use well-known values assigned by the IANA (Internet Assigned Numbers Authority), like UDP and TCP ports, to identify the traffic. Also, P2P networks and data encapsulation over HTTP and HTTPS traffic has increased the necessity to improve these traffic analysis technics. The aim of this project is to develop a number of techniques that make us able to classify the traffic with more than the simple observation of the well-known ports. There are some proposals that have been created to cover this necessity; Deep Packet Inspection (DPI) tries to find signatures in the packets reading the information contained in them, the payload, looking for patterns that can be used to characterize the applications to which that traffic belongs; Machine Learning procedures work with statistical analysis of the flows, trying to generate an automatic process that learns from those statistical parameters and calculate the likelihood of a flow pertaining to a certain application; Heuristic Techniques, finally, are based in the intuition or the knowledge of the researcher himself about the traffic being analyzed that can help him to characterize the traffic. Specifically, the use of some of the techniques previously mentioned in combination with data mining technics such as Principal Component Analysis (PCA) and Clustering (grouping) of the flows extracted from network traffic captures are proposed. An iterative process based in success and failure will be needed to configure these data mining techniques looking for a reliable traffic classification. The perfect result would be the one in which the traffic flows of each application is grouped correctly in each cluster or in clusters that contain group of applications of similar nature. To do this, network traffic captures will be created in a controlled environment in which every capture is classified and known to pertain to a specific application. Then, for each capture, all the flows will be extracted. These flows will be used to extract from them information such as date and arrival time or the IP length of the packets inside them. This information will be then loaded to a MySQL database where all the packets defining a flow will be classified and also, each flow will be assigned to its specific application. All the information obtained from the packets will be used to generate statistical parameters in order to describe each flow in the best possible way. After that, data mining techniques previously mentioned (PCA and Clustering) will be used on these parameters making use of the software RapidMiner. Finally, the results obtained from the data mining will be compared with the real classification of the flows that can be obtained from the database. A Confusion Matrix will be used for the comparison, letting us measure the veracity of the developed classification process.

Estimación de parámetros de propagación atmosférica en ausencia de lluvia utilizando escalado en frecuencias y otras técnicas

Las comunicaciones por satélite tienen cada vez mayores necesidades de espectro, con el objetivo de ofrecer servicios de banda ancha, tanto de comunicación de datos como de radiodifusión. En esta línea, se está incrementando de manera importante el uso de frecuencias en la banda Ka (20 y 30 GHz), que se verá complementada en el futuro por la banda Q/V (40 y 50 GHz) y por frecuencias en la banda W (por encima de 60 GHz). En estas frecuencias, microondas y ondas milimétricas, la troposfera produce importantes efectos de propagación. El más estudiado es el efecto de la lluvia, que produce desvanecimientos muy profundos. Sin embargo, la lluvia está presente en porcentajes de tiempo pequeños, típicamente inferiores al 5% en los climas templados. El resto del tiempo, más del 95% por ejemplo en los climas mencionados, los gases y las nubes pueden causar niveles importantes de atenuación en estas frecuencias. La Tesis aporta un nuevo modelo (Modelo Lucas-Riera), consistente en un conjunto de polinomios de aproximación para realizar, en ausencia de lluvia, la estimación de determinados parámetros de propagación, partiendo de otros datos que se suponen disponibles. El modelo está basado en datos obtenidos de radiosondeos meteorológicos y modelos físicos de atenuación por gases y nubes, que son los fenómenos más relevantes en ausencia de lluvia, y tiene en cuenta las características climatológicas del emplazamiento de interés, utilizando la clasificación climática de Köppen. Este modelo es aplicable en las bandas de frecuencias entre 12 y 100 GHz (exceptuando 60 GHz), donde se aproximarían los mencionados parámetros de propagación en una frecuencia a partir de los obtenidos en otra, en el caso de la atenuación y la temperatura de brillo, o bien se estimaría la temperatura media de radiación a una determinada frecuencia partiendo de la temperatura de superficie. Con este modelo se puede obtener una aproximación razonable si se conoce la Zona Climática de Köppen de la localización terrestre para la que queremos calcular las aproximaciones y en caso de que ésta se desconozca se aporta una Zona Global, que representa toda la superficie terrestre. La aproximación que se propone para realizar el escalado en frecuencia puede ser útil en los enlaces de comunicaciones por satélite, en los que a menudo se dispone de información en relación a los parámetros de propagación a una determinada frecuencia, por ejemplo en el enlace descendente, y sería de utilidad conocer esos mismos parámetros en el enlace ascendente de cara a poder mitigar los efectos que tiene la atmósfera sobre la señal emitida (atenuación, desvanecimiento, etc). En el caso de la temperatura media de radiación, la aproximación que se propone podría ser útil de cara a la realización de medidas de radiometría, diseño de equipamiento de instrumentación o comunicaciones por satélite.

Técnicas de machine learning para la detección de la negación en textos clínicos en español

En los últimos años han surgido nuevos campos de las tecnologías de la información que exploran el tratamiento de la gran cantidad de datos digitales existentes y cómo transformarlos en conocimiento explícito. Las técnicas de Procesamiento del Lenguaje Natural (NLP) son capaces de extraer información de los textos digitales presentados en forma narrativa. Además, las técnicas de machine learning clasifican instancias o ejemplos en función de sus atributos, en distintas categorías, aprendiendo de otros previamente clasificados. Los textos clínicos son una gran fuente de información no estructurada; en consecuencia, información no explotada en su totalidad. Algunos términos usados en textos clínicos se encuentran en una situación de afirmación, negación, hipótesis o histórica. La detección de esta situación es necesaria para la estructuración de información, pero a su vez tiene una gran complejidad. Extrayendo características lingüísticas de los elementos, o tokens, de los textos mediante NLP; transformando estos tokens en instancias y las características en atributos, podemos mediante técnicas de machine learning clasificarlos con el objetivo de detectar si se encuentran afirmados, negados, hipotéticos o históricos. La selección de los atributos que cada token debe tener para su clasificación, así como la selección del algoritmo de machine learning utilizado son elementos cruciales para la clasificación. Son, de hecho, los elementos que componen el modelo de clasificación. Consecuentemente, este trabajo aborda el proceso de extracción de características, selección de atributos y selección del algoritmo de machine learning para la detección de la negación en textos clínicos en español. Se expone un modelo para la clasificación que, mediante el algoritmo J48 y 35 atributos obtenidos de características lingüísticas (morfológicas y sintácticas) y disparadores de negación, detecta si un token está negado en 465 frases provenientes de textos clínicos con un F-Score del 73%, una exhaustividad del 66% y una precisión del 81% con una validación cruzada de 10 iteraciones. ---ABSTRACT--- New information technologies have emerged in the recent years which explore the processing of the huge amount of existing digital data and its transformation into knowledge. Natural Language Processing (NLP) techniques are able to extract certain features from digital texts. Additionally, through machine learning techniques it is feasible to classify instances according to different categories, learning from others previously classified. Clinical texts contain great amount of unstructured data, therefore information not fully exploited. Some terms (tokens) in clinical texts appear in different situations such as affirmed, negated, hypothetic or historic. Detecting this situation is necessary for the structuring of this data, however not simple. It is possible to detect whether if a token is negated, affirmed, hypothetic or historic by extracting its linguistic features by NLP; transforming these tokens into instances, the features into attributes, and classifying these instances through machine learning techniques. Selecting the attributes each instance must have, and choosing the machine learning algorithm are crucial issues for the classification. In fact, these elements set the classification model. Consequently, this work approaches the features retrieval as well as the attributes and algorithm selection process used by machine learning techniques for the detection of negation in clinical texts in Spanish. We present a classification model which, through J48 algorithm and 35 attributes from linguistic features (morphologic and syntactic) and negation triggers, detects whether if a token is negated in 465 sentences from historical records, with a result of 73% FScore, 66% recall and 81% precision using a 10-fold cross-validation.

Ingeniería Geológica en Terrenos Volcánicos. Métodos, Técnicas y Experiencias en las Islas Canarias

La presente obra es un compendio de conceptos, metodologías y técnicas útiles para acometer proyectos y obras en terrenos volcánicos desde el punto de vista de la ingeniería geológica y la geotecnia. El libro se presenta en tres partes diferenciadas. La primera es conceptual y metodológica, con capítulos que tratan sobre la clasificación de las rocas volcánicas con fines geotécnicos, la caracterización geomecánica, los problemas geotécnicos y constructivos asociados a los distintos materiales, y una guía metodológica para la redacción de informes geotécnicos para la edificación. La segunda parte aborda las aplicaciones a obras de ingeniería, incluyendo deslizamientos, obras subterráneas,infraestructuras marítimas y obras públicas. La tercera parte recoge capítulos dedicados a describir distintos casos prácticos de obras y proyectos en los que la problemática geotécnica en terrenos volcánicos ha tenido un papel relevante. Los capítulos han sido elaborados por técnicos y científicos de reconocido prestigio en el campo de la ingeniería geológica en terrenos volcánicos, que han plasmado en ellos sus conocimientos y experiencias en la materia.Los editores y autores de parte de los capítulos del libro, los Doctores Luis E. Hernández Gutiérrez (Geólogo) y Juan Carlos Santamarta Cerezal (Ingeniero de Montes, Civil y Minas), son los responsables del grupo de investigación INGENIA (Ingeniería Geológica, Innovación y Aguas). Su actividad investigadora comprende más de 200 publicaciones en el área de la ingeniería geológica, la geotecnia, medio ambiente y el aprovechamiento del agua en islas y terrenos volcánicos. En relación a la docencia han impartido y dirigido más de 90 seminarios y cursos de especialización a nivel nacional e internacional, incluyendo la organización de 4 congresos internacionales. Fueron premiados por la Universidad de La Laguna en los años 2012, 2013 y 2014 por su calidad docente e innovación universitaria, y son pioneros en los laboratorios virtuales para la enseñanza de la ingeniería. Participan activamente como profesores colaboradores e investigadores en varias universidades e instituciones españolas e internacionales. Todas sus publicaciones están disponibles en internet, con libre acceso. Ingeniería geológica en terrenos volcánicos, es una obra de gran interés para, consultores, técnicos de administraciones públicas, proyectistas y demás profesionales implicados en obras y proyectos de infraestructuras en terrenos volcánicos; también es útil para académicos y estudiantes de ingeniería o ciencias geológicas que quieran investigar o iniciarse en las singularidades que presentan los materiales volcánicos en la edificación o en la ingeniería civil y minera.