Metodología de análisis estadístico de roturas en redes de distribución de agua

La presente Tesis plantea una metodología de análisis estadístico de roturas de tubería en redes de distribución de agua, que analiza la relación entre las roturas y la presión de agua y que propone la implantación de una gestión de presiones que reduzca el número de roturas que se producen en dichas redes. Las redes de distribución de agua se deterioran y una de sus graves consecuencias es la aparición de roturas frecuentes en sus tuberías. Las roturas llevan asociados elevados costes sociales, económicos y medioambientales y es por ello por lo que las compañías gestoras del agua tratan de reducirlas en la medida de lo posible. Las redes de distribución de agua se pueden dividir en zonas o sectores que facilitan su control y que pueden ser independientes o aislarse mediante válvulas, como ocurre en las redes de países más desarrollados, o pueden estar intercomunicados hidráulicamente. La implantación de una gestión de presiones suele llevarse a cabo a través de las válvulas reductoras de presión (VPR), que se instalan en las cabeceras de estos sectores y que controlan la presión aguas abajo de la misma, aunque varíe su caudal de entrada. Los métodos más conocidos de la gestión de presiones son la reducción de presiones, que es el control más habitual, el mantenimiento de la presión, la prevención y/o alivio de los aumentos repentinos de presión y el establecimiento de un control por alturas. A partir del año 2005 se empezó a reconocer el efecto de la gestión de presiones sobre la disminución de las roturas. En esta Tesis, se sugiere una gestión de presiones que controle los rangos de los indicadores de la presión de cabecera que más influyan en la probabilidad de roturas de tubería. Así, la presión del agua se caracteriza a través de indicadores obtenidos de la presión registrada en la cabecera de los sectores, debido a que se asume que esta presión es representativa de la presión de operación de todas las tuberías porque las pérdidas de carga son relativamente bajas y las diferencias topográficas se tienen en cuenta en el diseño de los sectores. Y los indicadores de presión, que se pueden definir como el estadístico calculado a partir de las series de la presión de cabecera sobre una ventana de tiempo, pueden proveer la información necesaria para ayudar a la toma de decisiones a los gestores del agua con el fin de reducir las roturas de tubería en las redes de distribución de agua. La primera parte de la metodología que se propone en esta Tesis trata de encontrar los indicadores de presión que influyen más en la probabilidad de roturas de tuberías. Para conocer si un indicador es influyente en la probabilidad de las roturas se comparan las estimaciones de las funciones de distribución acumulada (FDAs) de los indicadores de presiones, considerando dos situaciones: cuando se condicionan a la ocurrencia de una rotura (suceso raro) y cuando se calculan en la situación normal de operación (normal operación). Por lo general, las compañías gestoras cuentan con registros de roturas de los años más recientes y al encontrarse las tuberías enterradas se complica el acceso a la información. Por ello, se propone el uso de funciones de probabilidad que permiten reducir la incertidumbre asociada a los datos registrados. De esta forma, se determinan las funciones de distribución acumuladas (FDAs) de los valores del indicador de la serie de presión (situación normal de operación) y las FDAs de los valores del indicador en el momento de ocurrencia de las roturas (condicionado a las roturas). Si las funciones de distribución provienen de la misma población, no se puede deducir que el indicador claramente influya en la probabilidad de roturas. Sin embargo, si se prueba estadísticamente que las funciones proceden de la misma población, se puede concluir que existe una relación entre el indicador analizado y la ocurrencia de las roturas. Debido a que el número de valores del indicador de la FDA condicionada a las roturas es mucho menor que el número de valores del indicador de la FDA incondicional a las roturas, se generan series aleatorias a partir de los valores de los indicadores con el mismo número de valores que roturas registradas hay. De esta forma, se comparan las FDAs de series aleatorias del indicador con la FDA condicionada a las roturas del mismo indicador y se deduce si el indicador es influyente en la probabilidad de las roturas. Los indicadores de presión pueden depender de unos parámetros. A través de un análisis de sensibilidad y aplicando un test estadístico robusto se determina la situación en la que estos parámetros dan lugar a que el indicador sea más influyente en la probabilidad de las roturas. Al mismo tiempo, los indicadores se pueden calcular en función de dos parámetros de cálculo que se denominan el tiempo de anticipación y el ancho de ventana. El tiempo de anticipación es el tiempo (en horas) entre el final del periodo de computación del indicador de presión y la rotura, y el ancho de ventana es el número de valores de presión que se requieren para calcular el indicador de presión y que es múltiplo de 24 horas debido al comportamiento cíclico diario de la presión. Un análisis de sensibilidad de los parámetros de cálculo explica cuándo los indicadores de presión influyen más en la probabilidad de roturas. En la segunda parte de la metodología se presenta un modelo de diagnóstico bayesiano. Este tipo de modelo forma parte de los modelos estadísticos de prevención de roturas, parten de los datos registrados para establecer patrones de fallo y utilizan el teorema de Bayes para determinar la probabilidad de fallo cuando se condiciona la red a unas determinadas características. Así, a través del teorema de Bayes se comparan la FDA genérica del indicador con la FDA condicionada a las roturas y se determina cuándo la probabilidad de roturas aumenta para ciertos rangos del indicador que se ha inferido como influyente en las roturas. Se determina un ratio de probabilidad (RP) que cuando es superior a la unidad permite distinguir cuándo la probabilidad de roturas incrementa para determinados intervalos del indicador. La primera parte de la metodología se aplica a la red de distribución de la Comunidad de Madrid (España) y a la red de distribución de Ciudad de Panamá (Panamá). Tras el filtrado de datos se deduce que se puede aplicar la metodología en 15 sectores en la Comunidad de Madrid y en dos sectores, llamados corregimientos, en Ciudad de Panamá. Los resultados demuestran que en las dos redes los indicadores más influyentes en la probabilidad de las roturas son el rango de la presión, que supone la diferencia entre la presión máxima y la presión mínima, y la variabilidad de la presión, que considera la propiedad estadística de la desviación típica. Se trata, por tanto, de indicadores que hacen referencia a la dispersión de los datos, a la persistencia de la variación de la presión y que se puede asimilar en resistencia de materiales a la fatiga. La segunda parte de la metodología se ha aplicado a los indicadores influyentes en la probabilidad de las roturas de la Comunidad de Madrid y se ha deducido que la probabilidad de roturas aumenta para valores extremos del indicador del rango de la presión y del indicador de la variabilidad de la presión. Finalmente, se recomienda una gestión de presiones que limite los intervalos de los indicadores influyentes en la probabilidad de roturas que incrementen dicha probabilidad. La metodología propuesta puede aplicarse a otras redes de distribución y puede ayudar a las compañías gestoras a reducir el número de fallos en el sistema a través de la gestión de presiones. This Thesis presents a methodology for the statistical analysis of pipe breaks in water distribution networks. The methodology studies the relationship between pipe breaks and water pressure, and proposes a pressure management procedure to reduce the number of breaks that occur in such networks. One of the manifestations of the deterioration of water supply systems is frequent pipe breaks. System failures are one of the major challenges faced by water utilities, due to their associated social, economic and environmental costs. For all these reasons, water utilities aim at reducing the problem of break occurrence to as great an extent as possible. Water distribution networks can be divided into areas or sectors, which facilitates the control of the network. These areas may be independent or isolated by valves, as it usually happens in developing countries. Alternatively, they can be hydraulically interconnected. The implementation of pressure management strategies is usually carried out through pressure-reducing valves (PRV). These valves are installed at the head of the sectors and, although the inflow may vary significantly, they control the downstream pressure. The most popular methods of pressure management consist of pressure reduction, which is the common form of control, pressure sustaining, prevention and/or alleviation of pressure surges or large variations in pressure, and level/altitude control. From 2005 onwards, the effects of pressure management on burst frequencies have become more widely recognized in the technical literature. This thesis suggests a pressure management that controls the pressure indicator ranges most influential on the probability of pipe breaks. Operating pressure in a sector is characterized by means of a pressure indicator at the head of the DMA, as head losses are relatively small and topographical differences were accounted for at the design stage. The pressure indicator, which may be defined as the calculated statistic from the time series of pressure head over a specific time window, may provide necessary information to help water utilities to make decisions to reduce pipe breaks in water distribution networks. The first part of the methodology presented in this Thesis provides the pressure indicators which have the greatest impact on the probability of pipe breaks to be determined. In order to know whether a pressure indicator influences the probability of pipe breaks, the proposed methodology compares estimates of cumulative distribution functions (CDFs) of a pressure indicator through consideration of two situations: when they are conditioned to the occurrence of a pipe break (a rare event), and when they are not (a normal operation). Water utilities usually have a history of failures limited to recent periods of time, and it is difficult to have access to precise information in an underground network. Therefore, the use of distribution functions to address such imprecision of recorded data is proposed. Cumulative distribution functions (CDFs) derived from the time series of pressure indicators (normal operation) and CDFs of indicator values at times coincident with a reported pipe break (conditioned to breaks) are compared. If all estimated CDFs are drawn from the same population, there is no reason to infer that the studied indicator clearly influences the probability of the rare event. However, when it is statistically proven that the estimated CDFs do not come from the same population, the analysed indicator may have an influence on the occurrence of pipe breaks. Due to the fact that the number of indicator values used to estimate the CDF conditioned to breaks is much lower in comparison with the number of indicator values to estimate the CDF of the unconditional pressure series, and that the obtained results depend on the size of the compared samples, CDFs from random sets of the same size sampled from the unconditional indicator values are estimated. Therefore, the comparison between the estimated CDFs of random sets of the indicator and the estimated CDF conditioned to breaks allows knowledge of if the indicator is influential on the probability of pipe breaks. Pressure indicators depend on various parameters. Sensitivity analysis and a robust statistical test allow determining the indicator for which these parameters result most influential on the probability of pipe breaks. At the same time, indicators can be calculated according to two model parameters, named as the anticipation time and the window width. The anticipation time refers to the time (hours) between the end of the period for the computation of the pressure indicator and the break. The window width is the number of instantaneous pressure values required to calculate the pressure indicator and is multiple of 24 hours, as water pressure has a cyclical behaviour which lasts one day. A sensitivity analysis of the model parameters explains when the pressure indicator is more influential on the probability of pipe breaks. The second part of the methodology presents a Bayesian diagnostic model. This kind of model belongs to the class of statistical predictive models, which are based on historical data, represent break behavior and patterns in water mains, and use the Bayes’ theorem to condition the probability of failure to specific system characteristics. The Bayes’ theorem allows comparing the break-conditioned FDA and the unconditional FDA of the indicators and determining when the probability of pipe breaks increases for certain pressure indicator ranges. A defined probability ratio provides a measure to establish whether the probability of breaks increases for certain ranges of the pressure indicator. The first part of the methodology is applied to the water distribution network of Madrid (Spain) and to the water distribution network of Panama City (Panama). The data filtering method suggests that the methodology can be applied to 15 sectors in Madrid and to two areas in Panama City. The results show that, in both systems, the most influential indicators on the probability of pipe breaks are the pressure range, which is the difference between the maximum pressure and the minimum pressure, and pressure variability, referred to the statistical property of the standard deviation. Therefore, they represent the dispersion of the data, the persistence of the variation in pressure and may be related to the fatigue in material resistance. The second part of the methodology has been applied to the influential indicators on the probability of pipe breaks in the water distribution network of Madrid. The main conclusion is that the probability of pipe breaks increases for the extreme values of the pressure range indicator and of the pressure variability indicator. Finally, a pressure management which limits the ranges of the pressure indicators influential on the probability of pipe breaks that increase such probability is recommended. The methodology presented here is general, may be applied to other water distribution networks, and could help water utilities reduce the number of system failures through pressure management.

Aplicación de la teoría de redes complejas a procesos dinámicos en la sociedad

Podemos definir la sociedad como un sistema complejo que emerge de la cooperación y coordinación de billones de individuos y centenares de países. En este sentido no vivimos en una isla sino que estamos integrados en redes sociales que influyen en nuestro comportamiento. En esta tesis doctoral, presentamos un modelo analítico y una serie de estudios empíricos en los que analizamos distintos procesos sociales dinámicos desde una perspectiva de la teoría de redes complejas. En primer lugar, introducimos un modelo para explorar el impacto que las redes sociales en las que vivimos inmersos tienen en la actividad económica que transcurre sobre ellas, y mas concretamente en hasta qué punto la estructura de estas redes puede limitar la meritocracia de una sociedad. Como concepto contrario a meritocracia, en esta tesis, introducimos el término topocracia. Definimos un sistema como topocrático cuando la influencia o el poder y los ingresos de los individuos vienen principalmente determinados por la posición que ocupan en la red. Nuestro modelo es perfectamente meritocrático para redes completamente conectadas (todos los nodos están enlazados con el resto de nodos). Sin embargo nuestro modelo predice una transición hacia la topocracia a medida que disminuye la densidad de la red, siendo las redes poco densascomo las de la sociedad- topocráticas. En este modelo, los individuos por un lado producen y venden contenidos, pero por otro lado también distribuyen los contenidos producidos por otros individuos mediando entre comprador y vendedor. La producción y distribución de contenidos definen dos medios por los que los individuos reciben ingresos. El primero de ellos es meritocrático, ya que los individuos ingresan de acuerdo a lo que producen. Por el contrario el segundo es topocrático, ya que los individuos son compensados de acuerdo al número de cadenas mas cortas de la red que pasan a través de ellos. En esta tesis resolvemos el modelo computacional y analíticamente. Los resultados indican que un sistema es meritocrático solamente si la conectividad media de los individuos es mayor que una raíz del número de individuos que hay en el sistema. Por tanto, a la luz de nuestros resultados la estructura de la red social puede representar una limitación para la meritocracia de una sociedad. En la segunda parte de esta tesis se presentan una serie de estudios empíricos en los que se analizan datos extraídos de la red social Twitter para caracterizar y modelar el comportamiento humano. En particular, nos centramos en analizar conversaciones políticas, como las que tienen lugar durante campañas electorales. Nuestros resultados indican que la atención colectiva está distribuida de una forma muy heterogénea, con una minoría de cuentas extremadamente influyente. Además, la capacidad de los individuos para diseminar información en Twitter está limitada por la estructura y la posición que ocupan en la red de seguidores. Por tanto, de acuerdo a nuestras observaciones las redes sociales de Internet no posibilitan que la mayoría sea escuchada por la mayoría. De hecho, nuestros resultados implican que Twitter es topocrático, ya que únicamente una minoría de cuentas ubicadas en posiciones privilegiadas en la red de seguidores consiguen que sus mensajes se expandan por toda la red social. En conversaciones políticas, esta minoría de cuentas influyentes se compone principalmente de políticos y medios de comunicación. Los políticos son los mas mencionados ya que la gente les dirige y se refiere a ellos en sus tweets. Mientras que los medios de comunicación son las fuentes desde las que la gente propaga información. En un mundo en el que los datos personales quedan registrados y son cada día mas abundantes y precisos, los resultados del modelo presentado en esta tesis pueden ser usados para fomentar medidas que promuevan la meritocracia. Además, los resultados de los estudios empíricos sobre Twitter que se presentan en la segunda parte de esta tesis son de vital importancia para entender la nueva "sociedad digital" que emerge. En concreto hemos presentado resultados relevantes que caracterizan el comportamiento humano en Internet y que pueden ser usados para crear futuros modelos. Abstract Society can be defined as a complex system that emerges from the cooperation and coordination of billions of individuals and hundreds of countries. Thus, we do not live in social vacuum and the social networks in which we are embedded inevitably shapes our behavior. Here, we present an analytical model and several empirical studies in which we analyze dynamical social systems through a network science perspective. First, we introduce a model to explore how the structure of the social networks underlying society can limit the meritocracy of the economies. Conversely to meritocracy, in this work we introduce the term topocracy. We say that a system is topocratic if the compensation and power available to an individual is determined primarily by her position in a network. Our model is perfectly meritocratic for fully connected networks but becomes topocratic for sparse networks-like the ones in society. In the model, individuals produce and sell content, but also distribute the content produced by others when they belong to the shortest path connecting a buyer and a seller. The production and distribution of content defines two channels of compensation: a meritocratic channel, where individuals are compensated for the content they produce, and a topocratic channel, where individual compensation is based on the number of shortest paths that go through them in the network. We solve the model analytically and show that the distribution of payoffs is meritocratic only if the average degree of the nodes is larger than a root of the total number of nodes. Hence, in the light of our model, the sparsity and structure of networks represents a fundamental constraint to the meritocracy of societies. Next, we present several empirical studies that use data gathered from Twitter to analyze online human behavioral patterns. In particular, we focus on political conversations such as electoral campaigns. We found that the collective attention is highly heterogeneously distributed, as there is a minority of extremely influential accounts. In fact, the ability of individuals to propagate messages or ideas through the platform is constrained by the structure of the follower network underlying the social media and the position they occupy on it. Hence, although people have argued that social media can allow more voices to be heard, our results suggest that Twitter is highly topocratic, as only the minority of well positioned users are widely heard. This minority of influential accounts belong mostly to politicians and traditional media. Politicians tend to be the most mentioned, while media are the sources of information from which people propagate messages. We also propose a methodology to study and measure the emergence of political polarization from social interactions. To this end, we first propose a model to estimate opinions in which a minority of influential individuals propagate their opinions through a social network. The result of the model is an opinion probability density function. Next, we propose an index to quantify the extent to which the resulting distribution is polarized. Finally, we illustrate our methodology by applying it to Twitter data. In a world where personal data is increasingly available, the results of the analytical model introduced in this work can be used to enhance meritocracy and promote policies that help to build more meritocratic societies. Moreover, the results obtained in the latter part, where we have analyzed Twitter, are key to understand the new data-driven society that is emerging. In particular, we have presented relevant information that can be used to benchmark future models for online communication systems or can be used as empirical rules characterizing our online behavior.

Redes de información y conocimiento climatológico en el mundo hispánico del siglo XVIII

Durante la Ilustración, el imperio español alcanzó su máxima amplitud y las instituciones oficiales incrementaron su apoyo a las ciencias. Para defender sus fronteras y ejercer con eficacia el poder político, económico y religioso, la Corona y la Iglesia necesitaban obtener información precisa --incluida la climatológica-- de las posesiones españolas y de los pobladores de éstas. Fueron varios los procedimientos empleados para ello: sistema de cuestionarios y relaciones geográficas, estudios medico-topográficos, visitas e inspecciones oficiales, expediciones político-científicas, correspondencia epistolar, artículos periodísticos, etc. Dichos procedimientos fueron aplicados por redes de informadores cuyas actuaciones se basaban en la división del trabajo, el reparto de colaboradores en diferentes lugares, el uso de códigos de comunicación comprensibles, el envío de los resultados a los superiores jerárquicos y la toma de decisiones por las autoridades competentes. Las redes de información estaban sometidas a dictámenes que normalizaban su creación y continuidad temporal, daban forma a su estructura interna, especificaban sus cometidos y obligaban a cumplir protocolos y plazos. En su seno se idearon planes de investigación integrados en el estudio general de la Tierra, el ser humano y la cultura. El beneficio de las actuaciones de sus miembros se plasmó en cubrir grandes ámbitos geográficos con el consiguiente ahorro de tiempo, esfuerzos y medios. En sus correspondientes contextos, los miembros de las redes efectuaron estudios climatológicos conforme a intereses, imposiciones y circunstancias específicas. Así, los médicos se interesaron por las condiciones climáticas que influían en la salud humana; los funcionarios reales y los ingenieros militares describieron los climas locales y regionales aptos para el fomento y el control político, jurídico y educativo de los habitantes de los territorios hispánicos; los expedicionarios estudiaron las interacciones entre los fenómenos naturales y las influencias de los accidentes geográficos en los climas; los clérigos se interesaron por los aspectos estéticos, apologéticos y contemplativos de los climas; finalmente, en la prensa de la época se publicaron registros meteorológicos periódicos y trabajos climatológicos varios. En definitiva, el saber climatológico en el mundo hispánico ilustrado aportó algunos rasgos esenciales a la climatología en una etapa pre-fundacional de esta disciplina. Dichos rasgos se desarrollaron generalmente en una escala local o regional y se refirieron a los siguientes asuntos: el calor como principal agente de las modificaciones atmosféricas, de la formación de vapor acuoso y de las precipitaciones; la influencia del suelo en el aumento de humedad y calor en el aire; el poder de los vientos para trasladar de un lugar a otro el frío o el calor, el vapor de agua, los fenómenos atmosféricos y los agentes responsables de las enfermedades contagiosas; las propiedades del aire atmosférico y su capacidad para interaccionar con el medio ambiente; la condición estática y repetitiva de los climas, si bien se admitió que dichos fenómenos podían sufrir modificaciones; la corroboración experimental de las diferencias climáticas entre las zonas tropicales y medias del planeta; la refutación de que la naturaleza americana y sus habitantes eran inferiores a los europeos; y la demostración de que los principios rectores de los fenómenos físicos del Viejo y el Nuevo Mundo eran idénticos. Desde el último tercio del siglo XVIII, los documentos producidos por los componentes de las redes de información incluyeron datos meteorológicos. Pero no siempre se emplearon los mismos instrumentos de medida ni se siguieron los mismos protocolos de indagación en idénticas condiciones. Además, y salvo excepciones, los períodos durante los cuales se recabaron datos atmosféricos fueron relativamente cortos, y los expertos no efectuaron las mismas operaciones aritméticas con los parámetros. Por esta razón, y por la orientación utilitaria de los ilustrados hispánicos, el saber climatológico no obtuvo en el período y en el ámbito geográfico considerados resultados teóricos apreciables; en cambio, dio lugar a una gran cantidad de actividades prácticas con aplicaciones a la medicina, la agricultura, la náutica, el fomento, la prevención de riesgos naturales, etc. La principal utilidad de este trabajo consiste en servir de complemento a los procedimientos actualmente en uso en historia de la hidrología y en climatología histórica. ABSTRACT During the Enlightenment, the Spanish Empire achieved its highest length and State institutions increased their support to sciences. In order to defend their frontiers and to exercise political, economical and religious power, the Crown and the Church needed exact information --including the climatologic one-- about its possessions and its habitants. Some of the procedures employed to get that objective were: system of questionnaires and geographic relations, medical-topographic studies, official visits and inspections, political-scientific expeditions, direct mail, journalistic articles, etc. Those procedures were applied by informers´ networks which obtained, manned and transmitted every kind of data about the natural and moral reality of the Hispanic territories; their actions were based on the division of tasks, the distribution of collaborators at several places, the use of understandable communication codes and the sending of results to the hierarchical superiors; after, the competent authorities took decisions. The information networks were subjected to rules witch regulated its creation, temporary continuity, interior structure, objectives, protocols and periods. Their memberships invented plans about the general research of the Earth, the human beings and the culture; and they contributed to get benefits because of covering large geographic frames and economizing time, effort and means. According to their specifics contexts, concerns, impositions and circumstances, the informers performed climatologic tasks. Thus, the physicians were interested in the climatic conditions which affected to human health; the royal officers and military engineers described the most propitious climates to patronage and political, lawful and educative control of inhabitants of Hispanic territories; the participants in politic-scientific expeditions studied the interactions among natural phenomena and the influence of geographic aspects on the climate; the clergymen underlined the esthetic, apologetic and contemplative face of climates; finally, in the newspapers were published a lot of meteorological data and climatologic works. So, the climatologic knowledge in the Hispanic enlightened world added these essential aspects --referred in a local and regional area-- during the pre-foundational epoch of the climatology: the heat as first agent of atmospheric modifications, aqueous vapor and precipitations; the influx of the land in the increment of humidity and heat of the air; the power of the winds to convey the cold, the heat, the aqueous vapor, the atmospheric phenomena and the agents which caused contagious maladies; the properties of the air and its faculty to mediate with the environs; the static and repetitive condition of the climate and its possibility to experience change; the experimental confirmation of climatic varieties between tropical and central areas of the planet; the negation of the inferiority of the American nature and inhabitants; the demonstration about the equality of the rules which conducted physical phenomena in the Old and the New world. Since the last third part of the eighteenth century, the documents produced by the members of the networks included meteorological data. But the informers were not used to employ the same measure instruments and homogeneous protocols completion in the same conditions. Exceptions besides, the times of taking atmospheric data, usually were very short; and the experts did not carry out the same arithmetical operations with parameters. Because of this reason and the utilitarian guidance of the informers, during the Hispanic Enlightenment, it was not possible to obtain theoretic conclusions about climatologic knowledge; but there were a lot of practical activities applied to Medicine, Agriculture, Navigation, patronage, prevention of natural risks, etc. The main utility of this work consist in favoring the present procedures of the History of Hydrology and Historic Climatology.

Especificación y desarrollo de un cuadro de mandos para la visualización de datos y monitorización de la plataforma SmartCity del CEI Moncloa

El objetivo del trabajo ha sido el diseño y programación de una aplicación web basada en HTML5 que permite la visualización gráfica en tiempo real del estado de los distintos servicios y redes de sensores de la plataforma SmartCity del CEI Moncloa. Dicha plataforma, encuadrada dentro de la iniciativa “City of the Future” de la UPM, está compuesta por un conjunto de redes de sensores especializados en la recogida de datos de distintos ámbitos (medioambientales, energía, flujos de personas…)Para el desarrollo de la aplicación se ha hecho uso de tecnologías de nivel avanzado como NodeJS, un entorno de desarrollo en JavaScript de lado de servidor orientado a eventos; y librerías JavaScript como Bootstrap, que ha facilitado que el diseño de la interfaz web sea adaptativo a distintos dispositivos y resoluciones; Openlayers, ofreciendo mapas interactivos y subscritos a eventos; y D3.js, que ha permitido la visualización de datos recogidos por la plataforma de forma dinámica e interactiva en la aplicación web a través de distintos formatos como es el caso de gráficas y diagramas.

Interconexión de centros de datos mediante técnicas SDN

En este trabajo final de grado se ha contribuido a la interconexión de centros de datos distribuidos geográficamente, integrando para ello nuevas funcionalidades en la arquitectura Application-Based Network Operations (ABNO) y configurando los componentes software necesarios. ABNO engloba distintas tecnologías que recogen la información sobre los recursos disponibles en la red con el objetivo de proporcionar rutas específicas para el tráfico. La solución que se presenta en este trabajo se basa en las redes definidas por software (Software-Defined Networking, SDN), como solución innovadora para mejorar la gestión y el control de las infraestructuras que pertenecen a múltiples dominios administrativos, pero trabajan en colaboración en una federación común mejorando la calidad del servicio ofrecido. La conectividad entre los diferentes dominios es posible gracias a los Túneles GRE. Cada centro de datos supone un dominio administrativo diferenciado, disponiendo cada uno de ellos del software de gestión en la nube OpenStack para la creación de las máquinas virtuales (VM) que posteriormente serán interconectadas. Además, cada centro de datos también contará con el controlador Ryu SDN que se encargará del control de la conectividad, siendo también independiente para cada uno de estos dominios. Con el objetivo de mantener una visión integral de todos los recursos de la red disponibles, y de proporcionar una conectividad extremo a extremo (E2E) requerida por los centros de datos, la arquitectura ABNO ha tenido que ser modificada para soportar estas nuevas funcionalidades, así como validada en un escenario con infraestructuras multidominio.

Caracterización y simulación de arborizaciones dentríticas con redes bayesianas incluyendo variables angulares

El funcionamiento interno del cerebro es todavía hoy en día un misterio, siendo su comprensión uno de los principales desafíos a los que se enfrenta la ciencia moderna. El córtex cerebral es el área del cerebro donde tienen lugar los procesos cerebrales de más alto nivel, cómo la imaginación, el juicio o el pensamiento abstracto. Las neuronas piramidales, un tipo específico de neurona, suponen cerca del 80% de los cerca de los 10.000 millones de que componen el córtex cerebral, haciendo de ellas un objetivo principal en el estudio del funcionamiento del cerebro. La morfología neuronal, y más específicamente la morfología dendrítica, determina cómo estas procesan la información y los patrones de conexión entre neuronas, siendo los modelos computacionales herramientas imprescindibles para el estudio de su rol en el funcionamiento del cerebro. En este trabajo hemos creado un modelo computacional, con más de 50 variables relativas a la morfología dendrítica, capaz de simular el crecimiento de arborizaciones dendríticas basales completas a partir de reconstrucciones de neuronas piramidales reales, abarcando desde el número de dendritas hasta el crecimiento los los árboles dendríticos. A diferencia de los trabajos anteriores, nuestro modelo basado en redes Bayesianas contempla la arborización dendrítica en su conjunto, teniendo en cuenta las interacciones entre dendritas y detectando de forma automática las relaciones entre las variables morfológicas que caracterizan la arborización. Además, el análisis de las redes Bayesianas puede ayudar a identificar relaciones hasta ahora desconocidas entre variables morfológicas. Motivado por el estudio de la orientación de las dendritas basales, en este trabajo se introduce una regularización L1 generalizada, aplicada al aprendizaje de la distribución von Mises multivariante, una de las principales distribuciones de probabilidad direccional multivariante. También se propone una distancia circular multivariante que puede utilizarse para estimar la divergencia de Kullback-Leibler entre dos muestras de datos circulares. Comparamos los modelos con y sin regularizaci ón en el estudio de la orientación de la dendritas basales en neuronas humanas, comprobando que, en general, el modelo regularizado obtiene mejores resultados. El muestreo, ajuste y representación de la distribución von Mises multivariante se implementa en un nuevo paquete de R denominado mvCircular.---ABSTRACT---The inner workings of the brain are, as of today, a mystery. To understand the brain is one of the main challenges faced by current science. The cerebral cortex is the region of the brain where all superior brain processes, like imagination, judge and abstract reasoning take place. Pyramidal neurons, a specific type of neurons, constitute approximately the 80% of the more than 10.000 million neurons that compound the cerebral cortex. It makes the study of the pyramidal neurons crucial in order to understand how the brain works. Neuron morphology, and specifically the dendritic morphology, determines how the information is processed in the neurons, as well as the connection patterns among neurons. Computational models are one of the main tools for studying dendritic morphology and its role in the brain function. We have built a computational model that contains more than 50 morphological variables of the dendritic arborizations. This model is able to simulate the growth of complete dendritic arborizations from real neuron reconstructions, starting with the number of basal dendrites, and ending modeling the growth of dendritic trees. One of the main diferences between our approach, mainly based on the use of Bayesian networks, and other models in the state of the art is that we model the whole dendritic arborization instead of focusing on individual trees, which makes us able to take into account the interactions between dendrites and to automatically detect relationships between the morphologic variables that characterize the arborization. Moreover, the posterior analysis of the relationships in the model can help to identify new relations between morphological variables. Motivated by the study of the basal dendrites orientation, a generalized L1 regularization applied to the multivariate von Mises distribution, one of the most used distributions in multivariate directional statistics, is also introduced in this work. We also propose a circular multivariate distance that can be used to estimate the Kullback-Leibler divergence between two circular data samples. We compare the regularized and unregularized models on basal dendrites orientation of human neurons and prove that regularized model achieves better results than non regularized von Mises model. Sampling, fitting and plotting functions for the multivariate von Mises are implemented in a new R packaged called mvCircular.

Gestión y ahorro mediante decisión en tiempo real para redes de Abastecimiento: IW Live

Hoy en día no se puede concebir la gestión de una red de abastecimiento sin un modelo matemático que represente los activos de los que se dispone. Desde hace ya varias décadas, las empresas suministradoras de agua potable o las gestoras municipales y de regadío han comprendido la importancia que tienen estos modelos, por lo que han invertido tiempo y dinero en completarlos para que representen fielmente la realidad de sus infraestructuras, sirviéndose de ellos para conocer el comportamiento de su red ante posibles cortes, reparaciones o cambios en la demanda de los abonados. Sin embargo, la situación actual, en la que resulta cada vez más crítico el aprovechamiento de los recursos disponibles, tanto medioambientalmente (ahorro de agua y de energía), como económicamente, obliga a los gestores a analizar muchos datos simultáneamente. Estos datos llegan desde muy diversas fuentes, esperándose que el operador los interprete rápidamente, sean incorporados al modelo matemático para obtener un resultado e inmediatamente se obtenga una respuesta para la administración de la red.

Desarrollo de servicios de distribución de contenidos multimedia en redes corporativas con tecnología SDN

En la actualidad, es ampliamente conocido que uno de los principales desafíos que enfrentan las organizaciones es el crecimiento de Internet, tanto en número de clientes como en tráfico multimedia. Una red de entrega de contenidos (CDN, Content Delivery Network) es una opción para mejorar la experiencia de los usuarios finales, es decir, hacer más eficiente y fiable la distribución de contenidos. Sin embargo, con los nuevos requisitos de negocio y tecnologías, los operadores de CDN tienen que mejorar la arquitectura de la red. La Red definida por software (SDN, Software Defined Networking) es una nueva arquitectura de la red con un gran potencial, y el aspecto principal es la separación de los planos de datos y de control. El objetivo de este trabajo fin de grado es proporcionar una arquitectura basada en la tecnología SDN para poder sustituir la parte de la redirección DNS en una red CDN

Estudio de resonancias magnéticas mediante redes

Persiguiendo los objetivos dados por la descripción formal del trabajo de fin de grado, la labor realizada ha sido dirigida hacia cuatro enfoques principales: el estudio teórico de las redes, la generación de redes funcionales a partir de datos de experimentos de resonancias magnéticas funcionales, el análisis de la topología de estas redes y el desarrollo de herramientas informáticas necesarias a esas tareas.

Simulación y estudio de calidad de señal DVB-T en redes SMATV

La creación de infraestructuras comunes de telecomunicación (ICT) se hace necesaria debido al auge del servicio de televisión a mediados del siglo XX. Los elementos que las conforman pueden alterar los parámetros de calidad de la señal de televisión, actualmente transmitida bajo la norma DVB-T por las redes SMATV. El diseño de este tipo de redes se hace atendiendo a las atenuaciones de los dispositivos fijadas por el fabricante pero sin tener en cuenta la influencia de estos frente a parámetros de calidad de la señal. Se busca poder estudiar y analizar la influencia que tienen sobre el deterioro de la calidad de la señal a un nivel más detallado a fin de establecer los requerimientos mínimos que debieran de ofrecer. Para ello, en primer lugar, se hace un análisis de la respuesta individual de los dispositivos y su comparación con los datos del fabricante. A continuación estudiamos de forma detallada la respuesta que muestran en cascada y la elaboración de estructuras simples de ICT a modo de ejemplo en AWR. Una vez realizada esta primera fase se crea una red ICT real en el software utilizado en la que se analiza profundamente su repuesta en frecuencia. Por último se procede a simular dicha red ICT en AWR en la parte de VSS, donde se obtendrán las medidas de calidad en cuanto BER, EVM, espectro y demás parámetros, pudiendo concluir con una comparativa sobre el grado de fiabilidad del cálculo aproximado en el que se basa la realización del diseño de redes ICT. ABSTRACT. Creation of common telecommunications infrastructure (ICT) is necessary due to the rise of television service in the mid-twentieth century. The elements inside ICT can disturb quality parameters of television signal which is currently transmitted in the DVB-T standard by SMATV networks. Design of this type of network is made up according device attenuation defined by the manufacturer but without taking into account the influence of these parameters in signal quality. It seeks to study and analyze the influence of deterioration of signal quality deeper in order to establish the minimum requirements that should provide them. First of all, we made an analysis of individual device response and their comparison with manufacturer's data. Therefore we study in detail the response of these elements in a cascade and we develop simple structures of ICT as examples. Once the first step is done, we implement a real ICT network in the software in order to deeply analyze its frequency response. Finally we proceed to simulate this ICT network in AWR inside VSS module, where quality measures as BER, EVM, spectrum and other parameters will be obtained, concluding with a comparison of the reliability of ICT networks design estimation.

Estudio de modelos de propagación en bandas milimétricas para su futura utilización en redes de comunicaciones móviles 5G

La generalización del uso de dispositivos móviles, con su consiguiente aumento del tráfico de datos, está generando una demanda cada vez mayor de bandas de frecuencia para el despliegue de sistemas de comunicación inalámbrica, así como una creciente congestión en las bandas bajas del espectro (hasta 3 GHz). Entre las posibles soluciones a este problema, se ha propuesto que la próxima generación de sistemas celulares, 5G, hagan uso de la banda milimétrica, entre 30 GHz y 300 GHz, donde hay anchos de banda contiguos disponibles con tamaños muy difíciles de encontrar en las frecuencias en uso en la generación actual. Este Proyecto de Fin de Grado tiene como finalidad estudiar la viabilidad del despliegue de sistemas celulares en dicha banda, basándose en los estudios tanto empíricos como teóricos ya publicados, así como en las recomendaciones de la UIT donde se estudian las características de propagación en estas bandas. En un siguiente apartado, se han analizado los documentos disponibles de los distintos proyectos y grupos, como pueden ser METIS-2020, impulsado por la Comisión Europea o IMT-2020 promovido por la UIT, dedicados a definir los futuros estándares de comunicación y sus características, así como la evolución de los actuales. Aparte del trabajo de documentación, se han realizado una serie de simulaciones. En primer lugar, se ha utilizado MATLAB para estudiar el comportamiento y la atenuación de la onda electromagnética a las frecuencias de interés en diferentes ubicaciones y climas, tanto en ubicaciones habituales como extremas, estudiándose los efectos de los gases atmosféricos y los hidrometeoros. También se ha utilizado software de planificación radioeléctrica profesional para hacer estudios de cobertura en entornos tanto urbanos, entre ellos Madrid o Barcelona, suburbanos, como Tres Cantos (Madrid) y O Barco de Valdeorras (Orense), y rurales como Valdefuentes (Cáceres) y Quiruelas de Vidriales (Zamora). Por último se han recogido todos los resultados, tanto los provenientes de los estudios como los obtenidos de nuestras propias simulaciones, y se ha realizado un breve comentario, comparando estos y analizando su impacto para posibles despliegues futuros de redes 5G. ABSTRACT. The generalization of mobile device use, with its associated data traffic growth, is generating a growing demand of spectrum for its use in the deployment of wireless telecommunication systems, and a growing congestion in the lower end of the spectrum (until 3 GHz). Among the possible solutions for this problem, it has been proposed that the next generation of cellular systems, 5G, makes use of the millimeter band, between 30 GHz and 300 GHz, where there are contiguous bandwidths with sizes hardly available in the bands used in the present. This Project aims to study the feasibility of cellular system deployments in said band, based on published empirical and theoretical studies and papers, and the ITU recommendations, where the propagation characteristics in those bands are studied. In the next section, available documentation coming from the different study groups and projects like METIS 2020 promoted by the European Commission, or IMT-2020, promoted by the ITU has been studied. In the documentation, future telecommunication standards and its characteristics and the evolution of the current ones are defined. Besides the documentation work, a series of simulations have been carried out. First, MATLAB has been used to study the behavior and attenuation of the electromagnetic wave at the frequencies of interest in different locations and climates, studying the effects of atmospheric gasses and hydrometeors in conventional and extreme locations. Industry standard radioelectric planning software has been used to study the coverage in different environments, such as urban locations like Madrid and Barcelona, both in Spain, suburban locations like Tres Cantos (Madrid, Spain) and O Barco de Valdeorras (Orense, Spain) and rural locations such as Valdefuentes (Cáreces, Spain) and Quiruelas de Vidriales (Zamora, Spain). Finally, all the results, both from the documentation and our own simulations, have been collected, and a brief commentary has been made, comparing those results and their possible impact in the future deployment of 5G networks.

Análisis de la actividad neuronal y cerebral mediante técnicas de redes complejas

El cerebro humano es probablemente uno de los sistemas más complejos a los que nos enfrentamos en la actualidad, si bien es también uno de los más fascinantes. Sin embargo, la compresión de cómo el cerebro organiza su actividad para llevar a cabo tareas complejas es un problema plagado de restos y obstáculos. En sus inicios la neuroimagen y la electrofisiología tenían como objetivo la identificación de regiones asociadas a activaciones relacionadas con tareas especificas, o con patrones locales que variaban en el tiempo dada cierta actividad. Sin embargo, actualmente existe un consenso acerca de que la actividad cerebral tiene un carácter temporal multiescala y espacialmente extendido, lo que lleva a considerar el cerebro como una gran red de áreas cerebrales coordinadas, cuyas conexiones funcionales son continuamente creadas y destruidas. Hasta hace poco, el énfasis de los estudios de la actividad cerebral funcional se han centrado en la identidad de los nodos particulares que forman estas redes, y en la caracterización de métricas de conectividad entre ellos: la hipótesis subyacente es que cada nodo, que es una representación mas bien aproximada de una región cerebral dada, ofrece a una única contribución al total de la red. Por tanto, la neuroimagen funcional integra los dos ingredientes básicos de la neuropsicología: la localización de la función cognitiva en módulos cerebrales especializados y el rol de las fibras de conexión en la integración de dichos módulos. Sin embargo, recientemente, la estructura y la función cerebral han empezado a ser investigadas mediante la Ciencia de la Redes, una interpretación mecánico-estadística de una antigua rama de las matemáticas: La teoría de grafos. La Ciencia de las Redes permite dotar a las redes funcionales de una gran cantidad de propiedades cuantitativas (robustez, centralidad, eficiencia, ...), y así enriquecer el conjunto de elementos que describen objetivamente la estructura y la función cerebral a disposición de los neurocientíficos. La conexión entre la Ciencia de las Redes y la Neurociencia ha aportado nuevos puntos de vista en la comprensión de la intrincada anatomía del cerebro, y de cómo las patrones de actividad cerebral se pueden sincronizar para generar las denominadas redes funcionales cerebrales, el principal objeto de estudio de esta Tesis Doctoral. Dentro de este contexto, la complejidad emerge como el puente entre las propiedades topológicas y dinámicas de los sistemas biológicos y, específicamente, en la relación entre la organización y la dinámica de las redes funcionales cerebrales. Esta Tesis Doctoral es, en términos generales, un estudio de cómo la actividad cerebral puede ser entendida como el resultado de una red de un sistema dinámico íntimamente relacionado con los procesos que ocurren en el cerebro. Con este fin, he realizado cinco estudios que tienen en cuenta ambos aspectos de dichas redes funcionales: el topológico y el dinámico. De esta manera, la Tesis está dividida en tres grandes partes: Introducción, Resultados y Discusión. En la primera parte, que comprende los Capítulos 1, 2 y 3, se hace un resumen de los conceptos más importantes de la Ciencia de las Redes relacionados al análisis de imágenes cerebrales. Concretamente, el Capitulo 1 está dedicado a introducir al lector en el mundo de la complejidad, en especial, a la complejidad topológica y dinámica de sistemas acoplados en red. El Capítulo 2 tiene como objetivo desarrollar los fundamentos biológicos, estructurales y funcionales del cerebro, cuando éste es interpretado como una red compleja. En el Capítulo 3, se resumen los objetivos esenciales y tareas que serán desarrolladas a lo largo de la segunda parte de la Tesis. La segunda parte es el núcleo de la Tesis, ya que contiene los resultados obtenidos a lo largo de los últimos cuatro años. Esta parte está dividida en cinco Capítulos, que contienen una versión detallada de las publicaciones llevadas a cabo durante esta Tesis. El Capítulo 4 está relacionado con la topología de las redes funcionales y, específicamente, con la detección y cuantificación de los nodos mas importantes: aquellos denominados “hubs” de la red. En el Capítulo 5 se muestra como las redes funcionales cerebrales pueden ser vistas no como una única red, sino más bien como una red-de-redes donde sus componentes tienen que coexistir en una situación de balance funcional. De esta forma, se investiga cómo los hemisferios cerebrales compiten para adquirir centralidad en la red-de-redes, y cómo esta interacción se mantiene (o no) cuando se introducen fallos deliberadamente en la red funcional. El Capítulo 6 va un paso mas allá al considerar las redes funcionales como sistemas vivos. En este Capítulo se muestra cómo al analizar la evolución de la topología de las redes, en vez de tratarlas como si estas fueran un sistema estático, podemos caracterizar mejor su estructura. Este hecho es especialmente relevante cuando se quiere tratar de encontrar diferencias entre grupos que desempeñan una tarea de memoria, en la que las redes funcionales tienen fuertes fluctuaciones. En el Capítulo 7 defino cómo crear redes parenclíticas a partir de bases de datos de actividad cerebral. Este nuevo tipo de redes, recientemente introducido para estudiar las anormalidades entre grupos de control y grupos anómalos, no ha sido implementado nunca en datos cerebrales y, en este Capítulo explico cómo hacerlo cuando se quiere evaluar la consistencia de la dinámica cerebral. Para concluir esta parte de la Tesis, el Capítulo 8 se centra en la relación entre las propiedades topológicas de los nodos dentro de una red y sus características dinámicas. Como mostraré más adelante, existe una relación entre ellas que revela que la posición de un nodo dentro una red está íntimamente correlacionada con sus propiedades dinámicas. Finalmente, la última parte de esta Tesis Doctoral está compuesta únicamente por el Capítulo 9, el cual contiene las conclusiones y perspectivas futuras que pueden surgir de los trabajos expuestos. En vista de todo lo anterior, espero que esta Tesis aporte una perspectiva complementaria sobre uno de los más extraordinarios sistemas complejos frente a los que nos encontramos: El cerebro humano. ABSTRACT The human brain is probably one of the most complex systems we are facing, thus being a timely and fascinating object of study. Characterizing how the brain organizes its activity to carry out complex tasks is highly non-trivial. While early neuroimaging and electrophysiological studies typically aimed at identifying patches of task-specific activations or local time-varying patterns of activity, there has now been consensus that task-related brain activity has a temporally multiscale, spatially extended character, as networks of coordinated brain areas are continuously formed and destroyed. Up until recently, though, the emphasis of functional brain activity studies has been on the identity of the particular nodes forming these networks, and on the characterization of connectivity metrics between them, the underlying covert hypothesis being that each node, constituting a coarse-grained representation of a given brain region, provides a unique contribution to the whole. Thus, functional neuroimaging initially integrated the two basic ingredients of early neuropsychology: localization of cognitive function into specialized brain modules and the role of connection fibres in the integration of various modules. Lately, brain structure and function have started being investigated using Network Science, a statistical mechanics understanding of an old branch of pure mathematics: graph theory. Network Science allows endowing networks with a great number of quantitative properties, thus vastly enriching the set of objective descriptors of brain structure and function at neuroscientists’ disposal. The link between Network Science and Neuroscience has shed light about how the entangled anatomy of the brain is, and how cortical activations may synchronize to generate the so-called functional brain networks, the principal object under study along this PhD Thesis. Within this context, complexity appears to be the bridge between the topological and dynamical properties of biological systems and, more specifically, the interplay between the organization and dynamics of functional brain networks. This PhD Thesis is, in general terms, a study of how cortical activations can be understood as the output of a network of dynamical systems that are intimately related with the processes occurring in the brain. In order to do that, I performed five studies that encompass both the topological and the dynamical aspects of such functional brain networks. In this way, the Thesis is divided into three major parts: Introduction, Results and Discussion. In the first part, comprising Chapters 1, 2 and 3, I make an overview of the main concepts of Network Science related to the analysis of brain imaging. More specifically, Chapter 1 is devoted to introducing the reader to the world of complexity, specially to the topological and dynamical complexity of networked systems. Chapter 2 aims to develop the biological, topological and functional fundamentals of the brain when it is seen as a complex network. Next, Chapter 3 summarizes the main objectives and tasks that will be developed along the forthcoming Chapters. The second part of the Thesis is, in turn, its core, since it contains the results obtained along these last four years. This part is divided into five Chapters, containing a detailed version of the publications carried out during the Thesis. Chapter 4 is related to the topology of functional networks and, more specifically, to the detection and quantification of the leading nodes of the network: the hubs. In Chapter 5 I will show that functional brain networks can be viewed not as a single network, but as a network-of-networks, where its components have to co-exist in a trade-off situation. In this way, I investigate how the brain hemispheres compete for acquiring the centrality of the network-of-networks and how this interplay is maintained (or not) when failures are introduced in the functional network. Chapter 6 goes one step beyond by considering functional networks as living systems. In this Chapter I show how analyzing the evolution of the network topology instead of treating it as a static system allows to better characterize functional networks. This fact is especially relevant when trying to find differences between groups performing certain memory tasks, where functional networks have strong fluctuations. In Chapter 7 I define how to create parenclitic networks from brain imaging datasets. This new kind of networks, recently introduced to study abnormalities between control and anomalous groups, have not been implemented with brain datasets and I explain in this Chapter how to do it when evaluating the consistency of brain dynamics. To conclude with this part of the Thesis, Chapter 8 is devoted to the interplay between the topological properties of the nodes within a network and their dynamical features. As I will show, there is an interplay between them which reveals that the position of a node in a network is intimately related with its dynamical properties. Finally, the last part of this PhD Thesis is composed only by Chapter 9, which contains the conclusions and future perspectives that may arise from the exposed results. In view of all, I hope that reading this Thesis will give a complementary perspective of one of the most extraordinary complex systems: The human brain.

Clasificación de tráfico de Internet mediante análisis de datos

Poder clasificar de manera precisa la aplicación o programa del que provienen los flujos que conforman el tráfico de uso de Internet dentro de una red permite tanto a empresas como a organismos una útil herramienta de gestión de los recursos de sus redes, así como la posibilidad de establecer políticas de prohibición o priorización de tráfico específico. La proliferación de nuevas aplicaciones y de nuevas técnicas han dificultado el uso de valores conocidos (well-known) en puertos de aplicaciones proporcionados por la IANA (Internet Assigned Numbers Authority) para la detección de dichas aplicaciones. Las redes P2P (Peer to Peer), el uso de puertos no conocidos o aleatorios, y el enmascaramiento de tráfico de muchas aplicaciones en tráfico HTTP y HTTPS con el fin de atravesar firewalls y NATs (Network Address Translation), entre otros, crea la necesidad de nuevos métodos de detección de tráfico. El objetivo de este estudio es desarrollar una serie de prácticas que permitan realizar dicha tarea a través de técnicas que están más allá de la observación de puertos y otros valores conocidos. Existen una serie de metodologías como Deep Packet Inspection (DPI) que se basa en la búsqueda de firmas, signatures, en base a patrones creados por el contenido de los paquetes, incluido el payload, que caracterizan cada aplicación. Otras basadas en el aprendizaje automático de parámetros de los flujos, Machine Learning, que permite determinar mediante análisis estadísticos a qué aplicación pueden pertenecer dichos flujos y, por último, técnicas de carácter más heurístico basadas en la intuición o el conocimiento propio sobre tráfico de red. En concreto, se propone el uso de alguna de las técnicas anteriormente comentadas en conjunto con técnicas de minería de datos como son el Análisis de Componentes Principales (PCA por sus siglas en inglés) y Clustering de estadísticos extraídos de los flujos procedentes de ficheros de tráfico de red. Esto implicará la configuración de diversos parámetros que precisarán de un proceso iterativo de prueba y error que permita dar con una clasificación del tráfico fiable. El resultado ideal sería aquel en el que se pudiera identificar cada aplicación presente en el tráfico en un clúster distinto, o en clusters que agrupen grupos de aplicaciones de similar naturaleza. Para ello, se crearán capturas de tráfico dentro de un entorno controlado e identificando cada tráfico con su aplicación correspondiente, a continuación se extraerán los flujos de dichas capturas. Tras esto, parámetros determinados de los paquetes pertenecientes a dichos flujos serán obtenidos, como por ejemplo la fecha y hora de llagada o la longitud en octetos del paquete IP. Estos parámetros serán cargados en una base de datos MySQL y serán usados para obtener estadísticos que ayuden, en un siguiente paso, a realizar una clasificación de los flujos mediante minería de datos. Concretamente, se usarán las técnicas de PCA y clustering haciendo uso del software RapidMiner. Por último, los resultados obtenidos serán plasmados en una matriz de confusión que nos permitirá que sean valorados correctamente. ABSTRACT. Being able to classify the applications that generate the traffic flows in an Internet network allows companies and organisms to implement efficient resource management policies such as prohibition of specific applications or prioritization of certain application traffic, looking for an optimization of the available bandwidth. The proliferation of new applications and new technics in the last years has made it more difficult to use well-known values assigned by the IANA (Internet Assigned Numbers Authority), like UDP and TCP ports, to identify the traffic. Also, P2P networks and data encapsulation over HTTP and HTTPS traffic has increased the necessity to improve these traffic analysis technics. The aim of this project is to develop a number of techniques that make us able to classify the traffic with more than the simple observation of the well-known ports. There are some proposals that have been created to cover this necessity; Deep Packet Inspection (DPI) tries to find signatures in the packets reading the information contained in them, the payload, looking for patterns that can be used to characterize the applications to which that traffic belongs; Machine Learning procedures work with statistical analysis of the flows, trying to generate an automatic process that learns from those statistical parameters and calculate the likelihood of a flow pertaining to a certain application; Heuristic Techniques, finally, are based in the intuition or the knowledge of the researcher himself about the traffic being analyzed that can help him to characterize the traffic. Specifically, the use of some of the techniques previously mentioned in combination with data mining technics such as Principal Component Analysis (PCA) and Clustering (grouping) of the flows extracted from network traffic captures are proposed. An iterative process based in success and failure will be needed to configure these data mining techniques looking for a reliable traffic classification. The perfect result would be the one in which the traffic flows of each application is grouped correctly in each cluster or in clusters that contain group of applications of similar nature. To do this, network traffic captures will be created in a controlled environment in which every capture is classified and known to pertain to a specific application. Then, for each capture, all the flows will be extracted. These flows will be used to extract from them information such as date and arrival time or the IP length of the packets inside them. This information will be then loaded to a MySQL database where all the packets defining a flow will be classified and also, each flow will be assigned to its specific application. All the information obtained from the packets will be used to generate statistical parameters in order to describe each flow in the best possible way. After that, data mining techniques previously mentioned (PCA and Clustering) will be used on these parameters making use of the software RapidMiner. Finally, the results obtained from the data mining will be compared with the real classification of the flows that can be obtained from the database. A Confusion Matrix will be used for the comparison, letting us measure the veracity of the developed classification process.

Monitorización inteligente de redes de comunicación

El avance tecnológico de los últimos años ha aumentado la necesidad de guardar enormes cantidades de datos de forma masiva, llegando a una situación de desorden en el proceso de almacenamiento de datos, a su desactualización y a complicar su análisis. Esta situación causó un gran interés para las organizaciones en la búsqueda de un enfoque para obtener información relevante de estos grandes almacenes de datos. Surge así lo que se define como inteligencia de negocio, un conjunto de herramientas, procedimientos y estrategias para llevar a cabo la “extracción de conocimiento”, término con el que se refiere comúnmente a la extracción de información útil para la propia organización. Concretamente en este proyecto, se ha utilizado el enfoque Knowledge Discovery in Databases (KDD), que permite lograr la identificación de patrones y un manejo eficiente de las anomalías que puedan aparecer en una red de comunicaciones. Este enfoque comprende desde la selección de los datos primarios hasta su análisis final para la determinación de patrones. El núcleo de todo el enfoque KDD es la minería de datos, que contiene la tecnología necesaria para la identificación de los patrones mencionados y la extracción de conocimiento. Para ello, se utilizará la herramienta RapidMiner en su versión libre y gratuita, debido a que es más completa y de manejo más sencillo que otras herramientas como KNIME o WEKA. La gestión de una red engloba todo el proceso de despliegue y mantenimiento. Es en este procedimiento donde se recogen y monitorizan todas las anomalías ocasionadas en la red, las cuales pueden almacenarse en un repositorio. El objetivo de este proyecto es realizar un planteamiento teórico y varios experimentos que permitan identificar patrones en registros de anomalías de red. Se ha estudiado el repositorio de MAWI Lab, en el que se han almacenado anomalías diarias. Se trata de buscar indicios característicos anuales detectando patrones. Los diferentes experimentos y procedimientos de este estudio pretenden demostrar la utilidad de la inteligencia de negocio a la hora de extraer información a partir de un almacén de datos masivo, para su posterior análisis o futuros estudios. ABSTRACT. The technological progresses in the recent years required to store a big amount of information in repositories. This information is often in disorder, outdated and needs a complex analysis. This situation has caused a relevant interest in investigating methodologies to obtain important information from these huge data stores. Business intelligence was born as a set of tools, procedures and strategies to implement the "knowledge extraction". Specifically in this project, Knowledge Discovery in Databases (KDD) approach has been used. KDD is one of the most important processes of business intelligence to achieve the identification of patterns and the efficient management of the anomalies in a communications network. This approach includes all necessary stages from the selection of the raw data until the analysis to determine the patterns. The core process of the whole KDD approach is the Data Mining process, which analyzes the information needed to identify the patterns and to extract the knowledge. In this project we use the RapidMiner tool to carry out the Data Mining process, because this tool has more features and is easier to use than other tools like WEKA or KNIME. Network management includes the deployment, supervision and maintenance tasks. Network management process is where all anomalies are collected, monitored, and can be stored in a repository. The goal of this project is to construct a theoretical approach, to implement a prototype and to carry out several experiments that allow identifying patterns in some anomalies records. MAWI Lab repository has been selected to be studied, which contains daily anomalies. The different experiments show the utility of the business intelligence to extract information from big data warehouse.

Análisis, desarrollo y optimización de un sistema para el diseño de redes topográficas valorando el modelo digital del terreno

El presente trabajo tiene como objetivo general el análisis de las técnicas de diseño y optimización de redes topográficas, observadas mediante topografía convencional (no satelital) el desarrollo e implementación de un sistema informático capaz de ayudar a la definición de la geometría más fiable y precisa, en función de la orografía del terreno donde se tenga que ubicar. En primer lugar se realizará un estudio de la metodología del ajuste mediante mínimos cuadrados y la propagación de varianzas, para posteriormente analizar su dependencia de la geometría que adopte la red. Será imprescindible determinar la independencia de la matriz de redundancia (R) de las observaciones y su total dependencia de la geometría, así como la influencia de su diagonal principal (rii), números de redundancia, para garantizar la máxima fiabilidad interna de la misma. También se analizará el comportamiento de los números de redundancia (rii) en el diseño de una red topográfica, la variación de dichos valores en función de la geometría, analizando su independencia respecto de las observaciones así como los diferentes niveles de diseño en función de los parámetros y datos conocidos. Ha de señalarse que la optimización de la red, con arreglo a los criterios expuestos, está sujeta a los condicionantes que impone la necesidad de que los vértices sean accesibles, y además sean visibles entre sí, aquellos relacionados por observaciones, situaciones que dependen esencialmente del relieve del terreno y de los obstáculos naturales o artificiales que puedan existir. Esto implica la necesidad de incluir en el análisis y en el diseño, cuando menos de un modelo digital del terreno (MDT), aunque lo más útil sería la inclusión en el estudio del modelo digital de superficie (MDS), pero esta opción no siempre será posible. Aunque el tratamiento del diseño esté basado en un sistema bidimensional se estudiará la posibilidad de incorporar un modelo digital de superficie (MDS); esto permitirá a la hora de diseñar el emplazamiento de los vértices de la red la viabilidad de las observaciones en función de la orografía y los elementos, tanto naturales como artificiales, que sobre ella estén ubicados. Este sistema proporcionaría, en un principio, un diseño óptimo de una red constreñida, atendiendo a la fiabilidad interna y a la precisión final de sus vértices, teniendo en cuenta la orografía, lo que equivaldría a resolver un planteamiento de diseño en dos dimensiones y media1; siempre y cuando se dispusiera de un modelo digital de superficie o del terreno. Dado que la disponibilidad de obtener de manera libre el MDS de las zonas de interés del proyecto, hoy en día es costoso2, se planteará la posibilidad de conjuntar, para el estudio del diseño de la red, de un modelo digital del terreno. Las actividades a desarrollar en el trabajo de esta tesis se describen en esta memoria y se enmarcan dentro de la investigación para la que se plantean los siguientes objetivos globales: 1. Establecer un modelo matemático del proceso de observación de una red topográfica, atendiendo a todos los factores que intervienen en el mismo y a su influencia sobre las estimaciones de las incógnitas que se obtienen como resultado del ajuste de las observaciones. 2. Desarrollar un sistema que permita optimizar una red topográfica en sus resultados, aplicando técnicas de diseño y simulación sobre el modelo anterior. 3. Presentar una formulación explícita y rigurosa de los parámetros que valoran la fiabilidad de una red topográfica y de sus relaciones con el diseño de la misma. El logro de este objetivo se basa, además de en la búsqueda y revisión de las fuentes, en una intensa labor de unificación de notaciones y de construcción de pasos intermedios en los desarrollos matemáticos. 4. Elaborar una visión conjunta de la influencia del diseño de una red, en los seis siguientes factores (precisiones a posteriori, fiabilidad de las observaciones, naturaleza y viabilidad de las mismas, instrumental y metodología de estacionamiento) como criterios de optimización, con la finalidad de enmarcar el tema concreto que aquí se aborda. 5. Elaborar y programar los algoritmos necesarios para poder desarrollar una aplicación que sea capaz de contemplar las variables planteadas en el apartado anterior en el problema del diseño y simulación de redes topográficas, contemplando el modelo digital de superficie. Podrían considerarse como objetivos secundarios, los siguientes apartados: Desarrollar los algoritmos necesarios para interrelacionar el modelo digital del terreno con los propios del diseño. Implementar en la aplicación informática la posibilidad de variación, por parte del usuario, de los criterios de cobertura de los parámetros (distribución normal o t de Student), así como los grados de fiabilidad de los mismos ABSTRACT The overall purpose of this work is the analysis of the techniques of design and optimization for geodetic networks, measured with conventional survey methods (not satellite), the development and implementation of a computational system capable to help on the definition of the most liable and accurate geometry, depending on the land orography where the network has to be located. First of all, a study of the methodology by least squares adjustment and propagation of variances will be held; then, subsequently, analyze its dependency of the geometry that the network will take. It will be essential to determine the independency of redundancy matrix (R) from the observations and its absolute dependency from the network geometry, as well as the influence of the diagonal terms of the R matrix (rii), redundancy numbers, in order to ensure maximum re liability of the network. It will also be analyzed first the behavior of redundancy numbers (rii) in surveying network design, then the variation of these values depending on the geometry with the analysis of its independency from the observations, and finally the different design levels depending on parameters and known data. It should be stated that network optimization, according to exposed criteria, is subject to the accessibility of the network points. In addition, common visibility among network points, which of them are connected with observations, has to be considered. All these situations depends essentially on the terrain relief and the natural or artificial obstacles that should exist. Therefore, it is necessary to include, at least, a digital terrain model (DTM), and better a digital surface model (DSM), not always available. Although design treatment is based on a bidimensional system, the possibility of incorporating a digital surface model (DSM) will be studied; this will allow evaluating the observations feasibility based on the terrain and the elements, both natural and artificial, which are located on it, when selecting network point locations. This system would provide, at first, an optimal design of a constrained network, considering both the internal reliability and the accuracy of its points (including the relief). This approach would amount to solving a “two and a half dimensional”3 design, if a digital surface model is available. As the availability of free DSM4 of the areas of interest of the project today is expensive, the possibility of combining a digital terrain model will arise. The activities to be developed on this PhD thesis are described in this document and are part of the research for which the following overall objectives are posed: 1. To establish a mathematical model for the process of observation of a survey network, considering all the factors involved and its influence on the estimates of the unknowns that are obtained as a result of the observations adjustment. 2. To develop a system to optimize a survey network results, applying design and simulation techniques on the previous model. 3. To present an explicit and rigorous formulation of parameters which assess the reliability of a survey network and its relations with the design. The achievement of this objective is based, besides on the search and review of sources, in an intense work of unification of notation and construction of intermediate steps in the mathematical developments. 4. To develop an overview of the influence on the network design of six major factors (posterior accuracy, observations reliability, viability of observations, instruments and station methodology) as optimization criteria, in order to define the subject approached on this document. 5. To elaborate and program the algorithms needed to develop an application software capable of considering the variables proposed in the previous section, on the problem of design and simulation of surveying networks, considering the digital surface model. It could be considered as secondary objectives, the following paragraphs: To develop the necessary algorithms to interrelate the digital terrain model with the design ones. To implement in the software application the possibility of variation of the coverage criteria parameters (normal distribution or Student t test) and therefore its degree of reliability.