Differential Evoluiton - Particle Swarm Optimization

This paper shows the Particle Swarm Optimization algorithm with a Differential Evolution. Each candidate solution is sampled uniformly in [!5,5] D, whereDdenotes the search space dimension, and the evolution is performed with a classical PSO algorithm and a classical DE/x/1 algorithm according to a random threshold.

Towards the Natural Optimization with Particle Swarm Optimization.

This paper shows the Particle Swarm Optimization algorithm with a Differential Evolution. Each candidate solution is sampled in the interval [?5, 5] D where D indicates the dimension of the search space, and the evolution is performed with a classical PSO algorithm and a classical DE/x/1 algorithm according to a random threshold. Moreover, this paper provides concepts to deal with non-linear optimization through the use of PSO.

The Optimal combination: Grammatical Swarm, Particle Swarm Optimization and Neural Networks.

Social behaviour is mainly based on swarm colonies, in which each individual shares its knowledge about the environment with other individuals to get optimal solutions. Such co-operative model differs from competitive models in the way that individuals die and are born by combining information of alive ones. This paper presents the particle swarm optimization with differential evolution algorithm in order to train a neural network instead the classic back propagation algorithm. The performance of a neural network for particular problems is critically dependant on the choice of the processing elements, the net architecture and the learning algorithm. This work is focused in the development of methods for the evolutionary design of artificial neural networks. This paper focuses in optimizing the topology and structure of connectivity for these networks.

Evolutionary computation of forests with Degree- and Role-Constrained Minimum Spanning Trees

Finding the degree-constrained minimum spanning tree (DCMST) of a graph is a widely studied NP-hard problem. One of its most important applications is network design. Here we deal with a new variant of the DCMST problem, which consists of finding not only the degree- but also the role-constrained minimum spanning tree (DRCMST), i.e., we add constraints to restrict the role of the nodes in the tree to root, intermediate or leaf node. Furthermore, we do not limit the number of root nodes to one, thereby, generally, building a forest of DRCMSTs. The modeling of network design problems can benefit from the possibility of generating more than one tree and determining the role of the nodes in the network. We propose a novel permutation-based representation to encode these forests. In this new representation, one permutation simultaneously encodes all the trees to be built. We simulate a wide variety of DRCMST problems which we optimize using eight different evolutionary computation algorithms encoding individuals of the population using the proposed representation. The algorithms we use are: estimation of distribution algorithm, generational genetic algorithm, steady-state genetic algorithm, covariance matrix adaptation evolution strategy, differential evolution, elitist evolution strategy, non-elitist evolution strategy and particle swarm optimization. The best results are for the estimation of distribution algorithms and both types of genetic algorithms, although the genetic algorithms are significantly faster.

Contributions to the Resilience Management in the Internet of Things

El auge del "Internet de las Cosas" (IoT, "Internet of Things") y sus tecnologías asociadas han permitido su aplicación en diversos dominios de la aplicación, entre los que se encuentran la monitorización de ecosistemas forestales, la gestión de catástrofes y emergencias, la domótica, la automatización industrial, los servicios para ciudades inteligentes, la eficiencia energética de edificios, la detección de intrusos, la gestión de desastres y emergencias o la monitorización de señales corporales, entre muchas otras. La desventaja de una red IoT es que una vez desplegada, ésta queda desatendida, es decir queda sujeta, entre otras cosas, a condiciones climáticas cambiantes y expuestas a catástrofes naturales, fallos de software o hardware, o ataques maliciosos de terceros, por lo que se puede considerar que dichas redes son propensas a fallos. El principal requisito de los nodos constituyentes de una red IoT es que estos deben ser capaces de seguir funcionando a pesar de sufrir errores en el propio sistema. La capacidad de la red para recuperarse ante fallos internos y externos inesperados es lo que se conoce actualmente como "Resiliencia" de la red. Por tanto, a la hora de diseñar y desplegar aplicaciones o servicios para IoT, se espera que la red sea tolerante a fallos, que sea auto-configurable, auto-adaptable, auto-optimizable con respecto a nuevas condiciones que puedan aparecer durante su ejecución. Esto lleva al análisis de un problema fundamental en el estudio de las redes IoT, el problema de la "Conectividad". Se dice que una red está conectada si todo par de nodos en la red son capaces de encontrar al menos un camino de comunicación entre ambos. Sin embargo, la red puede desconectarse debido a varias razones, como que se agote la batería, que un nodo sea destruido, etc. Por tanto, se hace necesario gestionar la resiliencia de la red con el objeto de mantener la conectividad entre sus nodos, de tal manera que cada nodo IoT sea capaz de proveer servicios continuos, a otros nodos, a otras redes o, a otros servicios y aplicaciones. En este contexto, el objetivo principal de esta tesis doctoral se centra en el estudio del problema de conectividad IoT, más concretamente en el desarrollo de modelos para el análisis y gestión de la Resiliencia, llevado a la práctica a través de las redes WSN, con el fin de mejorar la capacidad la tolerancia a fallos de los nodos que componen la red. Este reto se aborda teniendo en cuenta dos enfoques distintos, por una parte, a diferencia de otro tipo de redes de dispositivos convencionales, los nodos en una red IoT son propensos a perder la conexión, debido a que se despliegan en entornos aislados, o en entornos con condiciones extremas; por otra parte, los nodos suelen ser recursos con bajas capacidades en términos de procesamiento, almacenamiento y batería, entre otros, por lo que requiere que el diseño de la gestión de su resiliencia sea ligero, distribuido y energéticamente eficiente. En este sentido, esta tesis desarrolla técnicas auto-adaptativas que permiten a una red IoT, desde la perspectiva del control de su topología, ser resiliente ante fallos en sus nodos. Para ello, se utilizan técnicas basadas en lógica difusa y técnicas de control proporcional, integral y derivativa (PID - "proportional-integral-derivative"), con el objeto de mejorar la conectividad de la red, teniendo en cuenta que el consumo de energía debe preservarse tanto como sea posible. De igual manera, se ha tenido en cuenta que el algoritmo de control debe ser distribuido debido a que, en general, los enfoques centralizados no suelen ser factibles a despliegues a gran escala. El presente trabajo de tesis implica varios retos que conciernen a la conectividad de red, entre los que se incluyen: la creación y el análisis de modelos matemáticos que describan la red, una propuesta de sistema de control auto-adaptativo en respuesta a fallos en los nodos, la optimización de los parámetros del sistema de control, la validación mediante una implementación siguiendo un enfoque de ingeniería del software y finalmente la evaluación en una aplicación real. Atendiendo a los retos anteriormente mencionados, el presente trabajo justifica, mediante una análisis matemático, la relación existente entre el "grado de un nodo" (definido como el número de nodos en la vecindad del nodo en cuestión) y la conectividad de la red, y prueba la eficacia de varios tipos de controladores que permiten ajustar la potencia de trasmisión de los nodos de red en respuesta a eventuales fallos, teniendo en cuenta el consumo de energía como parte de los objetivos de control. Así mismo, este trabajo realiza una evaluación y comparación con otros algoritmos representativos; en donde se demuestra que el enfoque desarrollado es más tolerante a fallos aleatorios en los nodos de la red, así como en su eficiencia energética. Adicionalmente, el uso de algoritmos bioinspirados ha permitido la optimización de los parámetros de control de redes dinámicas de gran tamaño. Con respecto a la implementación en un sistema real, se han integrado las propuestas de esta tesis en un modelo de programación OSGi ("Open Services Gateway Initiative") con el objeto de crear un middleware auto-adaptativo que mejore la gestión de la resiliencia, especialmente la reconfiguración en tiempo de ejecución de componentes software cuando se ha producido un fallo. Como conclusión, los resultados de esta tesis doctoral contribuyen a la investigación teórica y, a la aplicación práctica del control resiliente de la topología en redes distribuidas de gran tamaño. Los diseños y algoritmos presentados pueden ser vistos como una prueba novedosa de algunas técnicas para la próxima era de IoT. A continuación, se enuncian de forma resumida las principales contribuciones de esta tesis: (1) Se han analizado matemáticamente propiedades relacionadas con la conectividad de la red. Se estudia, por ejemplo, cómo varía la probabilidad de conexión de la red al modificar el alcance de comunicación de los nodos, así como cuál es el mínimo número de nodos que hay que añadir al sistema desconectado para su re-conexión. (2) Se han propuesto sistemas de control basados en lógica difusa para alcanzar el grado de los nodos deseado, manteniendo la conectividad completa de la red. Se han evaluado diferentes tipos de controladores basados en lógica difusa mediante simulaciones, y los resultados se han comparado con otros algoritmos representativos. (3) Se ha investigado más a fondo, dando un enfoque más simple y aplicable, el sistema de control de doble bucle, y sus parámetros de control se han optimizado empleando algoritmos heurísticos como el método de la entropía cruzada (CE, "Cross Entropy"), la optimización por enjambre de partículas (PSO, "Particle Swarm Optimization"), y la evolución diferencial (DE, "Differential Evolution"). (4) Se han evaluado mediante simulación, la mayoría de los diseños aquí presentados; además, parte de los trabajos se han implementado y validado en una aplicación real combinando técnicas de software auto-adaptativo, como por ejemplo las de una arquitectura orientada a servicios (SOA, "Service-Oriented Architecture"). ABSTRACT The advent of the Internet of Things (IoT) enables a tremendous number of applications, such as forest monitoring, disaster management, home automation, factory automation, smart city, etc. However, various kinds of unexpected disturbances may cause node failure in the IoT, for example battery depletion, software/hardware malfunction issues and malicious attacks. So, it can be considered that the IoT is prone to failure. The ability of the network to recover from unexpected internal and external failures is known as "resilience" of the network. Resilience usually serves as an important non-functional requirement when designing IoT, which can further be broken down into "self-*" properties, such as self-adaptive, self-healing, self-configuring, self-optimization, etc. One of the consequences that node failure brings to the IoT is that some nodes may be disconnected from others, such that they are not capable of providing continuous services for other nodes, networks, and applications. In this sense, the main objective of this dissertation focuses on the IoT connectivity problem. A network is regarded as connected if any pair of different nodes can communicate with each other either directly or via a limited number of intermediate nodes. More specifically, this thesis focuses on the development of models for analysis and management of resilience, implemented through the Wireless Sensor Networks (WSNs), which is a challenging task. On the one hand, unlike other conventional network devices, nodes in the IoT are more likely to be disconnected from each other due to their deployment in a hostile or isolated environment. On the other hand, nodes are resource-constrained in terms of limited processing capability, storage and battery capacity, which requires that the design of the resilience management for IoT has to be lightweight, distributed and energy-efficient. In this context, the thesis presents self-adaptive techniques for IoT, with the aim of making the IoT resilient against node failures from the network topology control point of view. The fuzzy-logic and proportional-integral-derivative (PID) control techniques are leveraged to improve the network connectivity of the IoT in response to node failures, meanwhile taking into consideration that energy consumption must be preserved as much as possible. The control algorithm itself is designed to be distributed, because the centralized approaches are usually not feasible in large scale IoT deployments. The thesis involves various aspects concerning network connectivity, including: creation and analysis of mathematical models describing the network, proposing self-adaptive control systems in response to node failures, control system parameter optimization, implementation using the software engineering approach, and evaluation in a real application. This thesis also justifies the relations between the "node degree" (the number of neighbor(s) of a node) and network connectivity through mathematic analysis, and proves the effectiveness of various types of controllers that can adjust power transmission of the IoT nodes in response to node failures. The controllers also take into consideration the energy consumption as part of the control goals. The evaluation is performed and comparison is made with other representative algorithms. The simulation results show that the proposals in this thesis can tolerate more random node failures and save more energy when compared with those representative algorithms. Additionally, the simulations demonstrate that the use of the bio-inspired algorithms allows optimizing the parameters of the controller. With respect to the implementation in a real system, the programming model called OSGi (Open Service Gateway Initiative) is integrated with the proposals in order to create a self-adaptive middleware, especially reconfiguring the software components at runtime when failures occur. The outcomes of this thesis contribute to theoretic research and practical applications of resilient topology control for large and distributed networks. The presented controller designs and optimization algorithms can be viewed as novel trials of the control and optimization techniques for the coming era of the IoT. The contributions of this thesis can be summarized as follows: (1) Mathematically, the fault-tolerant probability of a large-scale stochastic network is analyzed. It is studied how the probability of network connectivity depends on the communication range of the nodes, and what is the minimum number of neighbors to be added for network re-connection. (2) A fuzzy-logic control system is proposed, which obtains the desired node degree and in turn maintains the network connectivity when it is subject to node failures. There are different types of fuzzy-logic controllers evaluated by simulations, and the results demonstrate the improvement of fault-tolerant capability as compared to some other representative algorithms. (3) A simpler but more applicable approach, the two-loop control system is further investigated, and its control parameters are optimized by using some heuristic algorithms such as Cross Entropy (CE), Particle Swarm Optimization (PSO), and Differential Evolution (DE). (4) Most of the designs are evaluated by means of simulations, but part of the proposals are implemented and tested in a real-world application by combining the self-adaptive software technique and the control algorithms which are presented in this thesis.

Polynomial regression using a perceptron with axo-axonic connections

Social behavior is mainly based on swarm colonies, in which each individual shares its knowledge about the environment with other individuals to get optimal solutions. Such co-operative model differs from competitive models in the way that individuals die and are born by combining information of alive ones. This paper presents the particle swarm optimization with differential evolution algorithm in order to train a neural network instead the classic back propagation algorithm. The performance of a neural network for particular problems is critically dependant on the choice of the processing elements, the net architecture and the learning algorithm. This work is focused in the development of methods for the evolutionary design of artificial neural networks. This paper focuses in optimizing the topology and structure of connectivity for these networks

Desarrollo de un Procedimiento Basado en Algoritmos de Optimización para el Dimensionado de Absorbedores Puntuales Aplicados a la Conversión de Energía Undimotriz

La energía transportada por el oleaje a través de los océanos (energía undimotriz) se enmarca dentro de las denominadas energías oceánicas. Su aprovechamiento para generar energía eléctrica (o ser aprovechada de alguna otra forma) es una idea reflejada ya hace más de dos siglos en una patente (1799). Desde entonces, y con especial intensidad desde los años 70, ha venido despertando el interés de instituciones ligadas al I+D+i y empresas del sector energético y tecnológico, debido principalmente a la magnitud del recurso disponible. Actualmente se puede considerar al sector en un estado precomercial, con un amplio rango de dispositivos y tecnologías en diferente grado de desarrollo en los que ninguno destaca sobre los otros (ni ha demostrado su viabilidad económica), y sin que se aprecie una tendencia a converger un único dispositivo (o un número reducido de ellos). El recurso energético que se está tratando de aprovechar, pese a compartir la característica de no-controlabilidad con otras fuentes de energía renovable como la eólica o la solar, presenta una variabilidad adicional. De esta manera, diferentes localizaciones, pese a poder presentar recursos de contenido energético similar, presentan oleajes de características muy diferentes en términos de alturas y periodos de oleaje, y en la dispersión estadística de estos valores. Esta variabilidad en el oleaje hace que cobre especial relevancia la adecuación de los dispositivos de aprovechamiento de energía undimotriz (WEC: Wave Energy Converter) a su localización, de cara a mejorar su viabilidad económica. Parece razonable suponer que, en un futuro, el proceso de diseño de un parque de generación undimotriz implique un rediseño (en base a una tecnología conocida) para cada proyecto de implantación en una nueva localización. El objetivo de esta tesis es plantear un procedimiento de dimensionado de una tecnología de aprovechamiento de la energía undimotriz concreta: los absorbedores puntuales. Dicha metodología de diseño se plantea como un problema de optimización matemático, el cual se resuelve utilizando un algoritmo de optimización bioinspirado: evolución diferencial. Este planteamiento permite automatizar la fase previa de dimensionado implementando la metodología en un código de programación. El proceso de diseño de un WEC es un problema de ingería complejo, por lo que no considera factible el planteamiento de un diseño completo mediante un único procedimiento de optimización matemático. En vez de eso, se platea el proceso de diseño en diferentes etapas, de manera que la metodología desarrollada en esta tesis se utilice para obtener las dimensiones básicas de una solución de referencia de WEC, la cual será utilizada como punto de partida para continuar con las etapas posteriores del proceso de diseño. La metodología de dimensionado previo presentada en esta tesis parte de unas condiciones de contorno de diseño definidas previamente, tales como: localización, características del sistema de generación de energía eléctrica (PTO: Power Take-Off), estrategia de extracción de energía eléctrica y concepto concreto de WEC). Utilizando un algoritmo de evolución diferencial multi-objetivo se obtiene un conjunto de soluciones factibles (de acuerdo con una ciertas restricciones técnicas y dimensionales) y óptimas (de acuerdo con una serie de funciones objetivo de pseudo-coste y pseudo-beneficio). Dicho conjunto de soluciones o dimensiones de WEC es utilizado como caso de referencia en las posteriores etapas de diseño. En el documento de la tesis se presentan dos versiones de dicha metodología con dos modelos diferentes de evaluación de las soluciones candidatas. Por un lado, se presenta un modelo en el dominio de la frecuencia que presenta importantes simplificaciones en cuanto al tratamiento del recurso del oleaje. Este procedimiento presenta una menor carga computacional pero una mayor incertidumbre en los resultados, la cual puede traducirse en trabajo adicional en las etapas posteriores del proceso de diseño. Sin embargo, el uso de esta metodología resulta conveniente para realizar análisis paramétricos previos de las condiciones de contorno, tales como la localización seleccionada. Por otro lado, la segunda metodología propuesta utiliza modelos en el domino estocástico, lo que aumenta la carga computacional, pero permite obtener resultados con menos incertidumbre e información estadística muy útil para el proceso de diseño. Por este motivo, esta metodología es más adecuada para su uso en un proceso de dimensionado completo de un WEC. La metodología desarrollada durante la tesis ha sido utilizada en un proyecto industrial de evaluación energética preliminar de una planta de energía undimotriz. En dicho proceso de evaluación, el método de dimensionado previo fue utilizado en una primera etapa, de cara a obtener un conjunto de soluciones factibles de acuerdo con una serie de restricciones técnicas básicas. La selección y refinamiento de la geometría de la solución geométrica de WEC propuesta fue realizada a posteriori (por otros participantes del proyecto) utilizando un modelo detallado en el dominio del tiempo y un modelo de evaluación económica del dispositivo. El uso de esta metodología puede ayudar a reducir las iteraciones manuales y a mejorar los resultados obtenidos en estas últimas etapas del proyecto. ABSTRACT The energy transported by ocean waves (wave energy) is framed within the so-called oceanic energies. Its use to generate electric energy (or desalinate ocean water, etc.) is an idea expressed first time in a patent two centuries ago (1799). Ever since, but specially since the 1970’s, this energy has become interesting for R&D institutions and companies related with the technological and energetic sectors mainly because of the magnitude of available energy. Nowadays the development of this technology can be considered to be in a pre-commercial stage, with a wide range of devices and technologies developed to different degrees but with none standing out nor economically viable. Nor do these technologies seem ready to converge to a single device (or a reduce number of devices). The energy resource to be exploited shares its non-controllability with other renewable energy sources such as wind and solar. However, wave energy presents an additional short-term variability due to its oscillatory nature. Thus, different locations may show waves with similar energy content but different characteristics such as wave height or wave period. This variability in ocean waves makes it very important that the devices for harnessing wave energy (WEC: Wave Energy Converter) fit closely to the characteristics of their location in order to improve their economic viability. It seems reasonable to assume that, in the future, the process of designing a wave power plant will involve a re-design (based on a well-known technology) for each implementation project in any new location. The objective of this PhD thesis is to propose a dimensioning method for a specific wave-energy-harnessing technology: point absorbers. This design methodology is presented as a mathematical optimization problem solved by using an optimization bio-inspired algorithm: differential evolution. This approach allows automating the preliminary dimensioning stage by implementing the methodology in programmed code. The design process of a WEC is a complex engineering problem, so the complete design is not feasible using a single mathematical optimization procedure. Instead, the design process is proposed in different stages, so the methodology developed in this thesis is used for the basic dimensions of a reference solution of the WEC, which would be used as a starting point for the later stages of the design process. The preliminary dimensioning methodology presented in this thesis starts from some previously defined boundary conditions such as: location, power take-off (PTO) characteristic, strategy of energy extraction and specific WEC technology. Using a differential multi-objective evolutionary algorithm produces a set of feasible solutions (according to certain technical and dimensional constraints) and optimal solutions (according to a set of pseudo-cost and pseudo-benefit objective functions). This set of solutions or WEC dimensions are used as a reference case in subsequent stages of design. In the document of this thesis, two versions of this methodology with two different models of evaluation of candidate solutions are presented. On the one hand, a model in the frequency domain that has significant simplifications in the treatment of the wave resource is presented. This method implies a lower computational load but increased uncertainty in the results, which may lead to additional work in the later stages of the design process. However, use of this methodology is useful in order to perform previous parametric analysis of boundary conditions such as the selected location. On the other hand, the second method uses stochastic models, increasing the computational load, but providing results with smaller uncertainty and very useful statistical information for the design process. Therefore, this method is more suitable to be used in a detail design process for full dimensioning of the WEC. The methodology developed throughout the thesis has been used in an industrial project for preliminary energetic assessment of a wave energy power plant. In this assessment process, the method of previous dimensioning was used in the first stage, in order to obtain a set of feasible solutions according to a set of basic technical constraints. The geometry of the WEC was refined and selected subsequently (by other project participants) using a detailed model in the time domain and a model of economic evaluation of the device. Using this methodology can help to reduce the number of design iterations and to improve the results obtained in the last stages of the project.

Nonlinear analysis of a simple model of temperature evolution in a satellite

We analyze a simple model of the heat transfer to and from a small satellite orbiting round a solar system planet. Our approach considers the satellite isothermal, with external heat input from the environment and from internal energy dissipation, and output to the environment as black-body radiation. The resulting nonlinear ordinary differential equation for the satellite’s temperature is analyzed by qualitative, perturbation and numerical methods, which prove that the temperature approaches a periodic pattern (attracting limit cycle). This approach can occur in two ways, according to the values of the parameters: (i) a slow decay towards the limit cycle over a time longer than the period, or (ii) a fast decay towards the limit cycle over a time shorter than the period. In the first case, an exactly soluble average equation is valid. We discuss the consequences of our model for the thermal stability of satellites.