Detection and Tracking of Dynamic Objects. A MultiRobot approach to Critical Infrastructures Surveillance.

Despite that Critical Infrastructures (CIs) security and surveillance are a growing concern for many countries and companies, Multi Robot Systems (MRSs) have not been yet broadly used in this type of facilities. This dissertation presents a novel study of the challenges arisen by the implementation of this type of systems and proposes solutions to specific problems. First, a comprehensive analysis of different types of CIs has been carried out, emphasizing the influence of the different characteristics of the facilities in the design of a security and surveillance MRS. One of the most important needs for the surveillance of a CI is the detection of intruders. From a technical point of view this problem can be abstracted as equivalent to the Detection and Tracking of Mobile Objects (DATMO). This dissertation proposes algorithms to solve this specific problem in a CI environment. Using 3D range images of the environment as input data, two detection algorithms for ground robots have been developed. These detection algorithms provide a list of moving objects in the robot detection area. Direct image differentiation and computer vision techniques are used when the robot is static. Alternatively, multi-layer ground reconstructions are compared to detect the dynamic objects when the robot is moving. Since CIs usually spread over large areas, it is very useful to incorporate aerial vehicles in the surveillance MRS. Therefore, a moving object detection algorithm for aerial vehicles has been also developed. This algorithm compares the real optical flow obtained from a down-face oriented camera with an artificial optical flow computed using a RANSAC based homography matrix. Two tracking algorithms have been developed to follow the moving objects trajectories. These algorithms can efficiently handle occlusions and crossings, as well as exchange information among robots. The multirobot tracking can be applied to any type of communication structure: centralized, decentralized or a combination of both. Even more, the developed tracking algorithms are independent of the detection algorithms and could be potentially used with other detection procedures or even with static sensors, such as cameras. In addition, using the 3D point clouds available to the robots, a relative localization algorithm has been developed to improve the position estimation of a given robot with observations from other robots. All the developed algorithms have been extensively tested in different simulated CIs using the Webots robotics simulator. Furthermore, the algorithms have also been validated with real robots operating in real scenarios. In conclusion, this dissertation presents a multirobot approach to Critical Infrastructure Surveillance, mainly focusing on Detecting and Tracking Dynamic Objects.

An introduction to swarm robotics

Swarm robotics is a field of multi-robotics in which large number of robots are coordinated in a distributed and decentralised way. It is based on the use of local rules, and simple robots compared to the complexity of the task to achieve, and inspired by social insects. Large number of simple robots can perform complex tasks in a more efficient way than a single robot, giving robustness and flexibility to the group. In this article, an overview of swarm robotics is given, describing its main properties and characteristics and comparing it to general multi-robotic systems. A review of different research works and experimental results, together with a discussion of the future swarm robotics in real world applications completes this work.

Adapting mode switches into the hierarchical scheduling

Mode switches are used to partition the system’s behavior into different modes to reduce the complexity of large embedded systems. Such systems operate in multiple modes in which each one corresponds to a specific application scenario; these are called Multi-Mode Systems (MMS). A different piece of software is normally executed for each mode. At any given time, the system can be in one of the predefined modes and then be switched to another as a result of a certain condition. A mode switch mechanism (or mode change protocol) is used to shift the system from one mode to another at run-time. In this thesis we have used a hierarchical scheduling framework to implement a multi-mode system called Multi-Mode Hierarchical Scheduling Framework (MMHSF). A two-level Hierarchical Scheduling Framework (HSF) has already been implemented in an open source real-time operating system, FreeRTOS, to support temporal isolation among real-time components. The main contribution of this thesis is the extension of the HSF featuring a multimode feature with an emphasis on making minimal changes in the underlying operating system (FreeRTOS) and its HSF implementation. Our implementation uses fixed-priority preemptive scheduling at both local and global scheduling levels and idling periodic servers. It also now supports different modes of the system which can be switched at run-time. Each subsystem and task exhibit different timing attributes according to mode, and upon a Mode Change Request (MCR) the task-set and timing interfaces of the entire system (including subsystems and tasks) undergo a change. A Mode Change Protocol specifies precisely how the system-mode will be changed. However, an application may not only need to change a mode but also a different mode change protocol semantic. For example, the mode change from normal to shutdown can allow all the tasks to be completed before the mode itself is changed, while changing a mode from normal to emergency may require aborting all tasks instantly. In our work, both the system mode and the mode change protocol can be changed at run-time. We have implemented three different mode change protocols to switch from one mode to another: the Suspend/resume protocol, the Abort protocol, and the Complete protocol. These protocols increase the flexibility of the system, allowing users to select the way they want to switch to a new mode. The implementation of MMHSF is tested and evaluated on an AVR-based 32 bit board EVK1100 with an AVR32UC3A0512 micro-controller. We have tested the behavior of each system mode and for each mode change protocol. We also provide the results for the performance measures of all mode change protocols in the thesis. RESUMEN Los conmutadores de modo son usados para particionar el comportamiento del sistema en diferentes modos, reduciendo así la complejidad de grandes sistemas empotrados. Estos sistemas tienen multiples modos de operación, cada uno de ellos correspondiente a distintos escenarios y para distintas aplicaciones; son llamados Sistemas Multimodales (o en inglés “Multi-Mode Systems” o MMS). Normalmente cada modo ejecuta una parte de código distinto. En un momento dado el sistema, que está en un modo concreto, puede ser cambiado a otro modo distinto como resultado de alguna condicion impuesta previamente. Los mecanismos de cambio de modo (o protocolos de cambio de modo) son usados para mover el sistema de un modo a otro durante el tiempo de ejecución. En este trabajo se ha usado un modelo de sistema operativo para implementar un sistema multimodo llamado MMHSF, siglas en inglés correspondientes a (Multi-Mode Hierarchical Scheduling Framework). Este sistema está basado en el HSF (Hierarchical Scheduling Framework), un modelo de sistema operativo con jerarquía de dos niveles, implementado en un sistema operativo en tiempo real de libre distribución llamado FreeRTOS, capaz de permitir el aislamiento temporal entre componentes. La principal contribución de este trabajo es la ampliación del HSF convirtiendolo en un sistema multimodo realizando los cambios mínimos necesarios sobre el sistema operativo FreeRTOS y la implementación ya existente del HSF. Esta implementación usa un sistema de planificación de prioridad fija para ambos niveles de jerarquía, ocupando el tiempo entre tareas con un “modo reposo”. Además el sistema es capaz de cambiar de un modo a otro en tiempo de ejecución. Cada subsistema y tarea son capaces de tener distintos atributos de tiempo (prioridad, periodo y tiempo de ejecución) en función del modo. Bajo una demanda de cambio de modo (Mode Change Request MCR) se puede variar el set de tareas en ejecución, así como los atributos de los servidores y las tareas. Un protocolo de cambio de modo espeficica precisamente cómo será cambiado el sistema de un modo a otro. Sin embargo una aplicación puede requerir no solo un cambio de modo, sino que lo haga de una forma especifica. Por ejemplo, el cambio de modo de “normal” a “apagado” puede permitir a las tareas en ejecución ser finalizadas antes de que se complete la transición, pero sin embargo el cambio de “normal” a “emergencia” puede requerir abortar todas las tareas instantaneamente. En este trabajo ambas características, tanto el modo como el protocolo de cambio, pueden ser cambiadas en tiempo de ejecución, pero deben ser previamente definidas por el desarrollador. Han sido definidos tres protocolos de cambios: el protocolo “suspender/continuar”, protocolo “abortar” y el protocolo “completar”. Estos protocolos incrementan la flexibilidad del sistema, permitiendo al usuario seleccionar de que forma quieren cambiar hacia el nuevo modo. La implementación del MMHSF ha sido testada y evaluada en una placa AVR EVK1100, con un micro-controlador AVR32UC3A0. Se ha comprobado el comportamiento de los distintos modos para los distintos protocolos, definidos previamente. Como resultado se proporcionan las medidades de rendimiento de los distintos protocolos de cambio de modo.

MAIA: an event-based modular architecture for intelligent agents

Online services are no longer isolated. The release of public APIs and technologies such as web hooks are allowing users and developers to access their information easily. Intelligent agents could use this information to provide a better user experience across services, connecting services with smart automatic. behaviours or actions. However, agent platforms are not prepared to easily add external sources such as web services, which hinders the usage of agents in the so-called Evented or Live Web. As a solution, this paper introduces an event-based architecture for agent systems, in accordance with the new tendencies in web programming. In particular, it is focused on personal agents that interact with several web services. With this architecture, called MAIA, connecting to new web services does not involve any modification in the platform.

Simulación eficiente de mecanismos flexibles mediante formulaciones topológicas

El objetivo de esta Tesis es presentar un método eficiente para la evaluación de sistemas multi-cuerpo con elementos flexibles con pequeñas deformaciones, basado en métodos topológicos para la simulación de sistemas tan complejos como los que se utilizan en la práctica y en tiempo real o próximo al real. Se ha puesto un especial énfasis en la resolución eficiente de aquellos aspectos que conllevan mayor coste computacional, tales como la evaluación de las ecuaciones dinámicas y el cálculo de los términos de inercia. Las ecuaciones dinámicas se establecen en función de las variables independientes del sistema, y la integración de las mismas se realiza mediante formulaciones implícitas de index-3. Esta Tesis se articula en seis Capítulos. En el Capítulo 1 se realiza una revisión bibliográfica de la simulación de sistemas flexibles y los métodos más relevantes de integración de las ecuaciones diferenciales del movimiento. Asimismo, se presentan los objetivos de esta Tesis. En el Capítulo 2 se presenta un método semi-recursivo para la evaluación de las ecuaciones de los sistemas multi-cuerpo con elementos flexibles basado en formulaciones topológicas y síntesis modal. Esta Tesis determina la posición de cada punto del cuerpo flexible en función de un sistema de referencia flotante que se mueve con dicho cuerpo y de las amplitudes de ciertos modos de deformación calculados a partir de un mallado obtenido mediante el Método de Elementos Finitos. Se presta especial atención en las condiciones de contorno que se han de tener en cuenta a la hora de establecer las variables que definen la deformación del cuerpo flexible. El Capítulo 3 se centra en la evaluación de los términos de inercia de los sistemas flexibles que generalmente conllevan un alto coste computacional. Se presenta un método que permite el cálculo de dichos términos basado en el uso de 24 matrices constantes que pueden ser calculadas previamente al proceso de integración. Estas matrices permiten evaluar la matriz de masas y el vector de fuerzas de inercia dependientes de la velocidad sin que sea necesario evaluar la posición deformada de todos los puntos del cuerpo flexible. Se realiza un análisis pormenorizado de dichas matrices con el objetivo de optimizar su cálculo estableciendo aproximaciones que permitan reducir el número de dichos términos y optimizar aún más su evaluación. Se analizan dos posibles simplificaciones: la primera utiliza una discretización no-consistente basada en elementos finitos en los que se definen únicamente los desplazamientos axiales de los nodos; en la segunda propuesta se hace uso de una matriz de masas concentradas (Lumped Mass). Basándose en la formulación presentada, el Capítulo 4 aborda la integración eficiente de las ecuaciones dinámicas. Se presenta un método iterativo para la integración con fórmulas de index-3 basado en la proyección de las ecuaciones dinámicas según las variables independientes del sistema multi-cuerpo. El cálculo del residuo del sistema de ecuaciones no lineales que se ha de resolver de modo iterativo se realiza mediante un proceso recursivo muy eficiente que aprovecha la estructura topológica del sistema. Se analizan tres formas de evaluar la matriz tangente del citado sistema no lineal: evaluación aproximada, numérica y recursiva. El método de integración presentado permite el uso de distintas fórmulas. En esta Tesis se analizan la Regla Trapezoidal, la fórmula BDF de segundo orden y un método híbrido TR-BDF2. Para este último caso se presenta un algoritmo de paso variable. En el Capítulo 5 plantea la implementación del método propuesto en un programa general de simulación de mecanismos que permita la resolución de cualquier sistema multi-cuerpo definiéndolo mediante un fichero de datos. La implementación de este programa se ha realizado tanto en C++ como en Java. Se muestran los resultados de las formulaciones presentadas en esta Tesis mediante la simulación de cuatro ejemplos de distinta complejidad. Mediante análisis concretos se comparan la formulación presentada con otras existentes. También se analiza el efecto del lenguaje de programación utilizado en la implementación y los efectos de las posibles simplificaciones planteadas. Por último, el Capítulo 6 resume las principales conclusiones alcanzadas en la Tesis y las futuras líneas de investigación que con ella se abren. ABSTRACT This Thesis presents an efficient method for solving the forward dynamics of a multi-body sys-tem formed by rigid and flexible bodies with small strains for real-time simulation of real-life models. It is based on topological formulations. The presented work focuses on the efficient solution of the most time-consuming tasks of the simulation process, such as the numerical integration of the motion differential equations and in particular the evaluation of the inertia terms corresponding to the flexible bodies. The dynamic equations are formulated in terms of independent variables of the muti-body system, and they are integrated by means of implicit index-3 formulae. The Thesis is arranged in six chapters. Chapter 1 presents a review of the most relevant and recent contributions related to the modelization of flexible multi-body systems and the integration of the corresponding dynamic equations. The main objectives of the Thesis are also presented in detail. Chapter 2 presents a semi-recursive method for solving the equations of a multi-body system with flexible bodies based on topological formulations and modal synthesis. This Thesis uses the floating frame approach and the modal amplitudes to define the position of any point at the flexible body. These modal deformed shapes are obtained by means of the Finite Element Method. Particular attention has been taken to the boundary conditions used to define the deformation of the flexible bodies. Chapter 3 focuses on the evaluation of the inertia terms, which is usually a very time-consuming task. A new method based on the use of 24 constant matrices is presented. These matrices are evaluated during the set-up step, before the integration process. They allow the calculation of the inertia terms in terms of the position and orientation of the local coordinate system and the deformation variables, and there is no need to evaluate the position and velocities of all the nodes of the FEM mesh. A deep analysis of the inertia terms is performed in order to optimize the evaluation process, reducing both the terms used and the number of arithmetic operations. Two possible simplifications are presented: the first one uses a non-consistent approach in order to define the inertia terms respect to the Cartesian coordinates of the FEM mesh, rejecting those corresponding to the angular rotations; the second approach makes use of lumped mass matrices. Based on the previously presented formulation, Chapter 4 is focused on the numerical integration of the motion differential equations. A new predictor-corrector method based on index-3 formulae and on the use of multi-body independent variables is presented. The evaluation of the dynamic equations in a new time step needs the solution of a set on nonlinear equations by a Newton-Raphson iterative process. The computation of the corresponding residual vector is performed efficiently by taking advantage of the system’s topological structure. Three methods to compute the tangent matrix are presented: an approximated evaluation that considers only the most relevant terms, a numerical approach based on finite differences and a recursive method that uses the topological structure. The method presented for integrating the dynamic equations can use a variety of integration formulae. This Thesis analyses the use of the trapezoidal rule, the 2nd order BDF formula and the hybrid TR-BDF2 method. A variable-time step strategy is presented for the last one. Chapter 5 describes the implementation of the proposed method in a general purpose pro-gram for solving any multibody defined by a data file. This program is implemented both in C++ and Java. Four examples are used to check the validity of the formulation and to compare this method with other methods commonly used to solve the dynamic equations of multi-body systems containing flexible bodies. The efficiency of the programming methodology used and the effect of the possible simplifications proposed are also analyzed. Chapter 6 summarizes the main Conclusions obtained in this Thesis and the new lines of research that have been opened.

Contribución a las arquitecturas flexibles para la multiconferencia web adaptable a la demanda

Los sistemas de videoconferencia y colaboración en tiempo real para múltiples usuarios permiten a sus usuarios comunicarse por medio de vídeo, audio y datos. Históricamente estos han sido sistemas caros de obtener y de mantener. El paso de las décadas ha limado estos problemas acercado el mundo de comunicación en tiempo real a un grupo mucho más amplio, llegando a usarse en diversos ámbitos como la educación o la medicina. En este sentido, el último gran salto evolutivo al que hemos asistido ha sido la transición de este tipo de aplicaciones hacia la Web. Varias tecnologías han permitido este viaje hacia el navegador. Las Aplicaciones Ricas de Internet (RIAs), que permiten crear aplicaciones Web interactivas huyendo del clásico esquema de petición y respuesta y llevando funcionalidades propias de las aplicaciones nativas a la Web. Por otro lado, la computación en la nube o Cloud Computing, con su modelo de pago por uso de recursos virtualizados, ha llevado a la creación de servicios que se adaptan mejor a la demanda, han habilitado este viaje hacia el navegador. No obstante, como cada cambio, este salto presenta una serie de retos para los sistemas de videoconferencia establecidos. Esta tesis doctoral propone un conjunto de arquitecturas, mecanismos y algoritmos para adaptar los sistemas de multiconferencia al entorno Web, teniendo en cuenta que este es accedido desde dispositivos diferentes y mediante redes de acceso variadas. Para ello se comienza por el estudio de los requisitos que debe cumplir un sistema de videoconferencia en la Web. Como resultado se diseña, implementa y desarrolla un servicio de videoconferencia que permite la colaboración avanzada entre múltiples usuarios mediante vídeo, audio y compartición de escritorio. Posteriormente, se plantea un sistema de comunicación entre una aplicación nativa y Web, proponiendo técnicas de adaptación entre los dos entornos que permiten la conversación de manera transparente para los usuarios. Estos sistemas permiten facilitar la transición hacia tecnologías Web. Como siguiente paso, se identificaron los principales problemas que existen para la comunicación multiusuario en dispositivos de tamaño reducido (teléfonos inteligentes) utilizando redes de acceso heterogéneas. Se propone un mecanismo, combinación de transcodificación y algoritmos de adaptación de calidad para superar estas limitaciones y permitir a los usuarios de este tipo de dispositivos participar en igualdad de condiciones. La aparición de WebRTC como tecnología disruptiva en este entorno, permitiendo nuevas posibilidades de comunicación en navegadores, motiva la segunda iteración de esta tesis. Aquí se presenta un nuevo esquema de adaptación a la demanda para servidores de videoconferencia diseñado para las necesidades del entorno Web y para aprovechar las características de Cloud Computing. Finalmente, esta tesis repasa las conclusiones obtenidas como fruto del trabajo llevado a cabo, reflejando la evolución de la videoconferencia Web desde sus inicios hasta nuestros días. ABSTRACT Multiuser Videoconferencing and real-time collaboration systems allow users to communicate using video, audio and data streams. These systems have been historically expensive to obtain and maintain. Over the last few decades, technological breakthroughs have mitigated those costs and popularized real time video communication, allowing its use in environments such as education or health. The last big evolutionary leap forward has been the transition of these types of applications towards theWeb. Several technologies have allowed this journey to theWeb browser. Firstly, Rich Internet Applications (RIAs) enable the creation of dynamic Web pages that defy the classical request-response interaction and provide an experience similar to their native counterparts. On the other hand, Cloud Computing brings the leasing of virtualized hardware resources in a pay-peruse model and, with it, better scalability in resource-demanding services. However, as with every change, this evolution imposes a set of challenges on existing videoconferencing solutions. This dissertation proposes a set of architectures, mechanisms and algorithms that aim to adapt multi-conferencing systems to the Web platform, taking into account the variety of devices and access networks that come with it. To this end, this thesis starts with a study concerning the requirements that must be met by new Web videoconferencing systems. The result of this study is the design, development and implementation of a new videoconferencing services that provides advanced collaboration to its user by providing video and audio communication as well as desktop sharing. After this, a new communication system between Web and native applications is presented. This system proposes adaptation mechanisms to bridge the two worlds providing a seamless integration transparent to users who can now access the powerful native application via an easy Web interface. The next step is to identify the main challenges posed by multi-conferencing on small devices (smartphones) with heterogeneous access networks. This dissertation proposes a mechanism that combines transcoding and adaptive quality algorithms to overcome those limitations. A second iteration in this dissertation is motivated by WebRTC. WebRTC appears as a disrupting technology by enabling new real-time communication possibilities in browsers. A new mechanism for flexible videoconferencing server scalability is presented. This mechanism aims to address the strong scalability requirements in the Web environment by taking advantage of Cloud Computing. Finally, the dissertation discusses the results obtained throughout the study, capturing the evolution of Web videoconferencing systems.