Detección automática de presencia/ausencia de atún en imágenes obtenidas mediante sonar de largo alcance a bordo de buques pesqueros y aplicación de Optical Character Recognition (OCR) para la extracción de parámetros

En esta tesis de máster se presenta una metodología para el análisis automatizado de las señales del sonar de largo alcance y una aplicación basada en la técnica de reconocimiento óptico de Optical Character Recognition, caracteres (OCR). La primera contribución consiste en el análisis de imágenes de sonar mediante técnicas de procesamiento de imágenes. En este proceso, para cada imagen de sonar se extraen y se analizan las regiones medibles, obteniendo para cada región un conjunto de características. Con la ayuda de los expertos, cada región es identi cada en una clase (atún o no-atún). De este modo, mediante el aprendizaje supervisado se genera la base de datos y, a su vez, se obtiene un modelo de clasi cación. La segunda contribución es una aplicación OCR que reconoce y extrae de las capturas de pantalla de imágenes de sonar, los caracteres alfanuméricos correspondientes a los parámetros de situación (velocidad, rumbo, localización GPS) y la confi guración de sonar (ganancias, inclinación, ancho del haz). El objetivo de este proceso es el de maximizar la e ficiencia en la detección de atún en el Golfo de Vizcaya y dar el primer paso hacia el desarrollo de un índice de abundancia de esta especie, el cual esté basado en el procesamiento automático de las imágenes de sonar grabadas a bordo de la ota pesquera durante su actividad pesquera rutinaria.

Learning Multirobot Hose Transportation and Deployment by Distributed Round-Robin Q-Learning

Multi-Agent Reinforcement Learning (MARL) algorithms face two main difficulties: the curse of dimensionality, and environment non-stationarity due to the independent learning processes carried out by the agents concurrently. In this paper we formalize and prove the convergence of a Distributed Round Robin Q-learning (D-RR-QL) algorithm for cooperative systems. The computational complexity of this algorithm increases linearly with the number of agents. Moreover, it eliminates environment non sta tionarity by carrying a round-robin scheduling of the action selection and execution. That this learning scheme allows the implementation of Modular State-Action Vetoes (MSAV) in cooperative multi-agent systems, which speeds up learning convergence in over-constrained systems by vetoing state-action pairs which lead to undesired termination states (UTS) in the relevant state-action subspace. Each agent's local state-action value function learning is an independent process, including the MSAV policies. Coordination of locally optimal policies to obtain the global optimal joint policy is achieved by a greedy selection procedure using message passing. We show that D-RR-QL improves over state-of-the-art approaches, such as Distributed Q-Learning, Team Q-Learning and Coordinated Reinforcement Learning in a paradigmatic Linked Multi-Component Robotic System (L-MCRS) control problem: the hose transportation task. L-MCRS are over-constrained systems with many UTS induced by the interaction of the passive linking element and the active mobile robots.