Simulación de sistemas Multi-Agente mediante un esquema Monte Carlo basado en ecuaciones diferenciales ordinarias

[ES] En este trabajo se expone una metodología para modelar un sistema Multi-Agente (SMA), para que sea equivalente a un sistema de Ecuaciones Diferenciales Ordinarias (EDO), mediante un esquema basado en el método de Monte Carlo. Se muestra que el SMA puede describir con mayor riqueza modelos de sistemas dinámicos con variables cuantificadas discretas. Estos sistemas son muy acordes con los sistemas biológicos y fisiológicos, como el modelado de poblaciones o el modelado de enfermedades epidemiológicas, que en su mayoría se modelan con ecuaciones diferenciales. Los autores piensan que las ecuaciones diferenciales no son lo suficientemente apropiadas para modelar este tipo de problemas y proponen que se modelen con una técnica basada en agentes. Se plantea un caso basado en un modelo matemático de Leucemia Mieloide Crónica (LMC) que se transforma en un SMA equivalente. Se realiza una simulación de los dos modelos (SMA y EDO) y se compara los resultados obtenidos.

Aprendizado por Reforço com Valores deInfluência em Sistemas Multi-Agente

We propose a new paradigm for collective learning in multi-agent systems (MAS) as a solution to the problem in which several agents acting over the same environment must learn how to perform tasks, simultaneously, based on feedbacks given by each one of the other agents. We introduce the proposed paradigm in the form of a reinforcement learning algorithm, nominating it as reinforcement learning with influence values. While learning by rewards, each agent evaluates the relation between the current state and/or action executed at this state (actual believe) together with the reward obtained after all agents that are interacting perform their actions. The reward is a result of the interference of others. The agent considers the opinions of all its colleagues in order to attempt to change the values of its states and/or actions. The idea is that the system, as a whole, must reach an equilibrium, where all agents get satisfied with the obtained results. This means that the values of the state/actions pairs match the reward obtained by each agent. This dynamical way of setting the values for states and/or actions makes this new reinforcement learning paradigm the first to include, naturally, the fact that the presence of other agents in the environment turns it a dynamical model. As a direct result, we implicitly include the internal state, the actions and the rewards obtained by all the other agents in the internal state of each agent. This makes our proposal the first complete solution to the conceptual problem that rises when applying reinforcement learning in multi-agent systems, which is caused by the difference existent between the environment and agent models. With basis on the proposed model, we create the IVQ-learning algorithm that is exhaustive tested in repetitive games with two, three and four agents and in stochastic games that need cooperation and in games that need collaboration. This algorithm shows to be a good option for obtaining solutions that guarantee convergence to the Nash optimum equilibrium in cooperative problems. Experiments performed clear shows that the proposed paradigm is theoretical and experimentally superior to the traditional approaches. Yet, with the creation of this new paradigm the set of reinforcement learning applications in MAS grows up. That is, besides the possibility of applying the algorithm in traditional learning problems in MAS, as for example coordination of tasks in multi-robot systems, it is possible to apply reinforcement learning in problems that are essentially collaborative

Arquitectura de un sistema multi-agente para el soporte de la anotación funcional

Predecir la función biológica de secuencias de Ácido Desoxirribonucleico (ADN) es unos de los mayores desafíos a los que se enfrenta la Bioinformática. Esta tarea se denomina anotación funcional y es un proceso complejo, laborioso y que requiere mucho tiempo. Dado su impacto en investigaciones y anotaciones futuras, la anotación debe ser lo más able y precisa posible. Idealmente, las secuencias deberían ser estudiadas y anotadas manualmente por un experto, garantizando así resultados precisos y de calidad. Sin embargo, la anotación manual solo es factible para pequeños conjuntos de datos o genomas de referencia. Con la llegada de las nuevas tecnologías de secuenciación, el volumen de datos ha crecido signi cativamente, haciendo aún más crítica la necesidad de implementaciones automáticas del proceso. Por su parte, la anotación automática es capaz de manejar grandes cantidades de datos y producir un análisis consistente. Otra ventaja de esta aproximación es su rapidez y bajo coste en relación a la manual. Sin embargo, sus resultados son menos precisos que los manuales y, en general, deben ser revisados ( curados ) por un experto. Aunque los procesos colaborativos de la anotación en comunidad pueden ser utilizados para reducir este cuello de botella, los esfuerzos en esta línea no han tenido hasta ahora el éxito esperado. Además, el problema de la anotación, como muchos otros en el dominio de la Bioinformática, abarca información heterogénea, distribuida y en constante evolución. Una posible aproximación para superar estos problemas consiste en cambiar el foco del proceso de los expertos individuales a su comunidad, y diseñar las herramientas de manera que faciliten la gestión del conocimiento y los recursos. Este trabajo adopta esta línea y propone MASSA (Multi-Agent System to Support functional Annotation), una arquitectura de Sistema Multi-Agente (SMA) para Soportar la Anotación funcional...

Seguimento de pessoas em sistemas multi-câmara

Trabalho Final de Mestrado para obtenção do grau de Mestre em Engenharia de Redes de Comunicação e Multimédia

A formalization for multi-agent decision support in cooperative environments. A framework for situated agents

La tesis propone un marco de trabajo para el soporte de la toma de decisiones adecuado para soportar la ejecución distribuida de acciones cooperativas en entornos multi-agente dinámicos y complejos. Soporte para la toma de decisiones es un proceso que intenta mejorar la ejecución de la toma de decisiones en escenarios cooperativos. Este proceso ocurre continuamente en la vida diaria. Los humanos, por ejemplo, deben tomar decisiones acerca de que ropa usar, que comida comer, etc. En este sentido, un agente es definido como cualquier cosa que está situada en un entorno y que actúa, basado en su observación, su interpretación y su conocimiento acerca de su situación en tal entorno para lograr una acción en particular.Por lo tanto, para tomar decisiones, los agentes deben considerar el conocimiento que les permita ser consientes en que acciones pueden o no ejecutar. Aquí, tal proceso toma en cuenta tres parámetros de información con la intención de personificar a un agente en un entorno típicamente físico. Así, el mencionado conjunto de información es conocido como ejes de decisión, los cuales deben ser tomados por los agentes para decidir si pueden ejecutar correctamente una tarea propuesta por otro agente o humano. Los agentes, por lo tanto, pueden hacer mejores decisiones considerando y representando apropiadamente tal información. Los ejes de decisión, principalmente basados en: las condiciones ambientales, el conocimiento físico y el valor de confianza del agente, provee a los sistemas multi-agente un confiable razonamiento para alcanzar un factible y exitoso rendimiento cooperativo.Actualmente, muchos investigadores tienden a generar nuevos avances en la tecnología agente para incrementar la inteligencia, autonomía, comunicación y auto-adaptación en escenarios agentes típicamente abierto y distribuidos. En este sentido, esta investigación intenta contribuir en el desarrollo de un nuevo método que impacte tanto en las decisiones individuales como colectivas de los sistemas multi-agente. Por lo tanto, el marco de trabajo propuesto ha sido utilizado para implementar las acciones concretas involucradas en el campo de pruebas del fútbol robótico. Este campo emula los juegos de fútbol real, donde los agentes deben coordinarse, interactuar y cooperar entre ellos para solucionar tareas complejas dentro de un escenario dinámicamente cambiante y competitivo, tanto para manejar el diseño de los requerimientos involucrados en las tareas como para demostrar su efectividad en trabajos colectivos. Es así que los resultados obtenidos tanto en el simulador como en el campo real de experimentación, muestran que el marco de trabajo para el soporte de decisiones propuesto para agentes situados es capaz de mejorar la interacción y la comunicación, reflejando en un adecuad y confiable trabajo en equipo dentro de entornos impredecibles, dinámicos y competitivos. Además, los experimentos y resultados también muestran que la información seleccionada para generar los ejes de decisión para situar a los agentes, es útil cuando tales agentes deben ejecutar una acción o hacer un compromiso en cada momento con la intención de cumplir exitosamente un objetivo colectivo. Finalmente, algunas conclusiones enfatizando las ventajas y utilidades del trabajo propuesto en la mejora del rendimiento colectivo de los sistemas multi-agente en situaciones tales como tareas coordinadas y asignación de tareas son presentadas.

Estratégias pedagógicas para um Ambiente Multi-agente Probabilístico Inteligente de Aprendizagem - AMPLIA

Este trabalho pretende avaliar se é possível elaborar estratégias pedagógicas com base em modelos de níveis de tomada de consciência e utilizá-las, por meio de agentes inteligentes, em um ambiente de aprendizagem. O ambiente utilizado foi o AMPLIA - Ambiente Multi-agente Probabilístico Inteligente de Aprendizagem, desenvolvido inicialmente como um recurso auxiliar para a educação médica: neste ambiente, o aluno constrói uma representação gráfica de sua hipótese diagnóstica, por meio de uma rede bayesiana. O AMPLIA é formado por três agentes inteligentes, o primeiro é o Agente de Domínio, responsável pela avaliação da rede bayesiana do aluno. Os projetos dos outros dois agentes inteligentes do AMPLIA são apresentados nesta tese: o Agente Aprendiz, que faz inferências probabilísticas sobre as ações do aluno, a fim de construir um modelo do aluno baseado em seu nível de tomada de consciência, e o Agente Mediador, que utiliza um Diagrama de influência, para selecionar a estratégia pedagógica com maior probabilidade de utilidade. Por meio de uma revisão dos estudos de Piaget sobre a equilibração das estruturas cognitivas e sobre a tomada de consciência, foi construída a base teórica para a definição e organização das estratégias. Essas foram organizadas em classes, de acordo com o principal problema detectado na rede do aluno e com a confiança declarada pelo aluno, e em táticas, de acordo com o nível de autonomia, inferido pelo Agente Aprendiz. Foram realizados experimentos práticos acompanhados por instrumentos de avaliação e por observações virtuais on line, com o objetivo de detectar variações nos estados de confiança, de autonomia e de competência. Também foram pesquisados indícios de estados de desequilibração e de condutas de regulação e equilibração durante os ciclos de interação do aluno com o AMPLIA. Os resultados obtidos permitiram concluir que há evidências de que, ao longo do processo, há ciclos em que o aluno realiza ações sem uma tomada de consciência. Estes estados são identificados, probabilisticamente, pelo agente inteligente, que então seleciona uma estratégia mais voltada para um feedback negativo, isto é, uma correção. Quando o agente infere uma mudança neste estado, seleciona outra estratégia, com um feedback positivo e com maior utilidade para dar início a um processo de negociação pedagógica, isto é, uma tentativa de maximizar a confiança do aluno em si mesmo e no AMPLIA, assim como maximizar a confiança do AMPLIA no aluno. Os trabalhos futuros apontam para a ampliação do modelo do aluno, por meio da incorporação de um maior número de variáveis, e para a necessidade de aprofundamento dos estudos sobre a declaração de confiança, do ponto de vista psicológico. As principais contribuições relatadas são na definição e construção de um modelo de aluno, com utilização de redes bayesianas, no projeto de um agente pedagógico como mediador num processo de negociação pedagógica, e na definição e seleção de estratégias pedagógicas para o AMPLIA.

Simulação multi agente em mercados financeiros artificiais utilizando algoritmos genéticos

Com o objetivo de estabelecer uma metodologia capaz segregar momentos de mercado e de identificar as características predominantes dos investidores atuantes em um determinado mercado financeiro, este trabalho emprega simulações geradas em um Mercado Financeiro Artificial baseado em agentes, utilizando um Algoritmo Genético para ajustar tais simulações ao histórico real observado. Para tanto, uma aplicação foi desenvolvida utilizando-se o mercado de contratos futuros de índice Bovespa. Esta metodologia poderia facilmente ser estendida a outros mercados financeiros através da simples parametrização do modelo. Sobre as bases estabelecidas por Toriumi et al. (2011), contribuições significativas foram atingidas, promovendo acréscimo de conhecimento acerca tanto do mercado alvo escolhido, como das técnicas de modelagem em Mercados Financeiros Artificiais e também da aplicação de Algoritmos Genéticos a mercados financeiros, resultando em experimentos e análises que sugerem a eficácia do método ora proposto.

Aplicação de sistemas multi-classificadores no diagnóstico de falhas em motores de indução trifásicos

Equipment maintenance is the major cost factor in industrial plants, it is very important the development of fault predict techniques. Three-phase induction motors are key electrical equipments used in industrial applications mainly because presents low cost and large robustness, however, it isn t protected from other fault types such as shorted winding and broken bars. Several acquisition ways, processing and signal analysis are applied to improve its diagnosis. More efficient techniques use current sensors and its signature analysis. In this dissertation, starting of these sensors, it is to make signal analysis through Park s vector that provides a good visualization capability. Faults data acquisition is an arduous task; in this way, it is developed a methodology for data base construction. Park s transformer is applied into stationary reference for machine modeling of the machine s differential equations solution. Faults detection needs a detailed analysis of variables and its influences that becomes the diagnosis more complex. The tasks of pattern recognition allow that systems are automatically generated, based in patterns and data concepts, in the majority cases undetectable for specialists, helping decision tasks. Classifiers algorithms with diverse learning paradigms: k-Neighborhood, Neural Networks, Decision Trees and Naïves Bayes are used to patterns recognition of machines faults. Multi-classifier systems are used to improve classification errors. It inspected the algorithms homogeneous: Bagging and Boosting and heterogeneous: Vote, Stacking and Stacking C. Results present the effectiveness of constructed model to faults modeling, such as the possibility of using multi-classifiers algorithm on faults classification

Utilizando Pesos estáticos e dinâmicos em sistemas multi-classificadores com diferentes níveis de diversidade

Although some individual techniques of supervised Machine Learning (ML), also known as classifiers, or algorithms of classification, to supply solutions that, most of the time, are considered efficient, have experimental results gotten with the use of large sets of pattern and/or that they have a expressive amount of irrelevant data or incomplete characteristic, that show a decrease in the efficiency of the precision of these techniques. In other words, such techniques can t do an recognition of patterns of an efficient form in complex problems. With the intention to get better performance and efficiency of these ML techniques, were thought about the idea to using some types of LM algorithms work jointly, thus origin to the term Multi-Classifier System (MCS). The MCS s presents, as component, different of LM algorithms, called of base classifiers, and realized a combination of results gotten for these algorithms to reach the final result. So that the MCS has a better performance that the base classifiers, the results gotten for each base classifier must present an certain diversity, in other words, a difference between the results gotten for each classifier that compose the system. It can be said that it does not make signification to have MCS s whose base classifiers have identical answers to the sames patterns. Although the MCS s present better results that the individually systems, has always the search to improve the results gotten for this type of system. Aim at this improvement and a better consistency in the results, as well as a larger diversity of the classifiers of a MCS, comes being recently searched methodologies that present as characteristic the use of weights, or confidence values. These weights can describe the importance that certain classifier supplied when associating with each pattern to a determined class. These weights still are used, in associate with the exits of the classifiers, during the process of recognition (use) of the MCS s. Exist different ways of calculating these weights and can be divided in two categories: the static weights and the dynamic weights. The first category of weights is characterizes for not having the modification of its values during the classification process, different it occurs with the second category, where the values suffers modifications during the classification process. In this work an analysis will be made to verify if the use of the weights, statics as much as dynamics, they can increase the perfomance of the MCS s in comparison with the individually systems. Moreover, will be made an analysis in the diversity gotten for the MCS s, for this mode verify if it has some relation between the use of the weights in the MCS s with different levels of diversity

Contribuciones al proceso de súper-resolución mediante técnicas de filtros selectivos, topología de macro-bloques adaptable y sistemas multi-cámara

Programa de doctorado: Ingeniería de Telecomunicación Avanzada