Agentes transaccionais

A crescente complexidade dos sistemas computacionais leva a que seja necessário equacionar novas formas de resolução para os mais variados tipos de problemas. Uma vertente particularmente interessante, que tem sido investigada, é a implementação de sistemas inspirados em características biológicas. Os Agentes são entidades autónomas de software que se relacionam de forma social com vista ao cumprimento dos seus objectivos próprios e do sistema como um todo. Apesar das vantagens existentes na utilização destes sistemas, em termos de utilização comercial são poucas as implementações conhecidas. Na sua maioria, estes sistemas são utilizados com fins de investigação e académicos. Este trabalho tem por objectivo o estudo e desenvolvimento de uma solução que permita aproximar este sistema das necessidades reais existentes em sistemas reais, no contexto da interacção transaccional suportada por mecanismos transaccionais comuns. O trabalho apresenta três vertentes principais: (i) estudo das abordagens existentes para a resolução de interacções em âmbito transaccional; (ii) estudo e concepção de uma solução adaptada à utilização em ambientes transaccionais reais; (iii) concepção e implementação de um protótipo demonstrativo da abordagem proposta.

Simulador multi-agente para o mercado eléctrico

Esta dissertação, apresenta um simulador multi-agente para o mercado eléctrico. Neste simulador agentes heterogéneos, racionalmente limitados e com capacidade de aprendizagem, co-evoluem dinamicamente. O modelo de mercado apresentado é inspirado no mercado diário do MIBEL. É um modelo Pool, gerido por uma entidade operadora de mercado, onde compradores e vendedores podem licitar energia. No lado vendedor, empresas produtoras licitam a energia das suas unidades produtoras em pares quantidadepre ço. Por outro lado, uma vez que o cenário simulado é um mercado de venda, o comprador apresenta uma procura xa, i.e., submete apenas quantidades de energia. Todas as entidades do mercado eléctrico são vistas no sistema multi-agente, modelado através da plataforma INGENIAS, como agentes autónomos. Pelos resultados obtidos nas experiências feitas, confere-se que o simulador é uma ferramenta de apoio à tomada de decisão, pois ajuda a compreender o comportamento emergente do mercado e avalia o impacto das acções escolhidas, manualmente, pelo utilizador ou, automaticamente, atrav és da aprendizagem por reforço. A aprendizagem por reforço visa facilitar a tomada de decisão humana na venda de energia, licitando a energia das unidades produtoras de forma a maximizar os lucros.

Estratégias para negociação de contratos bilaterais em mercados multi-agente de energia eléctrica

A energia eléctrica é um bem essencial para a maioria das sociedades. O seu fornecimento tem sido encarado como um serviço público, da responsabilidade dos governos, através de empresas monopolistas, públicas e privadas. O Mercado Ibérico de Electricidade (MIBEL) surge com o objectivo da integração e cooperação do sector eléctrico Português e Espanhol, no qual é possível negociar preços e volumes de energia. Actualmente, as entidades podem negociar através de um mercado bolsista ou num mercado de contratos bilaterais. Uma análise dos mercados de electricidade existentes mostra que estes estão longe de estarem liberalizados. As tarifas não reflectem o efeito da competitividade. Além disso, o recurso a contratos bilaterais limita frequentemente os clientes a um único fornecedor de energia eléctrica. Nos últimos anos, têm surgido uma série de ferramentas computacionais que permitem simular, parte ou a totalidade, dos mercados de electricidade. Contudo, apesar das suas potencialidades, muitos simuladores carecem de flexibilidade e generalidade. Nesta perspectiva, esta dissertação tem como principal objectivo o desenvolvimento de um simulador de mercados de energia eléctrica que possibilite lidar com as dificuldades inerentes a este novo modelo de mercado, recorrendo a agentes computacionais autónomos. A dissertação descreve o desenho e a implementação de um simulador simplificado para negociação de contratos bilaterais em mercados de energia, com particular incidência para o desenho das estratégias a utilizar pelas partes negociais. Além disso, efectua-se a descrição de um caso prático, com dados do MIBEL. Descrevem-se também várias simulações computacionais, envolvendo retalhistas e consumidores de energia eléctrica, que utilizam diferentes estratégias negociais. Efectua-se a análise detalhada dos resultados obtidos. De forma sucinta, os resultados permitem concluir que as melhores estratégias para cada entidade, no caso prático estudado, são: a estratégia de concessões fixas, para o retalhista, e a estratégia de concessões baseada no volume de energia, para o consumidor.

Contratos bilaterais em mercados multi-agente de energia eléctrica: protocolo de ofertas alternadas

A liberalização do sector eléctrico, e a consequente criação de mercados de energia eléctrica regulados e liberalizados, mudou a forma de comercialização da electricidade. Em particular, permitiu a entrada de empresas nas actividades de produção e comercialização, aumentando a competitividade e assegurando a liberdade de escolha dos consumidores, para decidir o fornecedor de electricidade que pretenderem. A competitividade no sector eléctrico aumentou a necessidade das empresas que o integram a proporem preços mais aliciantes (do que os preços propostos pelos concorrentes), e contribuiu para o desenvolvimento de estratégias de mercado que atraiam mais clientes e aumentem a eficiência energética e económica. A comercialização de electricidade pode ser realizada em mercados organizados ou através de contratação directa entre comercializadores e consumidores, utilizando os contratos bilaterais físicos. Estes contratos permitem a negociação dos preços de electricidade entre os comercializadores e os consumidores. Actualmente, existem várias ferramentas computacionais para fazer a simulação de mercados de energia eléctrica. Os simuladores existentes permitem simulações de transacções em bolsas de energia, negociação de preços através de contratos bilaterais, e análises técnicas a redes de energia. No entanto, devido à complexidade dos sistemas eléctricos, esses simuladores apresentam algumas limitações. Esta dissertação apresenta um simulador de contratos bilaterais em mercados de energia eléctrica, sendo dando ênfase a um protocolo de ofertas alternadas, desenvolvido através da tecnologia multi-agente. Em termos sucintos, um protocolo de ofertas alternadas é um protocolo de interacção que define as regras da negociação entre um agente vendedor (por exemplo um retalhista) e um agente comprador (por exemplo um consumidor final). Aplicou-se o simulador na resolução de um caso prático, baseado em dados reais. Os resultados obtidos permitem concluir que o simulador, apesar de simplificado, pode ser uma ferramenta importante na ajuda à tomada de decisões inerentes à negociação de contratos bilaterais em mercados de electricidade.

Estratégias de comercialização de energia para negociação bilateral em mercados de energia eléctrica multi-agente

As recentes e crescentes modificações no sector eléctrico, tanto nacional como mundial, tornam actualmente os mercados de electricidade um caso de estudo singular e interessante. De facto, o desenvolvimento de ferramentas de análise que permitem avaliar a evolução dos comportamentos que estes mercados adoptam face à dinâmica das suas constantes transformações é, à partida, uma mais valia para as suas principais entidades. Muitas vezes os negociadores deste sector ficam satisfeitos com o resultado final. Contudo, se investigarmos mais minuciosamente, dinheiro e recursos são desperdiçados e potenciais ganhos permanecem por descobrir. Uma negociação automática, que utilize agentes computacionais autónomos, promete um elevado nível de eficiência e acordos de maior qualidade. Muitos modelos de mercado actuais são simulados através de ferramentas computacionais, algumas das quais baseadas em tecnologia multi-agente. Esta dissertação apresenta um simulador que permite ajudar a resolver vários problemas inerentes à contratação bilateral de energia. O simulador envolve dois agentes do mercado de retalho, um comprador e um vendedor de energia eléctrica, e suporta a negociação bilateral multidimensional. Cada agente tem no seu portefólio um conjunto de opções que modelam o seu comportamento individual. A essas opções dá-se o nome de estratégias de negociação. O simulador é composto por estratégias de concessão e imitativas. As estratégias de concessão ditam a velocidade de cedência que cada agente terá, enquanto que as estratégias imitativas têm em conta o comportamento passado do oponente, antes da formulação de uma nova oferta. A validação experimental do simulador foi efectuada através da realização de uma experiência computacional. O método experimental consistiu na experimentação controlada. A experiência teve como principal objectivo validar as estratégias através da verificação, em computador, de um conjunto de hipóteses formuladas através de diversas observações e conclusões da negociação real. Os resultados confirmaram as hipóteses, permitindo concluir que a estratégia de concessão baseada no volume de energia conduz a um melhor benefício para ambos os negociadores, enquanto que a estratégia de concessão baseada na prioridade dos itens conduz à troca de um maior número de propostas negociais.

Negociação bilateral em mercados de energia eléctrica multi-agente com participação activa dos consumidores

Nos últimos anos, o sector elétrico tem sofrido profundas alterações decorrentes do processo de reestruturação. Como consequência, surgiram diferentes estruturas de mercado, tais como em bolsa, contratos bilaterais e mistos, tendo como objectivo o aumento da competitividade. Nos mercados competitivos, os consumidores de electricidade podem escolher livremente os seus fornecedores de energia, em função de possíveis vantagens económicas e da qualidade do serviço. A comercialização de electricidade pode ser realizada em mercados organizados ou através de contratação bilateral entre comercializadores e consumidores. Actualmente, existem várias ferramentas de simulação baseadas em técnicas multiagente que permitem modelar, parcialmente ou na totalidade, os mercados de electricidade, possibilitando simulações de negociação de preços e volumes através de contratos bilaterais, transacções em bolsas de energia, etc. No entanto, estas ferramentas apresentam algumas limitações devido à complexidade dos sistemas elétricos. Neste contexto, esta dissertação tem como principal objectivo desenvolver um simulador de contratos bilaterais em mercados de energia elétrica, baseado na tecnologia multi-agente. O simulador inclui dois tipos de entidades: retalhistas e consumidores de electricidade com diferentes perfis de carga. Além disso, é composto por várias estratégias de negociação, que têm como objectivo maximizar o benefício dos agentes retalhistas e minimizar o custo dos consumidores finais de electricidade. Uma das estratégias, referente ao consumidor, é direccionada para a eficiência no consumo, sendo baseada na conhecida técnica de Participação Activa dos Consumidores (ou Demand Response). O teste do simulador foi efectuado através da resolução de dois casos práticos, baseados em dados do MIBEL. De forma sucinta, os resultados obtidos com as estratégias permitem concluir que os intervenientes no mercado apresentam um comportamento esperado na gestão de preços e volumes de energia, constatando-se que a ferramenta desenvolvida constitui um auxiliar importante à tomada de decisão inerente à negociação bilateral em mercados de electricidade.

Sistema multi-agente para gestão de tráfego em centros urbanos

Mestrado em Engenharia Informática

Sistema Multi-Agente de prestação de serviços de seguimento adaptados aos requisitos do utilizador

Mestrado em Engenharia Electrotécnica e de Computadores - Área de Especialização de Telecomunicações

Comercialização de energia em mercados em bolsa: simulador multi-agente e análise do impacto da geração variável nos preços diários

O processo de reestruturação do setor elétrico deu origem à criação de diferentes estruturas de mercado, tendo como objetivo o aumento da competitividade e eficiência. Atualmente, a comercialização de energia elétrica pode ser realizada com recurso a mercados em bolsa ou através da celebração de contratos bilaterais. Sendo o mercado em bolsa caraterizado por uma forte volatilidade de preços, e considerando a atribuição de incentivos para o crescimento da geração renovável não controlada, revela-se importante analisar o impacto de níveis elevados de energia eólica sobre os preços do mercado diário. Neste contexto, a presente dissertação tem como principais objetivos estudar e implementar os algoritmos de preço marginal único e preço marginal local, normalmente utilizados no mercado em bolsa, bem como dotar o simuladormultiagente MANREM com um módulo para simular os mercados diário e intradiário, e analisar o impacto de níveis elevados de energia eólica sobre os preços do mercado diário. O estudo detalhado de um caso prático e os resultados obtidos com recurso ao simuladormulti-agente permitiram replicar, em computador, o impacto esperado, sendo possível observar uma redução de preços e uma alteração dos compromissos de produção dos produtores convencionais. O estudo contemplou a simulação do mercado diário com recurso aos algoritmos de preço marginal único e preço marginal local, podendo constatar-se que a ferramenta multi-agente constitui um auxiliar importante à tomada de decisão nos mercados de eletricidade.

Estratégias pedagógicas para um Ambiente Multi-agente Probabilístico Inteligente de Aprendizagem - AMPLIA

Este trabalho pretende avaliar se é possível elaborar estratégias pedagógicas com base em modelos de níveis de tomada de consciência e utilizá-las, por meio de agentes inteligentes, em um ambiente de aprendizagem. O ambiente utilizado foi o AMPLIA - Ambiente Multi-agente Probabilístico Inteligente de Aprendizagem, desenvolvido inicialmente como um recurso auxiliar para a educação médica: neste ambiente, o aluno constrói uma representação gráfica de sua hipótese diagnóstica, por meio de uma rede bayesiana. O AMPLIA é formado por três agentes inteligentes, o primeiro é o Agente de Domínio, responsável pela avaliação da rede bayesiana do aluno. Os projetos dos outros dois agentes inteligentes do AMPLIA são apresentados nesta tese: o Agente Aprendiz, que faz inferências probabilísticas sobre as ações do aluno, a fim de construir um modelo do aluno baseado em seu nível de tomada de consciência, e o Agente Mediador, que utiliza um Diagrama de influência, para selecionar a estratégia pedagógica com maior probabilidade de utilidade. Por meio de uma revisão dos estudos de Piaget sobre a equilibração das estruturas cognitivas e sobre a tomada de consciência, foi construída a base teórica para a definição e organização das estratégias. Essas foram organizadas em classes, de acordo com o principal problema detectado na rede do aluno e com a confiança declarada pelo aluno, e em táticas, de acordo com o nível de autonomia, inferido pelo Agente Aprendiz. Foram realizados experimentos práticos acompanhados por instrumentos de avaliação e por observações virtuais on line, com o objetivo de detectar variações nos estados de confiança, de autonomia e de competência. Também foram pesquisados indícios de estados de desequilibração e de condutas de regulação e equilibração durante os ciclos de interação do aluno com o AMPLIA. Os resultados obtidos permitiram concluir que há evidências de que, ao longo do processo, há ciclos em que o aluno realiza ações sem uma tomada de consciência. Estes estados são identificados, probabilisticamente, pelo agente inteligente, que então seleciona uma estratégia mais voltada para um feedback negativo, isto é, uma correção. Quando o agente infere uma mudança neste estado, seleciona outra estratégia, com um feedback positivo e com maior utilidade para dar início a um processo de negociação pedagógica, isto é, uma tentativa de maximizar a confiança do aluno em si mesmo e no AMPLIA, assim como maximizar a confiança do AMPLIA no aluno. Os trabalhos futuros apontam para a ampliação do modelo do aluno, por meio da incorporação de um maior número de variáveis, e para a necessidade de aprofundamento dos estudos sobre a declaração de confiança, do ponto de vista psicológico. As principais contribuições relatadas são na definição e construção de um modelo de aluno, com utilização de redes bayesianas, no projeto de um agente pedagógico como mediador num processo de negociação pedagógica, e na definição e seleção de estratégias pedagógicas para o AMPLIA.

Simulação multi agente em mercados financeiros artificiais utilizando algoritmos genéticos

Com o objetivo de estabelecer uma metodologia capaz segregar momentos de mercado e de identificar as características predominantes dos investidores atuantes em um determinado mercado financeiro, este trabalho emprega simulações geradas em um Mercado Financeiro Artificial baseado em agentes, utilizando um Algoritmo Genético para ajustar tais simulações ao histórico real observado. Para tanto, uma aplicação foi desenvolvida utilizando-se o mercado de contratos futuros de índice Bovespa. Esta metodologia poderia facilmente ser estendida a outros mercados financeiros através da simples parametrização do modelo. Sobre as bases estabelecidas por Toriumi et al. (2011), contribuições significativas foram atingidas, promovendo acréscimo de conhecimento acerca tanto do mercado alvo escolhido, como das técnicas de modelagem em Mercados Financeiros Artificiais e também da aplicação de Algoritmos Genéticos a mercados financeiros, resultando em experimentos e análises que sugerem a eficácia do método ora proposto.

Aprendizado por Reforço com Valores deInfluência em Sistemas Multi-Agente

We propose a new paradigm for collective learning in multi-agent systems (MAS) as a solution to the problem in which several agents acting over the same environment must learn how to perform tasks, simultaneously, based on feedbacks given by each one of the other agents. We introduce the proposed paradigm in the form of a reinforcement learning algorithm, nominating it as reinforcement learning with influence values. While learning by rewards, each agent evaluates the relation between the current state and/or action executed at this state (actual believe) together with the reward obtained after all agents that are interacting perform their actions. The reward is a result of the interference of others. The agent considers the opinions of all its colleagues in order to attempt to change the values of its states and/or actions. The idea is that the system, as a whole, must reach an equilibrium, where all agents get satisfied with the obtained results. This means that the values of the state/actions pairs match the reward obtained by each agent. This dynamical way of setting the values for states and/or actions makes this new reinforcement learning paradigm the first to include, naturally, the fact that the presence of other agents in the environment turns it a dynamical model. As a direct result, we implicitly include the internal state, the actions and the rewards obtained by all the other agents in the internal state of each agent. This makes our proposal the first complete solution to the conceptual problem that rises when applying reinforcement learning in multi-agent systems, which is caused by the difference existent between the environment and agent models. With basis on the proposed model, we create the IVQ-learning algorithm that is exhaustive tested in repetitive games with two, three and four agents and in stochastic games that need cooperation and in games that need collaboration. This algorithm shows to be a good option for obtaining solutions that guarantee convergence to the Nash optimum equilibrium in cooperative problems. Experiments performed clear shows that the proposed paradigm is theoretical and experimentally superior to the traditional approaches. Yet, with the creation of this new paradigm the set of reinforcement learning applications in MAS grows up. That is, besides the possibility of applying the algorithm in traditional learning problems in MAS, as for example coordination of tasks in multi-robot systems, it is possible to apply reinforcement learning in problems that are essentially collaborative