Aspectos de aprendizagem em optimização

A optimização e a aprendizagem em Sistemas Multi-Agente são consideradas duas áreas promissoras mas relativamente pouco exploradas. A optimização nestes ambientes deve ser capaz de lidar com o dinamismo. Os agentes podem alterar o seu comportamento baseando-se em aprendizagem recente ou em objectivos de optimização. As estratégias de aprendizagem podem melhorar o desempenho do sistema, dotando os agentes da capacidade de aprender, por exemplo, qual a técnica de optimização é mais adequada para a resolução de uma classe particular de problemas, ou qual a parametrização é mais adequada em determinado cenário. Nesta dissertação são estudadas algumas técnicas de resolução de problemas de Optimização Combinatória, sobretudo as Meta-heurísticas, e é efectuada uma revisão do estado da arte de Aprendizagem em Sistemas Multi-Agente. É também proposto um módulo de aprendizagem para a resolução de novos problemas de escalonamento, com base em experiência anterior. O módulo de Auto-Optimização desenvolvido, inspirado na Computação Autónoma, permite ao sistema a selecção automática da Meta-heurística a usar no processo de optimização, assim como a respectiva parametrização. Para tal, recorreu-se à utilização de Raciocínio baseado em Casos de modo que o sistema resultante seja capaz de aprender com a experiência adquirida na resolução de problemas similares. Dos resultados obtidos é possível concluir da vantagem da sua utilização e respectiva capacidade de adaptação a novos e eventuais cenários.

Adaptive learning in agents behaviour: a framework for electricity markets simulation

Electricity markets are complex environments with very particular characteristics. A critical issue regarding these specific characteristics concerns the constant changes they are subject to. This is a result of the electricity markets’ restructuring, which was performed so that the competitiveness could be increased, but it also had exponential implications in the increase of the complexity and unpredictability in those markets scope. The constant growth in markets unpredictability resulted in an amplified need for market intervenient entities in foreseeing market behaviour. The need for understanding the market mechanisms and how the involved players’ interaction affects the outcomes of the markets, contributed to the growth of usage of simulation tools. Multi-agent based software is particularly well fitted to analyze dynamic and adaptive systems with complex interactions among its constituents, such as electricity markets. This dissertation presents ALBidS – Adaptive Learning strategic Bidding System, a multiagent system created to provide decision support to market negotiating players. This system is integrated with the MASCEM electricity market simulator, so that its advantage in supporting a market player can be tested using cases based on real markets’ data. ALBidS considers several different methodologies based on very distinct approaches, to provide alternative suggestions of which are the best actions for the supported player to perform. The approach chosen as the players’ actual action is selected by the employment of reinforcement learning algorithms, which for each different situation, simulation circumstances and context, decides which proposed action is the one with higher possibility of achieving the most success. Some of the considered approaches are supported by a mechanism that creates profiles of competitor players. These profiles are built accordingly to their observed past actions and reactions when faced with specific situations, such as success and failure. The system’s context awareness and simulation circumstances analysis, both in terms of results performance and execution time adaptation, are complementary mechanisms, which endow ALBidS with further adaptation and learning capabilities.

Scheduling a cutting and treatment stainless steel sheet line with self-management capabilities

With advancement in computer science and information technology, computing systems are becoming increasingly more complex with an increasing number of heterogeneous components. They are thus becoming more difficult to monitor, manage, and maintain. This process has been well known as labor intensive and error prone. In addition, traditional approaches for system management are difficult to keep up with the rapidly changing environments. There is a need for automatic and efficient approaches to monitor and manage complex computing systems. In this paper, we propose an innovative framework for scheduling system management by combining Autonomic Computing (AC) paradigm, Multi-Agent Systems (MAS) and Nature Inspired Optimization Techniques (NIT). Additionally, we consider the resolution of realistic problems. The scheduling of a Cutting and Treatment Stainless Steel Sheet Line will be evaluated. Results show that proposed approach has advantages when compared with other scheduling systems

Plataforma de simulação em Repast Simphony para análise da divulgação de novas ideias em mercado

Modelação e simulação baseadas em agentes estão a ganhar cada vez mais importância e adeptos devido à sua flexibilidade e potencialidade em reproduzir comportamentos e estudar um sistema na perspetiva global ou das interações individuais. Neste trabalho, criou-se um sistema baseado em agentes e desenvolvido em Repast Simphony com o objectivo de analisar a difusão de um novo produto ou serviço através de uma rede de potenciais clientes, tentando compreender, assim, como ocorre e quanto tempo demora esta passagem de informação (inovação) com diversas topologias de rede, no contato direto entre pessoas. A simulação baseia-se no conceito da existencia de iniciadores, que são os primeiros consumidores a adotar um produto quando este chega ao mercado e os seguidores, que são os potenciais consumidores que, apesar de terem alguma predisposição para adotar um novo produto, normalmente só o fazem depois de terem sido sujeitos a algum tipo de influência. Com a aplicação criada, simularam-se diversas situações com a finalidade de obter e observar os resultados gerados a partir de definições iniciais diferentes. Com os resultados gerados pelas simulações foram criados gráficos representativos dos diversos cenários. A finalidade prática desta aplicação, poderá ser o seu uso em sala de aula para simulação de casos de estudo e utilização, em casos reais, como ferramenta de apoio à tomada de decisão, das empresas.

Solving Conflicting Beliefs with a Distributed Belief Revision Approach

The ability to solve conflicting beliefs is crucial for multi- agent systems where the information is dynamic, incomplete and dis- tributed over a group of autonomous agents. The proposed distributed belief revision approach consists of a distributed truth maintenance sy- stem and a set of autonomous belief revision methodologies. The agents have partial views and, frequently, hold disparate beliefs which are au- tomatically detected by system’s reason maintenance mechanism. The nature of these conflicts is dynamic and requires adequate methodolo- gies for conflict resolution. The two types of conflicting beliefs addressed in this paper are Context Dependent and Context Independent Conflicts which result, in the first case, from the assignment, by different agents, of opposite belief statuses to the same belief, and, in the latter case, from holding contradictory distinct beliefs. The belief revision methodology for solving Context Independent Con- flicts is, basically, a selection process based on the assessment of the cre- dibility of the opposing belief statuses. The belief revision methodology for solving Context Dependent Conflicts is, essentially, a search process for a consensual alternative based on a “next best” relaxation strategy.

Improving Assumption based Distributed Belief Revision

Belief revision is a critical issue in real world DAI applications. A Multi-Agent System not only has to cope with the intrinsic incompleteness and the constant change of the available knowledge (as in the case of its stand alone counterparts), but also has to deal with possible conflicts between the agents’ perspectives. Each semi-autonomous agent, designed as a combination of a problem solver – assumption based truth maintenance system (ATMS), was enriched with improved capabilities: a distributed context management facility allowing the user to dynamically focus on the more pertinent contexts, and a distributed belief revision algorithm with two levels of consistency. This work contributions include: (i) a concise representation of the shared external facts; (ii) a simple and innovative methodology to achieve distributed context management; and (iii) a reduced inter-agent data exchange format. The different levels of consistency adopted were based on the relevance of the data under consideration: higher relevance data (detected inconsistencies) was granted global consistency while less relevant data (system facts) was assigned local consistency. These abilities are fully supported by the ATMS standard functionalities.

Distributed Belief Revision and Environmental Decision Support

This article discusses the development of an Intelligent Distributed Environmental Decision Support System, built upon the association of a Multi-agent Belief Revision System with a Geographical Information System (GIS). The inherent multidisciplinary features of the involved expertises in the field of environmental management, the need to define clear policies that allow the synthesis of divergent perspectives, its systematic application, and the reduction of the costs and time that result from this integration, are the main reasons that motivate the proposal of this project. This paper is organised in two parts: in the first part we present and discuss the developed - Distributed Belief Revision Test-bed - DiBeRT; in the second part we analyse its application to the environmental decision support domain, with special emphasis on the interface with a GIS.

Distributed Belief Revision and Environmental Decision Support

This article discusses the development of an Intelligent Distributed Environmental Decision Support System, built upon the association of a Multi-agent Belief Revision System with a Geographical Information System (GIS). The inherent multidisciplinary features of the involved expertises in the field of environmental management, the need to define clear policies that allow the synthesis of divergent perspectives, its systematic application, and the reduction of the costs and time that result from this integration, are the main reasons that motivate the proposal of this project. This paper is organised in two parts: in the first part we present and discuss the developed ; in the second part we analyse its application to the environmental decision support domain, with special emphasis on the interface with a GIS.

An Intelligent Distributed System for Environmental Management

Environmental management is a complex task. The amount and heterogeneity of the data needed for an environmental decision making tool is overwhelming without adequate database systems and innovative methodologies. As far as data management, data interaction and data processing is concerned we here propose the use of a Geographical Information System (GIS) whilst for the decision making we suggest a Multi-Agent System (MAS) architecture. With the adoption of a GIS we hope to provide a complementary coexistence between heterogeneous data sets, a correct data structure, a good storage capacity and a friendly user’s interface. By choosing a distributed architecture such as a Multi-Agent System, where each agent is a semi-autonomous Expert System with the necessary skills to cooperate with the others in order to solve a given task, we hope to ensure a dynamic problem decomposition and to achieve a better performance compared with standard monolithical architectures. Finally, and in view of the partial, imprecise, and ever changing character of information available for decision making, Belief Revision capabilities are added to the system. Our aim is to present and discuss an intelligent environmental management system capable of suggesting the more appropriate land-use actions based on the existing spatial and non-spatial constraints.

Intelligent Distributed Environmental Decision Support System

This article discusses the development of an Intelligent Distributed Environmental Decision Support System, built upon the association of a Multi-agent Belief Revision System with a Geographical Information System (GIS). The inherent multidisciplinary features of the involved expertises in the field of environmental management, the need to define clear policies that allow the synthesis of divergent perspectives, its systematic application, and the reduction of the costs and time that result from this integration, are the main reasons that motivate the proposal of this project. This paper is organised in two parts: in the first part we present and discuss the developed Distributed Belief Revision Test-bed — DiBeRT; in the second part we analyse its application to the environmental decision support domain, with special emphasis on the interface with a GIS.

Híper-heurísticas com aprendizagem

A otimização nos sistemas de suporte à decisão atuais assume um carácter fortemente interdisciplinar relacionando-se com a necessidade de integração de diferentes técnicas e paradigmas na resolução de problemas reais complexos, sendo que a computação de soluções ótimas em muitos destes problemas é intratável. Os métodos de pesquisa heurística são conhecidos por permitir obter bons resultados num intervalo temporal aceitável. Muitas vezes, necessitam que a parametrização seja ajustada de forma a permitir obter bons resultados. Neste sentido, as estratégias de aprendizagem podem incrementar o desempenho de um sistema, dotando-o com a capacidade de aprendizagem, por exemplo, qual a técnica de otimização mais adequada para a resolução de uma classe particular de problemas, ou qual a parametrização mais adequada de um dado algoritmo num determinado cenário. Alguns dos métodos de otimização mais usados para a resolução de problemas do mundo real resultaram da adaptação de ideias de várias áreas de investigação, principalmente com inspiração na natureza - Meta-heurísticas. O processo de seleção de uma Meta-heurística para a resolução de um dado problema é em si um problema de otimização. As Híper-heurísticas surgem neste contexto como metodologias eficientes para selecionar ou gerar heurísticas (ou Meta-heurísticas) na resolução de problemas de otimização NP-difícil. Nesta dissertação pretende-se dar uma contribuição para o problema de seleção de Metaheurísticas respetiva parametrização. Neste sentido é descrita a especificação de uma Híperheurística para a seleção de técnicas baseadas na natureza, na resolução do problema de escalonamento de tarefas em sistemas de fabrico, com base em experiência anterior. O módulo de Híper-heurística desenvolvido utiliza um algoritmo de aprendizagem por reforço (QLearning), que permite dotar o sistema da capacidade de seleção automática da Metaheurística a usar no processo de otimização, assim como a respetiva parametrização. Finalmente, procede-se à realização de testes computacionais para avaliar a influência da Híper- Heurística no desempenho do sistema de escalonamento AutoDynAgents. Como conclusão genérica, é possível afirmar que, dos resultados obtidos é possível concluir existir vantagem significativa no desempenho do sistema quando introduzida a Híper-heurística baseada em QLearning.

Gestão Inteligente de uma Habitação considerando o Controlo de Cargas, de Microgeração e Veículos Elétricos em Função do seu Perfil de Utilização

Os consumidores finais são vistos, no novo paradigma da operação das redes elétricas, como intervenientes ativos com capacidade para gerir os seus recursos energéticos, nomeadamente as cargas, as unidades de produção, os veículos elétricos e a participação em eventos de Demand Response. Tem sido evidente um aumento do consumo de energia, sendo que o setor residencial representa uma importante parte do consumo global dos países desenvolvidos. Para que a participação ativa dos consumidores seja possível, várias abordagens têm vindo a ser propostas, com ênfase nas Smart Grids e nas Microgrids. Diversos sistemas têm sido propostos e desenvolvidos com o intuito de tornar a operação dos sistemas elétricos mais flexível. Neste contexto, os sistemas de gestão de instalações domésticas apresentam-se como um elemento fulcral para a participação ativa dos consumidores na gestão energética, permitindo aos operadores de sistema coordenarem a produção mas também a procura. No entanto, é importante identificar as vantagens da implementação e uso de sistemas de gestão de energia elétrica para os consumidores finais. Nesta dissertação são propostas metodologias de apoio ao consumidor doméstico na gestão dos recursos energéticos existentes e a implementação das mesmas na plataforma de simulação de um sistema de gestão de energia desenvolvido para consumidores domésticos, o SCADA House Intelligent Management (SHIM). Para tal, foi desenvolvida uma interface que permite a simulação em laboratório do sistema de gestão desenvolvido. Adicionalmente, o SHIM foi incluído no simulador Multi-Agent Smart Grid Simulation Plataform (MASGriP) permitindo a simulação de cenários considerando diferentes agentes. Ao nível das metodologias desenvolvidas são propostos diferentes algoritmos de gestão dos recursos energéticos existentes numa habitação, considerando utilizadores com diferentes tipos de recursos (cargas; cargas e veículos elétricos; cargas, veículos elétricos e microgeração). Adicionalmente é proposto um método de gestão dinâmica das cargas para eventos de Demand Response de longa duração, considerando as características técnicas dos equipamentos. Nesta dissertação são apresentados cinco casos de estudos em que cada um deles tem diferentes cenários de simulação. Estes casos de estudos são importantes para verificar a viabilidade da implementação das metodologias propostas para o SHIM. Adicionalmente são apresentados na dissertação perfis reais dos vários recursos energéticos e de consumidores domésticos que são, posteriormente, utilizados para o desenvolvimento dos casos de estudo e aplicação das metodologias.

Intelligent Remuneration and Tariffs for Virtual Power Players

Power systems have been through deep changes in recent years, namely due to the operation of competitive electricity markets in the scope the increasingly intensive use of renewable energy sources and distributed generation. This requires new business models able to cope with the new opportunities that have emerged. Virtual Power Players (VPPs) are a new type of player that allows aggregating a diversity of players (Distributed Generation (DG), Storage Agents (SA), Electrical Vehicles (V2G) and consumers) to facilitate their participation in the electricity markets and to provide a set of new services promoting generation and consumption efficiency, while improving players’ benefits. A major task of VPPs is the remuneration of generation and services (maintenance, market operation costs and energy reserves), as well as charging energy consumption. This paper proposes a model to implement fair and strategic remuneration and tariff methodologies, able to allow efficient VPP operation and VPP goals accomplishment in the scope of electricity markets.

Smart Grid Market Using Joint Energy and Ancillary Services Bids

The power systems operation in the smart grid context increases significantly the complexity of their management. New approaches for ancillary services procurement are essential to ensure the operation of electric power systems with appropriate levels of stability, safety, quality, equity and competitiveness. These approaches should include market mechanisms which allow the participation of small and medium distributed energy resources players in a competitive market environment. In this paper, an energy and ancillary services joint market model used by an aggregator is proposed, considering bids of several types of distributed energy resources. In order to improve economic efficiency in the market, ancillary services cascading market mechanism is also considered in the model. The proposed model is included in MASCEM – a multi-agent system electricity market simulator. A case study considering a distribution network with high penetration of distributed energy resources is presented.

Contextual Intelligent Load Management Considering Real-Time Pricing in a Smart Grid Environment

The use of demand response programs enables the adequate use of resources of small and medium players, bringing high benefits to the smart grid, and increasing its efficiency. One of the difficulties to proceed with this paradigm is the lack of intelligence in the management of small and medium size players. In order to make demand response programs a feasible solution, it is essential that small and medium players have an efficient energy management and a fair optimization mechanism to decrease the consumption without heavy loss of comfort, making it acceptable for the users. This paper addresses the application of real-time pricing in a house that uses an intelligent optimization module involving artificial neural networks.