Bid definition method for electricity markets based on an adaptive multiagent system

Electricity markets are complex environments with very particular characteristics. MASCEM is a market simulator developed to allow deep studies of the interactions between the players that take part in the electricity market negotiations. This paper presents a new proposal for the definition of MASCEM players’ strategies to negotiate in the market. The proposed methodology is multiagent based, using reinforcement learning algorithms to provide players with the capabilities to perceive the changes in the environment, while adapting their bids formulation according to their needs, using a set of different techniques that are at their disposal. Each agent has the knowledge about a different method for defining a strategy for playing in the market, the main agent chooses the best among all those, and provides it to the market player that requests, to be used in the market. This paper also presents a methodology to manage the efficiency/effectiveness balance of this method, to guarantee that the degradation of the simulator processing times takes the correct measure.

Training control centers' operators in incident diagnosis and power restoration using intelligent tutoring systems

The activity of Control Center operators is important to guarantee the effective performance of Power Systems. Operators’ actions are crucial to deal with incidents, especially severe faults like blackouts. In this paper, we present an Intelligent Tutoring approach for training Portuguese Control Center operators in tasks like incident analysis and diagnosis, and service restoration of Power Systems. Intelligent Tutoring System (ITS) approach is used in the training of the operators, having into account context awareness and the unobtrusive integration in the working environment. Several Artificial Intelligence techniques were criteriously used and combined together to obtain an effective Intelligent Tutoring environment, namely Multiagent Systems, Neural Networks, Constraint-based Modeling, Intelligent Planning, Knowledge Representation, Expert Systems, User Modeling, and Intelligent User Interfaces.

Adaptive learning in agents behaviour: a framework for electricity markets simulation

Electricity markets are complex environments with very particular characteristics. A critical issue regarding these specific characteristics concerns the constant changes they are subject to. This is a result of the electricity markets’ restructuring, which was performed so that the competitiveness could be increased, but it also had exponential implications in the increase of the complexity and unpredictability in those markets scope. The constant growth in markets unpredictability resulted in an amplified need for market intervenient entities in foreseeing market behaviour. The need for understanding the market mechanisms and how the involved players’ interaction affects the outcomes of the markets, contributed to the growth of usage of simulation tools. Multi-agent based software is particularly well fitted to analyze dynamic and adaptive systems with complex interactions among its constituents, such as electricity markets. This dissertation presents ALBidS – Adaptive Learning strategic Bidding System, a multiagent system created to provide decision support to market negotiating players. This system is integrated with the MASCEM electricity market simulator, so that its advantage in supporting a market player can be tested using cases based on real markets’ data. ALBidS considers several different methodologies based on very distinct approaches, to provide alternative suggestions of which are the best actions for the supported player to perform. The approach chosen as the players’ actual action is selected by the employment of reinforcement learning algorithms, which for each different situation, simulation circumstances and context, decides which proposed action is the one with higher possibility of achieving the most success. Some of the considered approaches are supported by a mechanism that creates profiles of competitor players. These profiles are built accordingly to their observed past actions and reactions when faced with specific situations, such as success and failure. The system’s context awareness and simulation circumstances analysis, both in terms of results performance and execution time adaptation, are complementary mechanisms, which endow ALBidS with further adaptation and learning capabilities.

Mixed integer non linear programming and artificial neural network based approach to ancillary services dispatch in competitive electricity markets

Ancillary services represent a good business opportunity that must be considered by market players. This paper presents a new methodology for ancillary services market dispatch. The method considers the bids submitted to the market and includes a market clearing mechanism based on deterministic optimization. An Artificial Neural Network is used for day-ahead prediction of Regulation Down, regulation-up, Spin Reserve and Non-Spin Reserve requirements. Two test cases based on California Independent System Operator data concerning dispatch of Regulation Down, Regulation Up, Spin Reserve and Non-Spin Reserve services are included in this paper to illustrate the application of the proposed method: (1) dispatch considering simple bids; (2) dispatch considering complex bids.

Adaptive learning in agents behaviour: A framework for electricity markets simulation

Electricity markets are complex environments, involving a large number of different entities, playing in a dynamic scene to obtain the best advantages and profits. MASCEM (Multi-Agent System for Competitive Electricity Markets) is a multi-agent electricity market simulator that models market players and simulates their operation in the market. Market players are entities with specific characteristics and objectives, making their decisions and interacting with other players. This paper presents a methodology to provide decision support to electricity market negotiating players. This model allows integrating different strategic approaches for electricity market negotiations, and choosing the most appropriate one at each time, for each different negotiation context. This methodology is integrated in ALBidS (Adaptive Learning strategic Bidding System) – a multiagent system that provides decision support to MASCEM's negotiating agents so that they can properly achieve their goals. ALBidS uses artificial intelligence methodologies and data analysis algorithms to provide effective adaptive learning capabilities to such negotiating entities. The main contribution is provided by a methodology that combines several distinct strategies to build actions proposals, so that the best can be chosen at each time, depending on the context and simulation circumstances. The choosing process includes reinforcement learning algorithms, a mechanism for negotiating contexts analysis, a mechanism for the management of the efficiency/effectiveness balance of the system, and a mechanism for competitor players' profiles definition.

GAIC: Um sistema inteligente e flexível para simulação e apoio à participação de pequenos e médios consumidores na gestão ativa de cargas no âmbito de smart grids

A liberalização dos mercados de energia e a utilização intensiva de produção distribuída tem vindo a provocar uma alteração no paradigma de operação das redes de distribuição de energia elétrica. A continuidade da fiabilidade das redes de distribuição no contexto destes novos paradigmas requer alterações estruturais e funcionais. O conceito de Smart Grid vem permitir a adaptação das redes de distribuição ao novo contexto. Numa Smart Grid os pequenos e médios consumidores são chamados ao plano ativo das participações. Este processo é conseguido através da aplicação de programas de demand response e da existência de players agregadores. O uso de programas de demand response para alcançar benefícios para a rede encontra-se atualmente a ser estudado no meio científico. Porém, existe a necessidade de estudos que procurem benefícios para os pequenos e médios consumidores. O alcance dos benefícios para os pequenos e médios consumidores não é apenas vantajoso para o consumidor, como também o é para a rede elétrica de distribuição. A participação, dos pequenos e médios consumidores, em programas de demand response acontece significativamente através da redução de consumos energéticos. De modo a evitar os impactos negativos que podem provir dessas reduções, o trabalho aqui proposto faz uso de otimizações que recorrem a técnicas de aprendizagem através da utilização redes neuronais artificiais. Para poder efetuar um melhor enquadramento do trabalho com as Smart Grids, será desenvolvido um sistema multiagente capaz de simular os principais players de uma Smart Grid. O foco deste sistema multiagente será o agente responsável pela simulação do pequeno e médio consumidor. Este agente terá não só que replicar um pequeno e médio consumidor, como terá ainda que possibilitar a integração de cargas reais e virtuais. Como meio de interação com o pequeno e médio consumidor, foi desenvolvida no âmbito desta dissertação um sistema móvel. No final do trabalho obteve-se um sistema multiagente capaz de simular uma Smart Grid e a execução de programas de demand response, sSendo o agente representante do pequeno e médio consumidor capaz de tomar ações e reações de modo a poder responder autonomamente aos programas de demand response lançados na rede. O desenvolvimento do sistema permite: o estudo e análise da integração dos pequenos e médios consumidores nas Smart Grids por meio de programas de demand response; a comparação entre múltiplos algoritmos de otimização; e a integração de métodos de aprendizagem. De modo a demonstrar e viabilizar as capacidades de todo o sistema, a dissertação inclui casos de estudo para as várias vertentes que podem ser exploradas com o sistema desenvolvido.

Adaptive Learning in Games: Defining Profiles of Competitor Players

Artificial Intelligence has been applied to dynamic games for many years. The ultimate goal is creating responses in virtual entities that display human-like reasoning in the definition of their behaviors. However, virtual entities that can be mistaken for real persons are yet very far from being fully achieved. This paper presents an adaptive learning based methodology for the definition of players’ profiles, with the purpose of supporting decisions of virtual entities. The proposed methodology is based on reinforcement learning algorithms, which are responsible for choosing, along the time, with the gathering of experience, the most appropriate from a set of different learning approaches. These learning approaches have very distinct natures, from mathematical to artificial intelligence and data analysis methodologies, so that the methodology is prepared for very distinct situations. This way it is equipped with a variety of tools that individually can be useful for each encountered situation. The proposed methodology is tested firstly on two simpler computer versus human player games: the rock-paper-scissors game, and a penalty-shootout simulation. Finally, the methodology is applied to the definition of action profiles of electricity market players; players that compete in a dynamic game-wise environment, in which the main goal is the achievement of the highest possible profits in the market.

Metalearner based on Dynamic Neural Network for Strategic Bidding in electricity Markets

The restructuring of electricity markets, conducted to increase the competition in this sector, and decrease the electricity prices, brought with it an enormous increase in the complexity of the considered mechanisms. The electricity market became a complex and unpredictable environment, involving a large number of different entities, playing in a dynamic scene to obtain the best advantages and profits. Software tools became, therefore, essential to provide simulation and decision support capabilities, in order to potentiate the involved players’ actions. This paper presents the development of a metalearner, applied to the decision support of electricity markets’ negotiation entities. The proposed metalearner executes a dynamic artificial neural network to create its own output, taking advantage on several learning algorithms implemented in ALBidS, an adaptive learning system that provides decision support to electricity markets’ players. The proposed metalearner considers different weights for each strategy, depending on its individual quality of performance. The results of the proposed method are studied and analyzed in scenarios based on real electricity markets’ data, using MASCEM - a multi-agent electricity market simulator that simulates market players’ operation in the market.

Neural control of an autonomous robot

This article aims to apply the concepts associated with artificial neural networks (ANN) in the control of an autonomous robot system that is intended to be used in competitions of robots. The robot was tested in several arbitrary paths in order to verify its effectiveness. The results show that the robot performed the tasks with success. Moreover, in the case of arbitrary paths the ANN control outperforms other methodologies, such as fuzzy logic control (FLC).

Previsão do Diagrama de Carga de Subestações da REN utilizando Redes Neuronais

A presente dissertação apresenta o estudo de previsão do diagrama de carga de subestações da Rede Elétrica Nacional (REN) utilizando redes neuronais, com o intuito de verificar a viabilidade do método utilizado, em estudos futuros. Atualmente, a energia elétrica é um bem essencial e desempenha um papel fundamental, tanto a nível económico do país, como a nível de conforto e satisfação individual. Com o desenvolvimento do setor elétrico e o aumento dos produtores torna-se importante a realização da previsão de diagramas de carga, contribuindo para a eficiência das empresas. Esta dissertação tem como objetivo a utilização do modelo das redes neuronais artificiais (RNA) para criar uma rede capaz de realizar a previsão de diagramas de carga, com a finalidade de oferecer a possibilidade de redução de custos e gastos, e a melhoria de qualidade e fiabilidade. Ao longo do trabalho são utilizados dados da carga (em MW), obtidos da REN, da subestação da Prelada e dados como a temperatura, humidade, vento e luminosidade, entre outros. Os dados foram devidamente tratados com a ajuda do software Excel. Com o software MATLAB são realizados treinos com redes neuronais, através da ferramenta Neural Network Fitting Tool, com o objetivo de obter uma rede que forneça os melhores resultados e posteriormente utiliza-la na previsão de novos dados. No processo de previsão, utilizando dados reais das subestações da Prelada e Ermesinde referentes a Março de 2015, comprova-se que com a utilização de RNA é possível obter dados de previsão credíveis, apesar de não ser uma previsão exata. Deste modo, no que diz respeito à previsão de diagramas de carga, as RNA são um bom método a utilizar, uma vez que fornecem, à parte interessada, uma boa previsão do consumo e comportamento das cargas elétricas. Com a finalização deste estudo os resultados obtidos são no mínimo satisfatórios. Consegue-se alcançar através das RNA resultados próximos aos valores que eram esperados, embora não exatamente iguais devido à existência de uma margem de erro na aprendizagem da rede neuronal.

Scalable Intelligence for Scheduling Systems

A personalização é um aspeto chave de uma interação homem-computador efetiva. Numa era em que existe uma abundância de informação e tantas pessoas a interagir com ela, de muitas maneiras, a capacidade de se ajustar aos seus utilizadores é crucial para qualquer sistema moderno. A criação de sistemas adaptáveis é um domínio bastante complexo que necessita de métodos muito específicos para ter sucesso. No entanto, nos dias de hoje ainda não existe um modelo ou arquitetura padrão para usar nos sistemas adaptativos modernos. A principal motivação desta tese é a proposta de uma arquitetura para modelação do utilizador que seja capaz de incorporar diferentes módulos necessários para criar um sistema com inteligência escalável com técnicas de modelação. Os módulos cooperam de forma a analisar os utilizadores e caracterizar o seu comportamento, usando essa informação para fornecer uma experiência de sistema customizada que irá aumentar não só a usabilidade do sistema mas também a produtividade e conhecimento do utilizador. A arquitetura proposta é constituída por três componentes: uma unidade de informação do utilizador, uma estrutura matemática capaz de classificar os utilizadores e a técnica a usar quando se adapta o conteúdo. A unidade de informação do utilizador é responsável por conhecer os vários tipos de indivíduos que podem usar o sistema, por capturar cada detalhe de interações relevantes entre si e os seus utilizadores e também contém a base de dados que guarda essa informação. A estrutura matemática é o classificador de utilizadores, e tem como tarefa a sua análise e classificação num de três perfis: iniciado, intermédio ou avançado. Tanto as redes de Bayes como as neuronais são utilizadas, e uma explicação de como as preparar e treinar para lidar com a informação do utilizador é apresentada. Com o perfil do utilizador definido torna-se necessária uma técnica para adaptar o conteúdo do sistema. Nesta proposta, uma abordagem de iniciativa mista é apresentada tendo como base a liberdade de tanto o utilizador como o sistema controlarem a comunicação entre si. A arquitetura proposta foi desenvolvida como parte integrante do projeto ADSyS - um sistema de escalonamento dinâmico - utilizado para resolver problemas de escalonamento sujeitos a eventos dinâmicos. Possui uma complexidade elevada mesmo para utilizadores frequentes, daí a necessidade de adaptar o seu conteúdo de forma a aumentar a sua usabilidade. Com o objetivo de avaliar as contribuições deste trabalho, um estudo computacional acerca do reconhecimento dos utilizadores foi desenvolvido, tendo por base duas sessões de avaliação de usabilidade com grupos de utilizadores distintos. Foi possível concluir acerca dos benefícios na utilização de técnicas de modelação do utilizador com a arquitetura proposta.