Análise funcional comparativa de algoritmos de aprendizagem por reforço

De entre todos os paradigmas de aprendizagem actualmente identificados, a Aprendizagem por Reforço revela-se de especial interesse e aplicabilidade nos inúmeros processos que nos rodeiam: desde a solitária sonda que explora o planeta mais remoto, passando pelo programa especialista que aprende a apoiar a decisão médica pela experiencia adquirida, até ao cão de brincar que faz as delícias da criança interagindo com ela e adaptando-se aos seus gostos, e todo um novo mundo que nos rodeia e apela crescentemente a que façamos mais e melhor nesta área. Desde o aparecimento do conceito de aprendizagem por reforço, diferentes métodos tem sido propostos para a sua concretização, cada um deles abordando aspectos específicos. Duas vertentes distintas, mas complementares entre si, apresentam-se como características chave do processo de aprendizagem por reforço: a obtenção de experiência através da exploração do espaço de estados e o aproveitamento do conhecimento obtido através dessa mesma experiência. Esta dissertação propõe-se seleccionar alguns dos métodos propostos mais promissores de ambas as vertentes de exploração e aproveitamento, efectuar uma implementação de cada um destes sobre uma plataforma modular que permita a simulação do uso de agentes inteligentes e, através da sua aplicação na resolução de diferentes configurações de ambientes padrão, gerar estatísticas funcionais que permitam inferir conclusões que retractem entre outros aspectos a sua eficiência e eficácia comparativas em condições específicas.

Estimativa do recurso associado a um parque eólico e solução ótima de integração do parque numa rede elétrica do sudeste brasileiro

Um dos objetivos da presente dissertação consiste em estimar o recurso eólico num determinado local com base em dados de velocidade e direção de vento de outro local. Para esta estimativa, é utilizado um método que faz a extrapolação dos dados de vento do local onde as medições de velocidade e direção de vento foram realizadas para o local onde se quer estimar o recurso eólico, permitindo assim fazer uma avaliação da potência disponível que se pode obter para uma dada configuração de turbinas eólicas e tendo em consideração fatores topográficos tais como a rugosidade, orografia da superfície e também obstáculos em redor. Este método foi aplicado usando a ferramenta computacional, Wind Atlas Analysis and Aplication Program (WAsP), de modo a avaliar a potência média de um parque eólico na região de Osório, Brasil. O outro objetivo desta dissertação consiste no estudo e definição da melhor ligação do referido parque eólico à rede elétrica local. Para o efeito e após modelização da rede elétrica foram identificados os reforços de rede necessários na zona que irá receber a nova potência do parque eólico. No estudo em causa foram avaliadas quatro alternativas de ligação do parque eólico à rede. A escolha da melhor alternativa de ligação foi efetuada tendo por base uma análise de relação entre benefício de perdas da rede e custos de reforço da rede local.

Reforço estrutural de uma edificação pombalina: acompanhamento em obra

Este trabalho Final de Mestrado consiste na elaboração de um relatório de estágio que reportará o acompanhamento por parte do discente de um reforço estrutural de uma edificação pombalina. Desta forma são definidas as principais características construtivas destas edificações, fazendo um enquadramento histórico-cultural e urbanístico do edifício alvo deste trabalho. Uma vez estudado um tipo de construção especial, são mencionados diversos sistemas e metodologias de reforço que se adequam às características singulares destas construções, ilustrando-se procedimentos e técnicas que normalmente são utilizadas na reabilitação. Procedeu-se ao relato dos trabalhos executados na obra, desde a demolição dos elementos degradados e dissonantes com esta tipologia construtiva, a um estudo mais pormenorizado ao solo de fundação encontrado na zona da edificação e soluções de fundação adoptadas. São descritas neste trabalho quais as medidas adoptadas no reforço da estrutura da edificação, evidenciando os procedimentos e técnicas aplicadas pela empresa. No final deste trabalho, foi efectuada uma modelação do edifício da Rua do Carmo num software de análise estrutural SAP 2000, com o objectivo de modelar de forma aproximada a real geometria do edifício e, através da introdução das variadas acções actuantes na estrutura, fazer determinadas considerações do comportamento da mesma face às solicitações impostas. Pretendeu-se ainda estabelecer uma relação entres os resultados obtidos e as técnicas de reforço utilizadas na reabilitação destes edifícios.

Influência da modelação de núcleos de betão armado no cálculo automático de estruturas de edifícios

O presente trabalho aborda a questão do comportamento e influência estrutural da modelação de um núcleo de secção aberta de parede fina no modelo tridimensional de elementos finitos de um edifício de betão armado, composto por 5 pisos sujeito à acção sísmica regulamentar. Para o efeito, foram considerados os Eurocódigos estruturais, nomeadamente o Eurocódigo 0, Eurocódigo 1 e Eurocódigo 8. A fim de avaliar a importância do tipo de modelação destes elementos estruturais, elemento fundamental para a caracterização da resposta dinâmica, foi desenvolvido um estudo paramétrico, fazendo-se a análise de quatro formas distintas de modelação do mesmo núcleo. Para os mesmos casos de carregamento, é feita uma análise comparativa entre os resultados obtidos a nível de períodos, percentagem de armadura nos pilares e no próprio núcleo bem como os deslocamentos para os modelos em estudo, com recurso a um programa de cálculo automático. O edifício considerado neste trabalho foi modelado com base no programa comercial de cálculo automático SAP 2000 versão 14.4. Posteriormente apresentam-se e discutem-se os resultados obtidos nos vários modelos em causa e para as várias situações propostas ao longo do trabalho.

Acompanhamento da construção da unidade de cuidados continuados de Juso, em Cascais

O presente Trabalho Final de Mestrado tem por objectivo descrever as actividades desenvolvidas durante a realização de um estágio curricular, no âmbito do Mestrado em Engenharia Civil, no Instituto Superior de Engenharia de Lisboa. A escolha de um estágio curricular relaciona-se com o interesse em aplicar o conhecimento académico adquirido no exercício da profissão na área da construção e reabilitação de edifícios, obtendo assim uma formação mais ampla e completa nesta área, essencial a uma melhor integração no mercado de trabalho. O estágio foi realizado na empresa Casais – Engenharia e Construção, S.A., durante um período de cinco meses, no qual foi possível acompanhar parte da construção da Unidade de Cuidados Continuados de Juso, em Cascais. Esta obra incluiu a reabilitação e ampliação de um edifício já existente. No relatório são descritas as actividades desenvolvidas, dando-se relevo aos processos construtivos utilizados, e chamando a atenção para os problemas encontrados e à forma como estes foram resolvidos, tendo em conta os recursos disponíveis, a legislação aplicável e as boas práticas construtivas.

Projecto de estabilidade da Escola Superior de Enfermagem Artur Ravara

O presente trabalho, refere-se ao projecto de estabilidade, em betão armado e pré-esforçado, da Escola Superior de Enfermagem Artur Ravara, situada na zona da EXPO em Lisboa. O edifício apresenta-se com uma implantação em “L”, tendo como dimensões máximas 38,50m x 54,80m e desenvolve-se em altura por quatro pisos, dos quais, dois são enterrados. A estrutura do edifício em causa, apresenta duas juntas de dilatação, por forma a tornar desprezáveis os efeitos devidos à retracção e diminuição de temperatura, dividindo o edifício em três blocos. As suas fundações são indirectas, constituídas por estacas moldadas no terreno e respectivos maciços de encabeçamento. As lajes são fungiformes aligeiradas de moldes perdidos, de modo a permitir vencer maiores vãos, que variam entre os 6,60m e os 10,00m, e permitindo também maior rapidez de execução e maior economia. As consolas de 3,50m de vão, em laje maciça, são suportadas por vigas pré-esforçadas de secção variável. Para o cálculo automático da estrutura e da obtenção dos respectivos desenhos das armaduras, foi utilizado o programa de cálculo automático, Tricalc 7.1. O conteúdo do projecto em questão, sendo de carácter académico, não corresponde à versão real, à qual não se teve acesso. O dimensionamento das fundações, devido à fraca resistência dos solos e o dimensionamento da estrutura, devido à geometria e dimensões do edifício, permitiram enfrentar desafios interessantes. Tais desafios, deram possibilidade de enriquecer bastante os conhecimentos sobre a engenharia de estruturas.

Projecto de reabilitação e reforço de um túnel ferroviário

As obras de arte e as demais estruturas, são dimensionadas para um tempo de vida útil em serviço. Com o passar do tempo as estruturas começam a apresentar patologias e assim sendo há que intervir em serviços de manutenção ou, no limite, de recuperação e reforço. Estas intervenções servem para beneficiar ou reforçar as estruturas, com o intuito de evitar acidentes, pois estes, levariam a grandes prejuízos e contratempos, principalmente quando estas obras se situam em meios urbanos. Os problemas patológicos que surgem numa estrutura são ocasionados pela sua antiguidade, por manutenção inadequada ou mesmo ausência de total de manutenção, têm na sua origem o desconhecimento técnico e/ou problemas financeiros. Este trabalho consiste num projecto de beneficiação e reforço de um túnel ferroviário, fazendo uma abordagem das patologias existentes nos vários elementos construtivos e uma apresentação das técnicas de reabilitação e reforço utilizadas.

Intelligent decision making in electricity markets: simulated annealing Q-Learning

Electricity markets are complex environments, involving a large number of different entities, playing in a dynamic scene to obtain the best advantages and profits. MASCEM is a multi-agent electricity market simulator to model market players and simulate their operation in the market. Market players are entities with specific characteristics and objectives, making their decisions and interacting with other players. MASCEM is integrated with ALBidS, a system that provides several dynamic strategies for agents’ behavior. This paper presents a method that aims at enhancing ALBidS competence in endowing market players with adequate strategic bidding capabilities, allowing them to obtain the higher possible gains out of the market. This method uses a reinforcement learning algorithm to learn from experience how to choose the best from a set of possible actions. These actions are defined accordingly to the most probable points of bidding success. With the purpose of accelerating the convergence process, a simulated annealing based algorithm is included.

Multiagent system for adaptive strategy formulation in electricity markets

Electricity markets are complex environments with very particular characteristics. MASCEM is a market simulator developed to allow deep studies of the interactions between the players that take part in the electricity market negotiations. This paper presents a new proposal for the definition of MASCEM players’ strategies to negotiate in the market. The proposed methodology is multiagent based, using reinforcement learning algorithms to provide players with the capabilities to perceive the changes in the environment, while adapting their bids formulation according to their needs, using a set of different techniques that are at their disposal.

MASCEM: electricity markets simulation with strategic agents

Electricity markets are complex environments, involving numerous entities trying to obtain the best advantages and profits while limited by power-network characteristics and constraints.1 The restructuring and consequent deregulation of electricity markets introduced a new economic dimension to the power industry. Some observers have criticized the restructuring process, however, because it has failed to improve market efficiency and has complicated the assurance of reliability and fairness of operations. To study and understand this type of market, we developed the Multiagent Simulator of Competitive Electricity Markets (MASCEM) platform based on multiagent simulation. The MASCEM multiagent model includes players with strategies for bid definition, acting in forward, day-ahead, and balancing markets and considering both simple and complex bids. Our goal with MASCEM was to simulate as many market models and player types as possible. This approach makes MASCEM both a short- and mediumterm simulation as well as a tool to support long-term decisions, such as those taken by regulators. This article proposes a new methodology integrated in MASCEM for bid definition in electricity markets. This methodology uses reinforcement learning algorithms to let players perceive changes in the environment, thus helping them react to the dynamic environment and adapt their bids accordingly.

Bid definition method for electricity markets based on an adaptive multiagent system

Electricity markets are complex environments with very particular characteristics. MASCEM is a market simulator developed to allow deep studies of the interactions between the players that take part in the electricity market negotiations. This paper presents a new proposal for the definition of MASCEM players’ strategies to negotiate in the market. The proposed methodology is multiagent based, using reinforcement learning algorithms to provide players with the capabilities to perceive the changes in the environment, while adapting their bids formulation according to their needs, using a set of different techniques that are at their disposal. Each agent has the knowledge about a different method for defining a strategy for playing in the market, the main agent chooses the best among all those, and provides it to the market player that requests, to be used in the market. This paper also presents a methodology to manage the efficiency/effectiveness balance of this method, to guarantee that the degradation of the simulator processing times takes the correct measure.

Strategic bidding methodology for electricity markets using adaptive learning

The very particular characteristics of electricity markets, require deep studies of the interactions between the involved players. MASCEM is a market simulator developed to allow studying electricity market negotiations. This paper presents a new proposal for the definition of MASCEM players’ strategies to negotiate in the market. The proposed methodology is implemented as a multiagent system, using reinforcement learning algorithms to provide players with the capabilities to perceive the changes in the environment, while adapting their bids formulation according to their needs, using a set of different techniques that are at their disposal. This paper also presents a methodology to define players’ models based on the historic of their past actions, interpreting how their choices are affected by past experience, and competition.

Dimensionamento de um pavilhão misto (metálico + betão armado)

O presente documento refere-se ao Trabalho Final de Mestrado, para a obtenção do grau de Mestre do curso de Engenharia Civil, e compreende a elaboração do Ante-Projecto de um Pavilhão Misto destinado ao armazenamento de carvão mineral. A realização deste trabalho teve como principal objectivo o emprego dos conceitos apreendidos nas Unidades Curriculares do Mestrado e da Licenciatura, bem como o estudo de softwares utilizados na determinação de esforços e cálculo de estruturas (Robot Structural Analysi e Gala Reinforcement). A modelação da estrutura foi realizada recorrendo a um programa de cálculo automático Robot Structural Analysis, procurando sempre validar os resultados obtidos, através de folhas de cálculo em Excel desenvolvidas para o efeito. O dimensionamento do sistema estrutural foi efectuado sempre que possível de acordo com a regulamentação Europeia (Eurocódigos). Reuniram-se também alguns elementos relativos a estruturas deste tipo, consultando a priori, bibliografia da especialidade com o objectivo de adquirir conhecimentos mais profundos, necessários para realização deste projecto.

O jornalismo de proximidade como promotor da cultura e identidade de uma região: o caso do Porto Canal

Relatório de estágio apresentado à Escola Superior de Comunicação Social como parte dos requisitos para obtenção de grau de mestre em Jornalismo.

Estudo numérico e experimental sobre o comportamento dinâmico de um edifício

Dissertação para obtenção do grau de Mestre em Engenharia Civil na Área de Especialização em Estruturas