Dynamic equilibrium through reinforcement learning

Reinforcement Learning is an area of Machine Learning that deals with how an agent should take actions in an environment such as to maximize the notion of accumulated reward. This type of learning is inspired by the way humans learn and has led to the creation of various algorithms for reinforcement learning. These algorithms focus on the way in which an agent’s behaviour can be improved, assuming independence as to their surroundings. The current work studies the application of reinforcement learning methods to solve the inverted pendulum problem. The importance of the variability of the environment (factors that are external to the agent) on the execution of reinforcement learning agents is studied by using a model that seeks to obtain equilibrium (stability) through dynamism – a Cart-Pole system or inverted pendulum. We sought to improve the behaviour of the autonomous agents by changing the information passed to them, while maintaining the agent’s internal parameters constant (learning rate, discount factors, decay rate, etc.), instead of the classical approach of tuning the agent’s internal parameters. The influence of changes on the state set and the action set on an agent’s capability to solve the Cart-pole problem was studied. We have studied typical behaviour of reinforcement learning agents applied to the classic BOXES model and a new form of characterizing the environment was proposed using the notion of convergence towards a reference value. We demonstrate the gain in performance of this new method applied to a Q-Learning agent.

Análise de investimento de um projeto imobiliário: armazém industrial

Análise de investimento da construção e comercialização de um armazém industrial, situado na zona Industrial de Sines, com dois pisos e 400 m2 de área de construção. Esta análise permite a tomada decisão de levar por diante a construção do imóvel, em que já se possui o terreno e a única incógnita são os custos de construção, dado que o preço de venda do imóvel acabado é estabelecido pelo mercado. Começou-se por fazer a avaliação do imóvel no estado acabado através de dois métodos de avaliação: o método comparativo ou de mercado e o método do rendimento. Para tal, utilizam-se amostras de imóveis semelhantes ao imóvel em avaliação à venda no mercado local. Na validação da amostra, utiliza-se o critério de Chauvenet. A decisão de investimento no imóvel tem por base uma abordagem estática de análise de investimento. Para tal, estimaram-se o valor do terreno e encargos, custos de construção e encargos, custos comerciais, PVT e a margem do promotor. Para um controlo rigoroso da execução do investimento numa fase posterior faz-se a avaliação do projeto de investimento, segundo uma abordagem dinâmica de análise de investimento, tendo por base o desconto de fluxos de caixa. Esta é complementada por uma análise de sensibilidade na ótica dos capitais próprios: aos custos de construção, ao tempo de construção, ao tempo de venda e ao PVT, face a um cenário base. Por último, é feito um acompanhamento continuado ao longo da obra entre os desvios dos custos de construção reais e os previstos na decisão de investimento inicial.

Contratos de futuros sobre taxas de juro : estudo de caso sobre a Euribor a 3 meses

Mestrado em Contabilidade e Análise Financeira