Dynamic equilibrium through reinforcement learning

Reinforcement Learning is an area of Machine Learning that deals with how an agent should take actions in an environment such as to maximize the notion of accumulated reward. This type of learning is inspired by the way humans learn and has led to the creation of various algorithms for reinforcement learning. These algorithms focus on the way in which an agent’s behaviour can be improved, assuming independence as to their surroundings. The current work studies the application of reinforcement learning methods to solve the inverted pendulum problem. The importance of the variability of the environment (factors that are external to the agent) on the execution of reinforcement learning agents is studied by using a model that seeks to obtain equilibrium (stability) through dynamism – a Cart-Pole system or inverted pendulum. We sought to improve the behaviour of the autonomous agents by changing the information passed to them, while maintaining the agent’s internal parameters constant (learning rate, discount factors, decay rate, etc.), instead of the classical approach of tuning the agent’s internal parameters. The influence of changes on the state set and the action set on an agent’s capability to solve the Cart-pole problem was studied. We have studied typical behaviour of reinforcement learning agents applied to the classic BOXES model and a new form of characterizing the environment was proposed using the notion of convergence towards a reference value. We demonstrate the gain in performance of this new method applied to a Q-Learning agent.

Lean thinking: Glass Wall Management

Sendo os desperdícios “Waste” associados à atividade industrial em Portugal e nos mercados globais e os seus custos inerentes, uma das maiores preocupações a todos os níveis de gestão empresarial, a filosofia “Lean” nasce como ajuda e encaminhamento na solução desta problemática. O conceito “Lean”, no que se refere à indústria, desde sempre e até aos dias de hoje, tem uma enorme ênfase, com a adoção deste conceito.Verificam-se bons resultados ao nível da redução de custos, melhoria da qualidade geral dos artigos produzidos, no controlo da produção em geral e é uma poderosa ferramenta no estreitamento da relação entre os diferentes intervenientes da cadeia de valor de determinado produto, sobretudo com fornecedores e com clientes. Com “Lean Management” e “Glass Wall Management”, em ambientes onde as empresas mais avançadas estão a procurar melhorar a sua competitividade através de uma gestão transparente (“Glass Wall Management”), a partir da qual, “toda informação relevante é compartilhada de maneira a que todos entendam a situação”(Suzaki, K, 1993), ganha cada vez mais importância a existência de uma estrutura organizacional que permita esta transparência e a consequente maturidade das empresas. Neste trabalho foram descritos alguns processos de gestão transparente desenvolvidos nos últimos dois anos numa PME portuguesa, aprofundando o processo de gestão transparente vigente e as ferramentas que ajudam a empresa e que na sua globalidade poderão ser extrapoladas a outras PME Portuguesas de modo que a informação importante e relevante seja partilhada por todos os intervenientes na estrutura empresarial, sendo entendida e desenvolvida por todos através de Edições e Revisões aos documentos mais importantes da empresa. Neste estudo foram contactadas vinte e uma PME’S portuguesas de tipologia de produção MTO (Make to Order) do sector dos estofos/mobiliário, e solicitado o preenchimento de um Questionário, tendo como fim em vista, a verificação do uso desta metodologia “Glass Wall Management” à escala empresarial portuguesa e a interpretação do Conceito Geral “Lean” como filosofia de redução de materiais, tempos e custos.

Otimização de placas compósitas laminadas utilizando redes neuronais e enxames de partículas

Trabalho Final de mestrado para obtenção do grau de Mestre em engenharia Mecância

Carbon nanotubes as reinforcement of cellulose liquid crystalline responsive networks

The incorporation of small amount of highly anisotropic nanoparticles into liquid crystalline hydroxypropylcellulose (LC-HPC) matrix improves its response when is exposed to humidity gradients due to an anisotropic increment of order in the structure. Dispersed nanoparticles give rise to faster order/disorder transitions when exposed to moisture as it is qualitatively observed and quantified by stress-time measurements. The presence of carbon nanotubes derives in a improvement of the mechanical properties of LC-HPC thin films.