Dynamic equilibrium through reinforcement learning

Reinforcement Learning is an area of Machine Learning that deals with how an agent should take actions in an environment such as to maximize the notion of accumulated reward. This type of learning is inspired by the way humans learn and has led to the creation of various algorithms for reinforcement learning. These algorithms focus on the way in which an agent’s behaviour can be improved, assuming independence as to their surroundings. The current work studies the application of reinforcement learning methods to solve the inverted pendulum problem. The importance of the variability of the environment (factors that are external to the agent) on the execution of reinforcement learning agents is studied by using a model that seeks to obtain equilibrium (stability) through dynamism – a Cart-Pole system or inverted pendulum. We sought to improve the behaviour of the autonomous agents by changing the information passed to them, while maintaining the agent’s internal parameters constant (learning rate, discount factors, decay rate, etc.), instead of the classical approach of tuning the agent’s internal parameters. The influence of changes on the state set and the action set on an agent’s capability to solve the Cart-pole problem was studied. We have studied typical behaviour of reinforcement learning agents applied to the classic BOXES model and a new form of characterizing the environment was proposed using the notion of convergence towards a reference value. We demonstrate the gain in performance of this new method applied to a Q-Learning agent.

Sistema de apoio à decisão para a classificação de risco em projectos de tecnologias de informação

O trabalho que a seguir se apresenta tem como objectivo descrever a criação de um modelo que sirva de suporte a um sistema de apoio à decisão sobre o risco inerente à execução de projectos na área das Tecnologias de Informação (TI) recorrendo a técnicas de mineração de dados. Durante o ciclo de vida de um projecto, existem inúmeros factores que contribuem para o seu sucesso ou insucesso. A responsabilidade de monitorizar, antever e mitigar esses factores recai sobre o Gestor de Projecto. A gestão de projectos é uma tarefa difícil e dispendiosa, consome muitos recursos, depende de numerosas variáveis e, muitas vezes, até da própria experiência do Gestor de Projecto. Ao ser confrontado com as previsões de duração e de esforço para a execução de uma determinada tarefa, o Gestor de Projecto, exceptuando a sua percepção e intuição pessoal, não tem um modo objectivo de medir a plausibilidade dos valores que lhe são apresentados pelo eventual executor da tarefa. As referidas previsões são fundamentais para a organização, pois sobre elas são tomadas as decisões de planeamento global estratégico corporativo, de execução, de adiamento, de cancelamento, de adjudicação, de renegociação de âmbito, de adjudicação externa, entre outros. Esta propensão para o desvio, quando detectada numa fase inicial, pode ajudar a gerir melhor o risco associado à Gestão de Projectos. O sucesso de cada projecto terminado foi qualificado tendo em conta a ponderação de três factores: o desvio ao orçamentado, o desvio ao planeado e o desvio ao especificado. Analisando os projectos decorridos, e correlacionando alguns dos seus atributos com o seu grau de sucesso o modelo classifica, qualitativamente, um novo projecto quanto ao seu risco. Neste contexto o risco representa o grau de afastamento do projecto ao sucesso. Recorrendo a algoritmos de mineração de dados, tais como, árvores de classificação e redes neuronais, descreve-se o desenvolvimento de um modelo que suporta um sistema de apoio à decisão baseado na classificação de novos projectos. Os modelos são o resultado de um extensivo conjunto de testes de validação onde se procuram e refinam os indicadores que melhor caracterizam os atributos de um projecto e que mais influenciam o risco. Como suporte tecnológico para o desenvolvimento e teste foi utilizada a ferramenta Weka 3. Uma boa utilização do modelo proposto possibilitará a criação de planos de contingência mais detalhados e uma gestão mais próxima para projectos que apresentem uma maior propensão para o risco. Assim, o resultado final pretende constituir mais uma ferramenta à disposição do Gestor de Projecto.

Sensor de glicose polarimétrico

Esta tese tem como principal objectivo a investigação teórica e experimental do desempenho de um sensor polarimétrico baseado num cristal líquido para medição da concentração de glicose. Recentemente uma série de sensores polarimétricos baseados em cristais líquidos foram propostos na literatura e receberam considerável interesse devido as suas características únicas. De facto, em comparação com outros moduladores electro-ópticos, o cristal líquido funciona com tensões mais baixas, tem baixo consumo de energia e maior ângulo de rotação. Além disso, este tipo de polarímetro pode ter pequenas dimensões que é uma característica interessante para dispositivos portáteis e compactos. Existem por outro lado algumas desvantagens, nomeadamente o facto do desempenho do polarímetro ser fortemente dependente do tipo de cristal líquido e da tensão a ele aplicada o que coloca desafios na escolha dos parâmetros óptimos de operação. Esta tese descreve o desenvolvimento do sensor polarimétrico, incluindo a integração dos componentes de óptica e electrónica, os algoritmos de processamento de sinal e um interface gráfico que facilita a programação de diversos parâmetros de operação e a calibração do sensor. Após a optimização dos parâmetros de operação verificou-se que o dispositivo mede a concentração da glicose em amostras com uma concentração de 8 mg/ml, com uma percentagem de erro inferior a 6% e um desvio padrão de 0,008o. Os resultados foram obtidos para uma amostra com percurso óptico de apenas 1 cm.

Planeamento e optimização em redes celulares móveis auto-geridas assentes em LTE

O objectivo deste trabalho consiste em avaliar os benefícios das Self Organizing Networks (SON), no que concerne ao planeamento e optimização de redes Long Term Evolution (LTE), não só através do seu estudo, como também através do desenvolvimento e teste de algoritmos, que permitem avaliar o funcionamento de algumas das suas principais funções. O estudo efectuado sobre as SON permitiu identificar um conjunto de funções, tais como a atribuição automática de Physical Cell Id (PCI), o Automatic Neighbour Relation (ANR) e a optimização automática de parâmetros de handover, que permitem facilitar ou mesmo substituir algumas das tarefas mais comuns em planeamento e optimização de redes móveis celulares, em particular, redes LTE. Recorrendo a um simulador LTE destinado à investigação académica, em código aberto e desenvolvido em Matlab®, foi desenvolvido um conjunto de algoritmos que permitiram a implementação das funções em questão. Para além das funções implementadas, foram também introduzidas alterações que conferem a este simulador a capacidade de representar e simular redes reais, permitindo uma análise mais coerente dos algoritmos desenvolvidos. Os resultados obtidos, para além de evidenciarem claramente o benefício dos algoritmos desenvolvidos, foram ainda comparados com os obtidos pela ferramenta profissional de planeamento e optimização Atoll®, tendo-se verificado a franca proximidade de desempenho em algumas das funções. Finalmente, foi desenvolvida uma interface gráfica que permite o desenho, configuração e simulação de cenários, bem como a análise de resultados.

Implementação de WDM com dispositivos semicondutores

Este trabalho utiliza uma estrutura pin empilhada, baseada numa liga de siliceto de carbono amorfo hidrogenado (a-Si:H e/ou a-SiC:H), que funciona como filtro óptico na zona visível do espectro electromagnético. Pretende-se utilizar este dispositivo para realizar a demultiplexagem de sinais ópticos e desenvolver um algoritmo que permita fazer o reconhecimento autónomo do sinal transmitido em cada canal. O objectivo desta tese visa implementar um algoritmo que permita o reconhecimento autónomo da informação transmitida por cada canal através da leitura da fotocorrente fornecida pelo dispositivo. O tema deste trabalho resulta das conclusões de trabalhos anteriores, em que este dispositivo e outros de configuração idêntica foram analisados, de forma a explorar a sua utilização na implementação da tecnologia WDM. Neste trabalho foram utilizados três canais de transmissão (Azul – 470 nm, Verde – 525 nm e Vermelho – 626 nm) e vários tipos de radiação de fundo. Foram realizadas medidas da resposta espectral e da resposta temporal da fotocorrente do dispositivo, em diferentes condições experimentais. Variou-se o comprimento de onda do canal e o comprimento de onda do fundo aplicado, mantendo-se constante a intensidade do canal e a frequência de transmissão. Os resultados obtidos permitiram aferir sobre a influência da presença da radiação de fundo e da tensão aplicada ao dispositivo, usando diferentes sequências de dados transmitidos nos vários canais. Verificou-se, que sob polarização inversa, a radiação de fundo vermelho amplifica os valores de fotocorrente do canal azul e a radiação de fundo azul amplifica o canal vermelho e verde. Para polarização directa, apenas a radiação de fundo azul amplifica os valores de fotocorrente do canal vermelho. Enquanto para ambas as polarizações, a radiação de fundo verde, não tem uma grande influência nos restantes canais. Foram implementados dois algoritmos para proceder ao reconhecimento da informação de cada canal. Na primeira abordagem usou-se a informação contida nas medidas de fotocorrente geradas pelo dispositivo sob polarização inversa e directa. Pela comparação das duas medidas desenvolveu-se e testou-se um algoritmo que permite o reconhecimento dos canais individuais. Numa segunda abordagem procedeu-se ao reconhecimento da informação de cada canal mas com aplicação de radiação de fundo, tendo-se usado a informação contida nas medidas de fotocorrente geradas pelo dispositivo sob polarização inversa sem aplicação de radiação de fundo com a informação contida nas medidas de fotocorrente geradas pelo dispositivo sob polarização inversa com aplicação de radiação de fundo. Pela comparação destas duas medidas desenvolveu-se e testou-se o segundo algoritmo que permite o reconhecimento dos canais individuais com base na aplicação de radiação de fundo.

Optimização dos protocolos de reconstrução em imagens TC de AVC isquémico agudo: projecto

Mestrado de Radiações aplicadas às Tecnologias da Saúde. Área de especialização: Imagem Digital com Radiação X.

Monitorização da insuficiência cardíaca por parâmetros fisiológicos em portadores de cardioversor-desfibrilhador implantável e/ou sistema de ressincronização cardíaca: HF-PREDICT

Mestrado em Tecnologia de Diagnóstico e Intervenção Cardiovascular. Área de especialização: Intervenção Cardiovascular.

Sistema de digitalização, detecção e classificação automática de recibos em dispositivos móveis

Ao longo dos últimos anos tem-se assistido a uma rápida evolução dos dispositivos móveis. Essa evolução tem sido mais intensa no poder de processamento, na resolução e qualidade das câmaras e na largura de banda das redes móveis de nova geração. Outro aspecto importante é o preço, pois cada vez mais existem dispositivos móveis avançados a um preço acessível, o que facilita a adopção destes equipamentos por parte dos utilizadores. Estes factores contribuem para que o número de utilizadores com “computadores de bolso” tenda a aumentar, possibilitando cada vez mais a criação de ferramentas com maior complexidade que tirem partido das características desses equipamentos. Existem muitas aplicações que exploram estas características para facilitar o trabalho aos utilizadores. Algumas dessas aplicações conseguem retirar informação do mundo físico e fazer algum tipo de processamento, como por exemplo, um leitor de códigos QR ou um OCR (Optical Character Recognizer). Aproveitando o potencial dos dispositivos móveis actuais, este trabalho descreve o estudo, a implementação e a avaliação de uma aplicação de realidade aumentada para adquirir e gerir recibos em papel de forma automática e inteligente. A aplicação utiliza a câmara do dispositivo para adquirir imagens dos recibos de forma a poder processá-las recorrendo a técnicas de processamento de imagem. Tendo uma imagem processada do recibo é efectuado um reconhecimento óptico de caracteres para extracção de informação e é utilizada uma técnica de classificação para atribuir uma classe ao documento. Para um melhor desempenho do classificador é utilizada uma estratégia de aprendizagem incremental. Após a correcta classificação é possível visualizar o recibo com informação adicional (realidade aumentada). O trabalho proposto inclui também a avaliação da interface e dos algoritmos desenvolvidos.

Estudo dosimétrico comparativo do Acuros® XB: algoritmo avançado de cálculo de dose com o AAA – Anisotropic Analytical Alghorithm, em tratamentos de radioterapia externa com a técnica de RapidArc™

Mestrado em Radioterapia.

Avaliação da caracterização de lesões em mamografia com recurso a sistemas CAD (Diagnóstico Assistido por Computador)

Mestrado em Radiações Aplicadas às Tecnologias da Saúde. Área de especialização: Imagem Digital com Radiação X.

Avaliação do desempenho de um sistema híbrido de tomografia por emissão de positrões e tomografia computorizada

Mestrado em Medicina Nuclear.

Comparação entre o pencil beam convolution algorithm e o analytical anisotropic algorithm em tumores de mama

Mestrado em Radioterapia

Coletores de distribuição e sua otimização hidráulica, aplicados a uma instalação de produção de água arrefecida em sistemas de AVAC ( Fórum Picoas)

Trabalho Final de Mestrado para obtenção do grau de Mestre em Engenharia Mecânica

Modelo de data mining para detecção de tumores em exames de rastreio

Dissertação para obtenção do grau de Mestre em Engenharia Informática

GuideMe: service for consulting, publication and recommendation of touristic locations

Trabalho de Projeto realizado para obtenção do grau de Mestre em Engenharia Informática e de Computadores