Dynamic equilibrium through reinforcement learning

Reinforcement Learning is an area of Machine Learning that deals with how an agent should take actions in an environment such as to maximize the notion of accumulated reward. This type of learning is inspired by the way humans learn and has led to the creation of various algorithms for reinforcement learning. These algorithms focus on the way in which an agent’s behaviour can be improved, assuming independence as to their surroundings. The current work studies the application of reinforcement learning methods to solve the inverted pendulum problem. The importance of the variability of the environment (factors that are external to the agent) on the execution of reinforcement learning agents is studied by using a model that seeks to obtain equilibrium (stability) through dynamism – a Cart-Pole system or inverted pendulum. We sought to improve the behaviour of the autonomous agents by changing the information passed to them, while maintaining the agent’s internal parameters constant (learning rate, discount factors, decay rate, etc.), instead of the classical approach of tuning the agent’s internal parameters. The influence of changes on the state set and the action set on an agent’s capability to solve the Cart-pole problem was studied. We have studied typical behaviour of reinforcement learning agents applied to the classic BOXES model and a new form of characterizing the environment was proposed using the notion of convergence towards a reference value. We demonstrate the gain in performance of this new method applied to a Q-Learning agent.

O cálculo mental na resolução de problemas : um estudo no 1.º ano de escolaridade

Este estudo tem como principal objectivo compreender de que modo os alunos de 1.º ano de escolaridade desenvolvem estratégias de cálculo mental, num contexto de resolução de problemas de adição e subtracção. Para tal, procurou responder-se a três questões: a) Que estratégias de cálculo mental são utilizadas pelos alunos na resolução de problemas de adição e subtracção?; b) De que modo evoluem essas estratégias?; e c) Será que o significado da operação de adição ou subtracção, presente no problema, influencia a estratégia de cálculo mental utilizada na sua resolução? Tendo em conta a problemática do estudo, seguiu-se uma metodologia de natureza qualitativa, tendo sido realizados três estudos de caso. O trabalho de campo deste estudo foi realizado numa turma do 1.º ano do 1.º ciclo do ensino básico, da qual sou professora, tendo sido concluído no início do ano lectivo seguinte, quando os alunos frequentavam o 2.º ano de escolaridade. Os alunos em estudo resolveram três cadeias de problemas, contemplando os diferentes significados das operações de adição e subtracção: as primeiras duas cadeias foram resolvidas a pares, na sala de aula, e a última foi resolvida individualmente, apenas pelos alunos que constituíram os casos e fora da sala de aula. Os registos realizados pelos alunos aquando da resolução dos problemas, juntamente com as gravações áudio, vídeo e as notas de campo, constituíram-se como as principais fontes de recolha de dados. Os dados permitem afirmar que as estratégias de cálculo usadas pelos alunos evoluíram de estratégias elementares baseadas em contagem e na utilização de factos numéricos, para estratégias de cálculo mental complexas, aditivas ou subtractivas das categorias 1010 e N10. Foi possível identificar uma preferência por estratégias aditivas do tipo 1010 na resolução dos problemas de adição e, na resolução dos problemas de subtracção, as estratégias utilizadas pelos alunos variaram com o significado presente em cada problema: foram usadas estratégias subtractivas do tipo 1010 em problemas com o significado de retirar e, na resolução dos problemas com os significados de comparar e completar, de um modo geral, os alunos utilizaram estratégias aditivas do tipo A10, pertencente à categoria N10. Os dados apontam também para uma possível influência do ambiente de aprendizagem na utilização de estratégias de cálculo mental mais eficientes, particularmente a nível da estratégia aditiva do tipo 1010. Os dados permitem ainda concluir que alunos do 1.º ano são capazes de desenvolver e utilizar estratégias de cálculo mental, referidas na literatura a que tive acesso (por exemplo, Beishuizen, 1993; 2001; Buys, 2001; Cooper, Heirdsfield & Irons, 1995; Thompson & Smith, 1999), associadas a alunos mais velhos. Deste modo, os resultados deste estudo salientam a necessidade de, em ambientes de aprendizagem enriquecedores, o professor promover o desenvolvimento de estratégias complexas de cálculo mental, evoluindo para além das estratégias de cálculo elementares, habitualmente associadas aos alunos mais novos.

Estratégias para negociação de contratos bilaterais em mercados multi-agente de energia eléctrica

A energia eléctrica é um bem essencial para a maioria das sociedades. O seu fornecimento tem sido encarado como um serviço público, da responsabilidade dos governos, através de empresas monopolistas, públicas e privadas. O Mercado Ibérico de Electricidade (MIBEL) surge com o objectivo da integração e cooperação do sector eléctrico Português e Espanhol, no qual é possível negociar preços e volumes de energia. Actualmente, as entidades podem negociar através de um mercado bolsista ou num mercado de contratos bilaterais. Uma análise dos mercados de electricidade existentes mostra que estes estão longe de estarem liberalizados. As tarifas não reflectem o efeito da competitividade. Além disso, o recurso a contratos bilaterais limita frequentemente os clientes a um único fornecedor de energia eléctrica. Nos últimos anos, têm surgido uma série de ferramentas computacionais que permitem simular, parte ou a totalidade, dos mercados de electricidade. Contudo, apesar das suas potencialidades, muitos simuladores carecem de flexibilidade e generalidade. Nesta perspectiva, esta dissertação tem como principal objectivo o desenvolvimento de um simulador de mercados de energia eléctrica que possibilite lidar com as dificuldades inerentes a este novo modelo de mercado, recorrendo a agentes computacionais autónomos. A dissertação descreve o desenho e a implementação de um simulador simplificado para negociação de contratos bilaterais em mercados de energia, com particular incidência para o desenho das estratégias a utilizar pelas partes negociais. Além disso, efectua-se a descrição de um caso prático, com dados do MIBEL. Descrevem-se também várias simulações computacionais, envolvendo retalhistas e consumidores de energia eléctrica, que utilizam diferentes estratégias negociais. Efectua-se a análise detalhada dos resultados obtidos. De forma sucinta, os resultados permitem concluir que as melhores estratégias para cada entidade, no caso prático estudado, são: a estratégia de concessões fixas, para o retalhista, e a estratégia de concessões baseada no volume de energia, para o consumidor.

A hybrid approach to multi-agent decision-making

In the aftermath of a large-scale disaster, agents' decisions derive from self-interested (e.g. survival), common-good (e.g. victims' rescue) and teamwork (e.g. fire extinction) motivations. However, current decision-theoretic models are either purely individual or purely collective and find it difficult to deal with motivational attitudes; on the other hand, mental-state based models find it difficult to deal with uncertainty. We propose a hybrid, CvI-JI, approach that combines: i) collective 'versus' individual (CvI) decisions, founded on the Markov decision process (MDP) quantitative evaluation of joint-actions, and ii)joint-intentions (JI) formulation of teamwork, founded on the belief-desire-intention (BDI) architecture of general mental-state based reasoning. The CvI-JI evaluation explores the performance's improvement

RFID together with multi-agent systems to control global value chains

Nowadays, the cooperative intelligent transport systems are part of a largest system. Transportations are modal operations integrated in logistics and, logistics is the main process of the supply chain management. The supply chain strategic management as a simultaneous local and global value chain is a collaborative/cooperative organization of stakeholders, many times in co-opetition, to perform a service to the customers respecting the time, place, price and quality levels. The transportation, like other logistics operations must add value, which is achieved in this case through compression lead times and order fulfillments. The complex supplier's network and the distribution channels must be efficient and the integral visibility (monitoring and tracing) of supply chain is a significant source of competitive advantage. Nowadays, the competition is not discussed between companies but among supply chains. This paper aims to evidence the current and emerging manufacturing and logistics system challenges as a new field of opportunities for the automation and control systems research community. Furthermore, the paper forecasts the use of radio frequency identification (RFID) technologies integrated into an information and communication technologies (ICT) framework based on distributed artificial intelligence (DAI) supported by a multi-agent system (MAS), as the most value advantage of supply chain management (SCM) in a cooperative intelligent logistics systems. Logistical platforms (production or distribution) as nodes of added value of supplying and distribution networks are proposed as critical points of the visibility of the inventory, where these technological needs are more evident.

The problem of estimating the volatility of zero coupon bond interest rate

Financial literature and financial industry use often zero coupon yield curves as input for testing hypotheses, pricing assets or managing risk. They assume this provided data as accurate. We analyse implications of the methodology and of the sample selection criteria used to estimate the zero coupon bond yield term structure on the resulting volatility of spot rates with different maturities. We obtain the volatility term structure using historical volatilities and Egarch volatilities. As input for these volatilities we consider our own spot rates estimation from GovPX bond data and three popular interest rates data sets: from the Federal Reserve Board, from the US Department of the Treasury (H15), and from Bloomberg. We find strong evidence that the resulting zero coupon bond yield volatility estimates as well as the correlation coefficients among spot and forward rates depend significantly on the data set. We observe relevant differences in economic terms when volatilities are used to price derivatives.

Epidemiology of malaria, schistosomiasis, geohelminths, anemia and malnutrition in the context of a demographic surveillance system in Northern Angola

Background: Malaria, schistosomiasis and geohelminth infection are linked to maternal and child morbidity and mortality in sub-Saharan Africa. Knowing the prevalence levels of these infections is vital to guide governments towards the implementation of successful and cost-effective disease control initiatives. Methodology/Principal Findings: A cross-sectional study of 1,237 preschool children (0–5 year olds), 1,142 school-aged children (6–15 year olds) and 960 women (.15 year olds) was conducted to understand the distribution of malnutrition, anemia, malaria, schistosomiasis (intestinal and urinary) and geohelminths in a north-western province of Angola. We used a recent demographic surveillance system (DSS) database to select and recruit suitable households. Malnutrition was common among children (23.3% under-weight, 9.9% wasting and 32.2% stunting), and anemia was found to be a severe public health problem (i.e., .40%). Malaria prevalence was highest among preschool children reaching 20.2%. Microhematuria prevalence levels reached 10.0% of preschool children, 16.6% of school-aged children and 21.7% of mothers. Geohelminth infections were common, affecting 22.3% of preschool children, 31.6% of school-aged children and 28.0% of mothers. Conclusions: Here we report prevalence levels of malaria, schistosomiasis and geohelminths; all endemic in this poorly described area where a DSS has been recently established. Furthermore we found evidence that the studied infections are associated with the observed levels of anemia and malnutrition, which can justify the implementation of integrated interventions for the control of these diseases and morbidities.

Fungal contamination of poultries litter: a public health problem

Exposure to certain fungi can cause human illness. Fungi cause adverse human health effects through three specific mechanisms: generation of a harmful immune response (e.g., allergy or hypersensitivity pneumonitis); direct infection by the fungal organism; by toxic-irritant effects from mold byproducts, such as mycotoxins. In Portugal there is an increasingly industry of large facilities that produce whole chickens for domestic consumption and only few investigations have reported on fungal contamination of the poultry litter. The material used for poultry litter is varied but normally can be constitute by: pine shavings; sawdust of eucalyptus; other types of wood; peanut; coffee; sugar cane; straw; hay; grass; paper processed. Litter is one of the most contributive factors to fungal contamination in poultries. Spreading litter is one of the tasks that normally involve higher exposure of the poultry workers to dust, fungi and their metabolites, such as VOC’s and mycotoxins. After being used and removed from poultries, litter is ploughed into agricultural soils, being this practice potentially dangerous for the soil environment, as well for both humans and animals. The goal of this study was to characterize litter’s fungal contamination and also to report the incidence of keratinophilic and toxigenic fungi.

Contributo para a validação de uma estratégia de diagnóstico do risco de LMELT: empresas de triagem de resíduos orgânicos

Mestrado em Segurança e Higiene no Trabalho.

Planificação de um sistema de informação para a unidade de formação contínua e avançada da Escola Superior de Educação do Instituto Politécnico do Porto

Projecto apresentado ao Instituto Superior de Contabilidade e Administração do Porto para a obtenção do Grau de Mestre em Assessoria de Administração

Positive Solutions of the Dirichlet Problem for the One-dimensional Minkowski-Curvature Equation

We discuss existence and multiplicity of positive solutions of the Dirichlet problem for the quasilinear ordinary differential equation-(u' / root 1 - u'(2))' = f(t, u). Depending on the behaviour of f = f(t, s) near s = 0, we prove the existence of either one, or two, or three, or infinitely many positive solutions. In general, the positivity of f is not required. All results are obtained by reduction to an equivalent non-singular problem to which variational or topological methods apply in a classical fashion.

Fungal contamination of poultry litter: a public health problem

Although numerous studies have been conducted on microbial contaminants associated with various stages related to poultry and meat products processing, only a few reported on fungal contamination of poultry litter. The goals of this study were to (1) characterize litter fungal contamination and (2) report the incidence of keratinophilic and toxigenic fungi presence. Seven fresh and 14 aged litter samples were collected from 7 poultry farms. In addition, 27 air samples of 25 litters were also collected through impaction method, and after laboratory processing and incubation of collected samples, quantitative colony-forming units (CFU/m3) and qualitative results were obtained. Twelve different fungal species were detected in fresh litter and Penicillium was the most frequent genus found (59.9%), followed by Alternaria (17.8%), Cladosporium (7.1%), and Aspergillus (5.7%). With respect to aged litter, 19 different fungal species were detected, with Penicillium sp. the most frequently isolated (42.3%), followed by Scopulariopsis sp. (38.3%), Trichosporon sp. (8.8%), and Aspergillus sp. (5.5%). A significant positive correlation was found between litter fungal contamination (CFU/g) and air fungal contamination (CFU/m3). Litter fungal quantification and species identification have important implications in the evaluation of potential adverse health risks to exposed workers and animals. Spreading of poultry litter in agricultural fields is a potential public health concern, since keratinophilic (Scopulariopsis and Fusarium genus) as well as toxigenic fungi (Aspergillus, Fusarium, and Penicillium genus) were isolated.

O impacto do uso da tala nocturna na funcionalidade do indivíduo com síndrome do túnel carpiano

A síndrome do túnel carpiano (STC) é considerada a neuropatia compressiva mais comum na população. É causada pela compressão directa sobre o nervo mediano no interior do túnel carpiano, que origina parestesias, dor na mão e disfunção muscular. Como consequência destes sintomas, os indivíduos vêem comprometida a sua funcionalidade ao nível das ocupações e, por consequência, alterado o seu desempenho ocupacional. Este trabalho tem como objectivo principal verificar de que forma a utilização da tala nocturna influencia a funcionalidade do indivíduo com STC. Concomitantemente pretende-se definir em que medida alterações das forças de preensão palmar e de pinças se relaciona com o uso da tala. Por último, identificar quais as variáveis sócio - demográficas e as que caracterizam a patologia que estão relacionadas com o problema em estudo e aos valores obtidos com as escalas do Boston Carpal Tunnel Questionnaire (BQTC), nos indivíduos dos grupos controlo e experimental. A amostra é constituída por 22 indivíduos no grupo controlo e 24 no grupo experimental, com diagnóstico de STC ligeiro e moderado. Foram aplicados o BCTQ, o dinamómetro e o pinch meter de Jamar. Os resultados deste estudo mostram uma diminuição significativa da sintomatologia da STC, após a aplicação da tala, nos momentos de reavaliação e follow up, (p=0,000 e p=0,004), assim como um aumento significativo da funcionalidade nos dois momentos (p=0,000 e p=0,004). Deste estudo conclui-se que a utilização da tala nocturna beneficia os indivíduos com STC ligeiro e moderado.

Nível de actividade do tronco vs repercussões funcionais no movimento de alcançar em indivíduos pós AVE

Objectivo Pretende-se verificar a influência de um programa de intervenção em fisioterapia, dirigido para o aumento do nível de actividade do tronco, bem como a sua relação em termos funcionais com o movimento de alcançar, em indivíduos pós Acidente Vascular Encefálico. Metodologia Amostra constituída por 2 elementos pós AVE. Após avaliação inicial identificou-se como principal problema a diminuição do nível de actividade do tronco. Foi implementado um programa de intervenção baseado num processo e raciocínio clínico durante 2 meses, tendo sido aplicado antes e depois, os instrumentos Functional Reach, Escala de Ashworth e Classificação Internacional de Funcionalidade, Incapacidade e Saúde. Resultados Melhoria na avaliação dos componentes de movimento durante os gestos funcionais, assim como se verificou um aumento da estabilidade anterior e uma diminuição do tónus muscular. Após a intervenção observa-se o envolvimento do membro superior em actividades funcionais. Conclusão Um programa de intervenção direccionado para o aumento do nível de actividade do tronco pode-se obter um movimento de alcance mais funcional durante as AVD´s e uma diminuição do tónus muscular do MS.

Estudo do controlo interno nas Instituições de Ensino Superior: contributo para a credibilidade da informação financeira

Dissertação apresentada ao Instituto Superior de Contabilidade e Administração do Porto para a obtenção do Grau de Mestre em Auditoria Orientada por Mestre Alcina Portugal Dias