An automatic tool to Extract, Transform and Load data from real electricity markets

The study of Electricity Markets operation has been gaining an increasing importance in the last years, as result of the new challenges that the restructuring produced. Currently, lots of information concerning Electricity Markets is available, as market operators provide, after a period of confidentiality, data regarding market proposals and transactions. These data can be used as source of knowledge, to define realistic scenarios, essential for understanding and forecast Electricity Markets behaviour. The development of tools able to extract, transform, store and dynamically update data, is of great importance to go a step further into the comprehension of Electricity Markets and the behaviour of the involved entities. In this paper we present an adaptable tool capable of downloading, parsing and storing data from market operators’ websites, assuring actualization and reliability of stored data.

Analysis of Consumption Data to Detect Commercial Losses Using Performance Evaluation Methods in a Smart Grid

Electric power networks, namely distribution networks, have been suffering several changes during the last years due to changes in the power systems operation, towards the implementation of smart grids. Several approaches to the operation of the resources have been introduced, as the case of demand response, making use of the new capabilities of the smart grids. In the initial levels of the smart grids implementation reduced amounts of data are generated, namely consumption data. The methodology proposed in the present paper makes use of demand response consumers’ performance evaluation methods to determine the expected consumption for a given consumer. Then, potential commercial losses are identified using monthly historic consumption data. Real consumption data is used in the case study to demonstrate the application of the proposed method.

Multi-scale vegetation classification using earth observation data of the Sundarban mangrove forest, Bangladesh.

Dissertation submitted in partial fulfilment of the requirements for the Degree of Master of Science in Geospatial Technologies.

Towards a unified European electricity market: The contribution of data-mining to support realistic simulation studies

Worldwide electricity markets have been evolving into regional and even continental scales. The aim at an efficient use of renewable based generation in places where it exceeds the local needs is one of the main reasons. A reference case of this evolution is the European Electricity Market, where countries are connected, and several regional markets were created, each one grouping several countries, and supporting transactions of huge amounts of electrical energy. The continuous transformations electricity markets have been experiencing over the years create the need to use simulation platforms to support operators, regulators, and involved players for understanding and dealing with this complex environment. This paper focuses on demonstrating the advantage that real electricity markets data has for the creation of realistic simulation scenarios, which allow the study of the impacts and implications that electricity markets transformations will bring to the participant countries. A case study using MASCEM (Multi-Agent System for Competitive Electricity Markets) is presented, with a scenario based on real data, simulating the European Electricity Market environment, and comparing its performance when using several different market mechanisms.

Data Mining Approach to support the Generation of Realistic Scenarios for Multi-Agent simulation of Electricity Markets

This paper presents the Realistic Scenarios Generator (RealScen), a tool that processes data from real electricity markets to generate realistic scenarios that enable the modeling of electricity market players’ characteristics and strategic behavior. The proposed tool provides significant advantages to the decision making process in an electricity market environment, especially when coupled with a multi-agent electricity markets simulator. The generation of realistic scenarios is performed using mechanisms for intelligent data analysis, which are based on artificial intelligence and data mining algorithms. These techniques allow the study of realistic scenarios, adapted to the existing markets, and improve the representation of market entities as software agents, enabling a detailed modeling of their profiles and strategies. This work contributes significantly to the understanding of the interactions between the entities acting in electricity markets by increasing the capability and realism of market simulations.

Improving discovery in the life sciences using semantic Web technologies and linked data: design principles for life sciences knowledge organization systems

Dissertation presented to obtain the Ph.D degree in Bioinformatics

Declarative approach to data extraction of web pages

Thesis submitted to Faculdade de Ciências e Tecnologia of the Universidade Nova de Lisboa, in partial fulfilment of the requirements for the degree of Master in Computer Science

Exploring distributed computing tools through data mining tasks

Harnessing idle PCs CPU cycles, storage space and other resources of networked computers to collaborative are mainly fixated on for all major grid computing research projects. Most of the university computers labs are occupied with the high puissant desktop PC nowadays. It is plausible to notice that most of the time machines are lying idle or wasting their computing power without utilizing in felicitous ways. However, for intricate quandaries and for analyzing astronomically immense amounts of data, sizably voluminous computational resources are required. For such quandaries, one may run the analysis algorithms in very puissant and expensive computers, which reduces the number of users that can afford such data analysis tasks. Instead of utilizing single expensive machines, distributed computing systems, offers the possibility of utilizing a set of much less expensive machines to do the same task. BOINC and Condor projects have been prosperously utilized for solving authentic scientific research works around the world at a low cost. In this work the main goal is to explore both distributed computing to implement, Condor and BOINC, and utilize their potency to harness the ideal PCs resources for the academic researchers to utilize in their research work. In this thesis, Data mining tasks have been performed in implementation of several machine learning algorithms on the distributed computing environment.

Investigating habitat association of breeding birds using public domain satellite imagery and land cover data.

Dissertation submitted in partial fulfilment of the requirements for the Degree of Master of Science in Geospatial Technologies

Salud y Seguridad del Trabajo en Portugal : apuntes diversos

RESUMO - El autor aborda algunos aspectos relativos a la Salud y Seguridad del Trabajo (SST) en Portugal llamando la atención para, esencialmente, intentar sostener la tesis de que, desde mediados de la década de los 90, se observaron importantes avances en la mejoría de las condiciones del trabajo en la perspectiva de la SST, aunque se mantuvieron algunos problemas en la práctica concreta de las normativas legales. Incluso con estas mejoras, las tasas de frecuencia de accidentes de trabajo y de enfermedades profesionales en Portugal todavía se mantienen muy elevadas necesitando, por tanto, estrategias más “agresivas” para concienciar la sociedad portuguesa en torno a las políticas públicas de SST efectivamente promotoras de prevención de riesgos profesionales y de la promoción de la salud de quien trabaja. Es por tanto indispensable que la protección de la salud y de la seguridad de los trabajadores en los puestos de trabajo sea encarada como un conjunto de actividades de indiscutible utilidad para todos los representantes del mundo del trabajo e que la agenda política pase a valorizar, aún más, la promoción de espacios de trabajo saludables y seguros, con la consecuente valorización de las variables individuales en la estrategia nacional de salud y seguridad.--------------------------ABSTRACT – In the present work, the author analyzes several aspects of Occupational Health and Safety (OHS) in Portugal. He provides evidence sustaining the assumption of an important progress, since the mid-nineties, in the improvement of the working conditions from an OHS perspective. Nevertheless, several problems still remain in the practical application of legal regulations. In addition, despite of these improvements, the frequency rates of working accidents and occupational diseases remain very high. Hence, more “aggressive” strategies are required to increase the awareness of the Portuguese society relative to the OHS public policies, whose effectiveness has been demonstrated either in terms of occupational risks prevention and workers health promotion. The protection of workers’ health and safety at the workplace must then be assumed as an activity of indisputable utility by all stakeholders. The political agenda must thus promote even more the promotion of healthy and safe workplaces. As a consequence, there would be also a higher development of individual aspects, and not only environmental data, in the national strategy of occ

Calcificações vasculares nos doentes em diálise : elo de ligação entre doença óssea e doença vascular

RESUMO: A presente dissertação para tese de doutoramento apresenta o desenvolvimento e a validação de um método simples e original para o diagnóstico de calcificações vasculares em doentes em diálise, utilizando um score semiquantitativo criado por nós e obtido em RX simples da bacia e das mãos, denominado score de calcifi cação vascular simples. Demonstramos que este score vascular simples é preditor de risco cardiovascular nos doentes em diálise. O score de calcificação vascular simples associou-se ainda à baixa densidade mineral óssea avaliada por dual energy X -ray absortiometry (DXA) no colo do fémur. Verifi camos igualmente que, em doentes em diálise, as calcifi cações coronárias quantifi cadas pelo score de Agatston e o score de calcifi cação vascular simples se associaram a um menor volume ósseo avaliado em biopsias ósseas. Estes trabalhos corroboram a hipótese da existência de um elo de ligação entre a doença óssea e a doença vascular nos doentes em diálise, e um dos elementos que contribuem para este elo de ligação podem ser as calcificações vasculares. Este score de calcificação vascular simples avalia calcifi cações em artérias de grande, médio e pequeno calibre, e inclui os dois padrões radiológicos de calcificação: calcificação linear, associada à calcifi cação da camada média da parede arterial, e calcificação irregular, associada à calcifi cação da camada íntima arterial1. Nos diferentes trabalhos por nós publicados demonstramos que as calcificações vasculares avaliadas por este método simples e barato permitem a identificação de indivíduos com elevado risco cardiovascular. Este score vascular associa -se a maior risco de mortalidade cardiovascular2, de mortalidade de causa global3, de internamentos cardiovasculares2, de doença ardiovascular2, de doença arterial periférica2,4,de calcifi cações valvulares5 e de rigidez arterial3. As guidelines KDIGO (Kidney disease: improving global outcomes), publicadas em 2009,sugerem que os doentes renais crónicos nos estadios 3 a 5, com calcificações vasculares e valvulares, devem ser considerados como apresentando o mais elevado risco cardiovascular6. A elevada mortalidade dos doentes renais crónicos não é totalmente explicada pelos fatores de risco tradicionais7. A organização KDIGO defende, desde 2006, a hipótese da existência de um elo de ligação entre a doença óssea e a doença vascular8. Esta ligação pode ser explicada pelas alterações do metabolismo mineral e ósseo e pela sua interação com as calcificações vasculares. Verificamos, nos nossos trabalhos, uma associação entre calcifi cações vasculares e doença óssea. O baixo volume ósseo diagnosticado por análise histomorfométrica de biopsias ósseas foi preditor de maior risco de calcificações vasculares avaliadas pelo score de calcifi cação vascular simples (dados apresentados nesta dissertação, no capítulo 6) e pelo score coronário de Agatston num grupo de doentes em diálise9. A contribuição original deste artigo9 foi considerada merecedora de um editorial feito pelo Dr. Gérard London10, investigador líder na área da calcificação vascular dos doentes renais crónicos e actual Presidente da EDTA (European Dialysis and Transplantation Association). Fomos também os primeiros a descrever uma associação independente e inversa entre a densidade mineral avaliada no colo do fémur por DXA (dual energy X -ray absortiometry) com calcificações vasculares avaliadas pelo score de calcificação vascular simples, com rigidez arterial avaliada por velocidade de onda de pulsocarotidofemoral e com doença arterial periférica diagnosticada por critérios clínicos11. Fomos igualmente os primeiros a mostrar uma correlação signifi cativa entre a densidade mineral óssea avaliada por DXA no colo do fémur, mas não na coluna lombar, com a espessura cortical avaliada por análise histomorfométrica em biopsia óssea12. O nosso estudo atribui pela primeira vez à DXA um papel no diagnóstico de porosidade cortical nos doentes em diálise. A utilidade da avaliação diferencial da densidade mineral óssea cortical e trabecular necessita ainda de ser confirmada em estudos prospectivos. Este achado inovador do nosso estudo foi mencionado pela ERBP (European Renal Best Practice) no comentário feito à posição da KDIGO que considera ser reduzida a utilidade da densidade mineral óssea nos doentes em diálise13. Dois dos trabalhos incluídos nesta dissertação foram referenciados nas guidelines KDIGO 2009 para avaliar a prevalência das calcificações vasculares (KDIGO 2009: Tabela suplementar 10, Fig. 3.6) e para validar a associação entre calcificações vasculares e mortalidade cardiovascular (KDIGO 2009: Tabela suplementar 12, Fig. 3.7)6. A inclusão destes nossos dois estudos nas referências destas guidelines, que utilizaram o exigente sistema GRADE (Grades of recommendation, assessment, development, and evaluation) na classificação e selecção dos estudos, valida o interesse científico dos nossos trabalhos. O diagnóstico de calcificações vasculares tem um interesse prático para os doentes renais crónicos. A presença de calcifi cações vasculares é um sinal de alerta para a existência de um elevado risco cardiovascular, e esta informação pode ser utilizada para modificar a terapêutica nestes doentes6. Diferentes métodos podem ser usados para diagnosticar calcificações vasculares nos doentes em diálise14,15. O score de calcificação vascular simples tem a vantagem da simplicidade e de poder ser facilmente interpretado pelo nefrologista, sem necessidade de um radiologista. A reprodutibilidade deste score já foi demonstrada por diferentes grupos em estudos nacionais e internacionais16-24. Nestes estudos foi demonstrado que as calcifi cações vasculares avaliadas pelo método criado por nós são preditoras de maior risco de eventos cardiovasculares16, de amputações dos membros inferiores17, de velocidade de onda de pulso18,19, de calcificações corneanas e conjuntivais20 e de calcifi cações coronárias21. Também foi demonstrada uma associação inversa entre o score de calcificação vascular simples com os níveis séricos de PTH21, com os níveis de 25(OH)vitamina D 22,23 e com os níveis de fetuína A19,24. Todos estes estudos, realizados por diferentes grupos, que utilizaram o score de calcificação vascular simples na sua metodologia, comprovam a facilidade de utilização deste score e a concordância de resultados atestam a sua reprodutibilidade e a utilidade na avaliação dos doentes renais crónicos. ---------------------------ABSTRACT: This thesis presents the development and validation of a simple and original method to identify vascular calcifications in dialysis patients, using a semi -quantitative score that we have created and that is obtained in plain X -ray of pelvis and hands. This score was named in different publications as “simple vascular calcifi cation score”. We have demonstrated that this score is a predictor of higher cardiovascular risk in dialysis patients. The simple vascular calcification score was also associated with lower mineral bone density evaluated by DXA in femoral neck. In hemodialysis patients coronary calcifications evaluated by the coronary Agatston score and by the simple vascular calcification score were associated with lower bone volume analysed in bone biopsies. These studies corroborate the hypothesis of the existence of a link between bone disease and vascular disease in dialysis patients and one of the elements of this link may be vascular calcifications. This simple vascular calcification score identifi es calcifications in large, medium and small calibre arteries and includes the two radiological patterns of arterial calcifi cation: linear calcification which has been associated with the calcifi cation of the media layer of the arterial wall and irregular and patchy calcification which has been associated with the calcifi cation of the intima layer of the arterial wall1. In the several studies that we have published we have demonstrated that vascular calcifications evaluated by this simple and inexpensive method allow the identification of patients with high cardiovascular risk. This simple vascular calcification score is an independent predictor of cardiovascular mortality2, all -cause mortality3, cardiovascular hospitalizations2, cardiovascular disease2, peripheral artery disease2,4, valvular calcifi cations5 and arterial stiffness3.KDIGO (Kidney Disease: Improving Global Outcomes) guidelines published in 2009 suggest that chronic kidney disease patients in stages 3 to 5, with vascular and valvular calcifications should be considered to be at the highest cardiovascular risk6. The high mortality of chronic kidney disease patients is not completely explained by the traditional risk factors7 and KDIGO group supports, since 2006, the hypothesis of the existence of a link between bone disease and vascular disease8.This link may be explained by the alterations of the bone and mineral metabolism and their interaction with development and progression of vascular calcifications. We have also verifi ed in our studies the existence of an association between vascular calcifications and bone disease. Low bone volume diagnosed by histomorphometric analysis of bone biopsies, in a group of dialysis patients, was independently associated with the simple vascular calcification score (data presented in this thesis,chapter 6) and with coronary calcifications evaluated by the Agatston score9. The original contribution of this article published in CJASN9 deserved a commentary in an Editorial written by Prof. Gérard London10 leader investigator in this area and current EDTA (European Dialysis and Transplantation Association) President. We were also the fi rst group to describe an independent and inverse association between bone mineral density evaluated in the femoral neck by DXA (dual energy X -ray absortiometry) with vascular calcifications evaluated by the simple vascular calcification score, with arterial stiffness evaluated by carotid-femoral pulse wave velocity and with peripheral artery disease diagnosed by clinical criteria11. We were also the first group to demonstrate a significant correlation between bone mineral density evaluated by DXA in femoral neck but not in lumbar spine, with cortical thickness evaluated by histomorphometric analysis of bone biopsy12. Our study has attributed to DXA, for the first time, a role in the diagnosis of cortical porosity in dialysis patients. The clinical utility of the differential evaluation of bone mineral density in cortical or trabecular bone needs, however, to be confi rmed in prospective studies. This original fi nding of our study was mentioned by ERBP (European Renal Best Practice) commenting the KDIGO position in relation with the reduced utility of bone mineral density evaluation in dialysis patients13. Two of the studies included in this thesis have been integrated in a group of studies selected as references by the KDIGO guidelines published in 2009 to evaluate the prevalence of vascular calcifications in CKD patients (KDIGO 2009: Supplementary Table 10, Fig. 3.6) and to corroborate the association between vascular calcifications and cardiovascular mortality (KDIGO 2009: Supplementary Table 12, Fig. 3.7)6. The inclusion of both studies as references in the KDIGO guidelines that have used the exigent GRADE system (Grades of Recommendation, Assessment, Development, and Evaluation) in the classifi cation and selection of studies, validates the scientifi c value of our studies. The diagnosis of vascular calcifi cations has a practical interest for chronic kidney disease patients. The presence of vascular calcifications is an alert sign to the existence of a high cardiovascular risk and this information may be used to modify the treatment of these patients6. Different methods may be used to detect the presence of vascular calcifications in dialysis patients14,15. The simple vascular calcifi cation score has the advantage of being simple, inexpensive and easily evaluated by the Nephrologist without the need for a Radiologist interpretation. The reproducibility of this method has already been demonstrated by other groups in national and international studies16 -24. It was demonstrated in those studies that vascular calcifi cations evaluated by the method created by us, predict higher risk of cardiovascular events16, higher risk of lower limbs amputations17, higher pulse wave velocity18,19, corneal and conjuntival calcifi cations 20 and coronary calcifi cations21. A negative association between the simple vascular calcification score and PTH levels21, 25(OH) vitamin D levels22,23 and Fetuin A levels19,24 has also been demonstrated. All these studies performed by different groups that have used the simple vascular calcifi cation score in their methods demonstrate that this score is simple, useful and reproducible in the evaluation of chronic kidney disease patients simple, useful and reproducible in the evaluation of chronic kidney disease patients.

Deteção e extinção de incêndio em Data Center

O presente trabalho enquadra-se na temática de segurança contra incêndio em edifícios e consiste num estudo de caso de projeto de deteção e extinção de incêndio num Data Center. Os objetivos deste trabalho resumem-se à realização de um estudo sobre o estado da arte da extinção e deteção automática de incêndio, ao desenvolvimento de uma ferramenta de software de apoio a projetos de extinção por agentes gasosos, como também à realização de um estudo e uma análise da proteção contra incêndios em Data Centers. Por último foi efetuado um estudo de caso. São abordados os conceitos de fogo e de incêndio, em que um estudo teórico à temática foi desenvolvido, descrevendo de que forma pode o fogo ser originado e respetivas consequências. Os regulamentos nacionais relativos à Segurança Contra Incêndios em Edifícios (SCIE) são igualmente abordados, com especial foco nos Sistemas Automáticos de Deteção de Incêndio (SADI) e nos Sistemas Automáticos de Extinção de Incêndio (SAEI), as normas nacionais e internacionais relativas a esta temática também são mencionadas. Pelo facto de serem muito relevantes para o desenvolvimento deste trabalho, os sistemas de deteção de incêndio são exaustivamente abordados, mencionando características de equipamentos de deteção, técnicas mais utilizadas como também quais os aspetos a ter em consideração no dimensionamento de um SADI. Quanto aos meios de extinção de incêndio foram mencionados quais os mais utilizados atualmente, as suas vantagens e a que tipo de fogo se aplicam, com especial destaque para os SAEI com utilização de gases inertes, em que foi descrito como deve ser dimensionado um sistema deste tipo. Foi também efetuada a caracterização dos Data Centers para que seja possível entender quais as suas funcionalidades, a importância da sua existência e os aspetos gerais de uma proteção contra incêndio nestas instalações. Por último, um estudo de caso foi desenvolvido, um SADI foi projetado juntamente com um SAEI que utiliza azoto como gás de extinção. As escolhas e os sistemas escolhidos foram devidamente justificados, tendo em conta os regulamentos e normas em vigor.

Deteção e extinção de incêndios em Data Centers

São muitas as organizações que por todo o mundo possuem instalações deste tipo, em Portugal temos o exemplo da Portugal Telecom que recentemente inaugurou o seu Data Center na Covilhã. O desenvolvimento de um Data Center exige assim um projeto muito cuidado, o qual entre outros aspetos deverá garantir a segurança da informação e das próprias instalações, nomeadamente no que se refere à segurança contra incêndio.

Recommending media content based on machine learning methods

Dissertação para obtenção do Grau de Mestre em Engenharia Informática