An automatic tool to Extract, Transform and Load data from real electricity markets

The study of Electricity Markets operation has been gaining an increasing importance in the last years, as result of the new challenges that the restructuring produced. Currently, lots of information concerning Electricity Markets is available, as market operators provide, after a period of confidentiality, data regarding market proposals and transactions. These data can be used as source of knowledge, to define realistic scenarios, essential for understanding and forecast Electricity Markets behaviour. The development of tools able to extract, transform, store and dynamically update data, is of great importance to go a step further into the comprehension of Electricity Markets and the behaviour of the involved entities. In this paper we present an adaptable tool capable of downloading, parsing and storing data from market operators’ websites, assuring actualization and reliability of stored data.

Analysis of Consumption Data to Detect Commercial Losses Using Performance Evaluation Methods in a Smart Grid

Electric power networks, namely distribution networks, have been suffering several changes during the last years due to changes in the power systems operation, towards the implementation of smart grids. Several approaches to the operation of the resources have been introduced, as the case of demand response, making use of the new capabilities of the smart grids. In the initial levels of the smart grids implementation reduced amounts of data are generated, namely consumption data. The methodology proposed in the present paper makes use of demand response consumers’ performance evaluation methods to determine the expected consumption for a given consumer. Then, potential commercial losses are identified using monthly historic consumption data. Real consumption data is used in the case study to demonstrate the application of the proposed method.

Towards a unified European electricity market: The contribution of data-mining to support realistic simulation studies

Worldwide electricity markets have been evolving into regional and even continental scales. The aim at an efficient use of renewable based generation in places where it exceeds the local needs is one of the main reasons. A reference case of this evolution is the European Electricity Market, where countries are connected, and several regional markets were created, each one grouping several countries, and supporting transactions of huge amounts of electrical energy. The continuous transformations electricity markets have been experiencing over the years create the need to use simulation platforms to support operators, regulators, and involved players for understanding and dealing with this complex environment. This paper focuses on demonstrating the advantage that real electricity markets data has for the creation of realistic simulation scenarios, which allow the study of the impacts and implications that electricity markets transformations will bring to the participant countries. A case study using MASCEM (Multi-Agent System for Competitive Electricity Markets) is presented, with a scenario based on real data, simulating the European Electricity Market environment, and comparing its performance when using several different market mechanisms.

Data Mining Approach to support the Generation of Realistic Scenarios for Multi-Agent simulation of Electricity Markets

This paper presents the Realistic Scenarios Generator (RealScen), a tool that processes data from real electricity markets to generate realistic scenarios that enable the modeling of electricity market players’ characteristics and strategic behavior. The proposed tool provides significant advantages to the decision making process in an electricity market environment, especially when coupled with a multi-agent electricity markets simulator. The generation of realistic scenarios is performed using mechanisms for intelligent data analysis, which are based on artificial intelligence and data mining algorithms. These techniques allow the study of realistic scenarios, adapted to the existing markets, and improve the representation of market entities as software agents, enabling a detailed modeling of their profiles and strategies. This work contributes significantly to the understanding of the interactions between the entities acting in electricity markets by increasing the capability and realism of market simulations.

Exploring distributed computing tools through data mining tasks

Harnessing idle PCs CPU cycles, storage space and other resources of networked computers to collaborative are mainly fixated on for all major grid computing research projects. Most of the university computers labs are occupied with the high puissant desktop PC nowadays. It is plausible to notice that most of the time machines are lying idle or wasting their computing power without utilizing in felicitous ways. However, for intricate quandaries and for analyzing astronomically immense amounts of data, sizably voluminous computational resources are required. For such quandaries, one may run the analysis algorithms in very puissant and expensive computers, which reduces the number of users that can afford such data analysis tasks. Instead of utilizing single expensive machines, distributed computing systems, offers the possibility of utilizing a set of much less expensive machines to do the same task. BOINC and Condor projects have been prosperously utilized for solving authentic scientific research works around the world at a low cost. In this work the main goal is to explore both distributed computing to implement, Condor and BOINC, and utilize their potency to harness the ideal PCs resources for the academic researchers to utilize in their research work. In this thesis, Data mining tasks have been performed in implementation of several machine learning algorithms on the distributed computing environment.

Melhoria/simplificação ergonómica de linhas de montagem

Hoje em dia, com os avanços constantes na indústria, novas áreas começam cada vez mais a ser foco de atenção por parte das organizações. Motivados pela procura de melhores condições para os seus colaboradores e por todos os benefícios que este tipo de intervenção oferece, tanto a curto, como principalmente a médio e longo prazo, a Grohe Portugal, mais especificamente o seu departamento de montagem, achou relevante potenciar a aplicação da Ergonomia nos seus postos de trabalho. Posto isto, esta dissertação pretende apresentar o trabalho desenvolvido junto da organização que teve como objetivo projetar e executar uma linha de montagem que tivesse em consideração os seguintes aspetos: • Ergonomia; • Automatização ou semi-automatização de operações; • Simplificação de aspetos operacionais; • Sistemas de abastecimento mais robustos e de fácil uso; • Simplificação de setups; • Definição de dimensões normalizadas para futuros projetos. As soluções encontradas tiveram como objetivo primordial satisfazer o maior número possível de colaboradores, sendo que para tal foram utilizados dados referentes a antropometria da população Portuguesa. Para a realização e conclusão deste projeto, o trabalho foi decomposto em varias etapas, de entre as quais se destacam: • Analise e estudo dos métodos de montagem; • Levantamento de todos os componentes e operações que constituem o processo de fabrico das diversas famílias onde foram implementados novos projetos; • Definição e uniformização da estrutura das novas linhas de montagem; • Estudo e definição da disposição dos componentes na nova linha, bem como da sua forma de abastecimento; • Projeto da linha de montagem em 3D com recurso ao software SolidWorks (DassaultSystemes, 2014); • Montagem final da linha, bem como o acompanhamento da sua fase de arranque. Durante o estagio foi ainda pensado e implementado um projeto paralelo com vista a constante manutenção e melhoria do departamento de montagem cujo objetivo, através de “plant walks”, e detetar de entre outras, situações de falta de identificação de componentes ou equipamentos, degradação de ferramentas, fugas ou derrames nas linhas, etc. O balanco final do trabalho foi bastante positivo, tendo-se alcançado melhorias em alguns índices de qualidade, tempos de abastecimento e condições ergonómicas dos postos de trabalho que sofreram intervenção, tendo essas melhorias resultado numa avaliação positiva por parte dos colaboradores que integram essas mesmas linhas.

Implementação ESB numa unidade hospitalar. Uso normalizado de mensagens HL7

Atualmente, os sistemas de informação hospitalares têm de possibilitar uma utilização diferenciada pelos diferentes intervenientes, num cenário de constante adaptação e evolução. Para tal, é essencial a interoperabilidade entre os sistemas de informação do hospital e os diversos fornecedores de serviços, assim como dispositivos hospitalares. Apesar da necessidade de suportar uma heterogeneidade entre sistemas ser fundamental, o acesso/troca de informação deve ser feito de uma forma protocolada, segura e transparente. A infraestrutura de informação médica moderna consiste em muitos sistemas heterogéneos, com diversos mecanismos para controlar os dados subjacentes. Informações relativas a um único paciente podem estar dispersas por vários sistemas (ex: transferência de pacientes, readmissão, múltiplos tratamentos, etc.). Torna-se evidente a necessidade aceder a dados do paciente de forma consolidada a partir de diferentes locais. Desta forma, é fundamental utilizar uma arquitetura que promova a interoperabilidade entre sistemas. Para conseguir esta interoperabilidade, podem-se implementar camadas de “middleware” que façam a adaptação das trocas de informação entre os sistemas. Todavia, não resolvemos o problema subjacente, ou seja, a necessidade de utilização de um standard para garantir uma interacção fiável entre cliente/fornecedor. Para tal, é proposto uma solução que passa por um ESB dedicado para a área da saúde, denominada por HSB (Healthcare Service Bus). Entre as normas mais usuais nesta área devem-se salientar o HL7 e DICOM, esta última mais especificamente para dispositivos de imagem hospitalar, sendo a primeira utilizada para gestão e trocas de informação médica entre sistemas. O caso de estudo que serviu de base a esta dissertação é o de um hospital de média dimensão cujo sistema de informação começou por ser uma solução monolítica, de um só fornecedor. Com o passar dos anos, o fornecedor único desagregou-se em vários, independentes e concorrentes, dando lugar a um cenário extremamente preocupante em termos de manutenção e evolução futura do sistema de informação existente. Como resultado do trabalho efetuado, foi proposta uma arquitetura que permite a evolução do sistema atual de forma progressiva para um HSB puro.

Deteção e extinção de incêndios em Data Centers

São muitas as organizações que por todo o mundo possuem instalações deste tipo, em Portugal temos o exemplo da Portugal Telecom que recentemente inaugurou o seu Data Center na Covilhã. O desenvolvimento de um Data Center exige assim um projeto muito cuidado, o qual entre outros aspetos deverá garantir a segurança da informação e das próprias instalações, nomeadamente no que se refere à segurança contra incêndio.

Desenvolvimento de ferramentas BIM no âmbito do cálculo estrutural em situação de incêndio

Este trabalho insere-se no âmbito de um estágio curricular realizado no gabinete de projetos SE2P, durante o qual foram desenvolvidas ferramentas de cálculo estrutural em situação de incêndio, integradas numa metodologia de trabalho que segue os princípios inerentes à tecnologia BIM (Building Information Modeling). Em particular foi implementado um procedimento de análise ao fogo segundo os modelos simplificados prescritos pelos Eurocódigos. Estes modelos garantem a segurança estrutural, permitindo, de forma rápida e eficiente, a determinação das necessidades de proteção passiva para diferentes cenários, tendo em vista a obtenção da solução mais económica. Esta dissertação, para além da apresentação do trabalho desenvolvido em regime de estágio curricular, objetivou dotar o leitor de um documento que introduza os principais conceitos relativos ao cálculo estrutural em situação de incêndio, indicando as várias opções de análise e respetivas vantagens e desvantagens, ajudando a definir a sua adequabilidade ao projeto em estudo. Neste contexto é efetuada uma introdução geral ao fenómeno do fogo e às medidas mais correntes de proteção, indicando-se os documentos normativos aplicáveis tanto ao cálculo estrutural como aos materiais de proteção. É também abordada a interação entre as várias normas que devem ser consultadas quando é efetuada uma análise ao fogo, e quais se aplicam a cada fase da análise. Efetua-se uma clara distinção entre a análise do comportamento térmico e mecânico, indicando-se as principais propriedades dos materiais em função do tipo de análise e a forma como são afetadas pela temperatura. No campo da análise do comportamento térmico faz-se essencialmente referência aos modelos de cálculo simplificados do desenvolvimento da temperatura em elementos metálicos e vigas mistas, com e sem proteção passiva. No que concerne ao campo da análise do comportamento mecânico são descritos os modelos de cálculo simplificados para a verificação da segurança estrutural atendendo às ações e combinações em situação de incêndio e à perda de resistência a temperaturas elevadas. Relativamente ao trabalho desenvolvido na SE2P, relativo ao desenvolvimento de ferramentas de cálculo e a sua implementação na análise ao fogo, realiza-se uma descrição detalhada de todo o processo, e da forma como se integra no conceito BIM, utilizando informações provenientes da modelação das estruturas e introduzindo novos dados ao modelo. Realizou-se também a aplicação de todo o procedimento de análise e das ferramentas desenvolvidas, a um caso de estudo baseado num edifício de habitação. Este caso de estudo serviu também para criar cenários de otimização utilizando-se referências de preços de mercado para o aço, sua transformação em fábrica e sistemas de proteção passiva, demonstrando-se a dificuldade em encontrar caminhos rápidos e diretos de decisão no processo de otimização.

Analisador de qualidade de energia eléctrica embebido na instalação eléctrica

A monitorização da qualidade da energia eléctrica tem revelado importância crescente na gestão e caracterização da rede eléctrica. Estudos revelam que os custos directos relacionados com perda de qualidade da energia eléctrica podem representar cerca de 1,5 % do PIB nacional. Para além destes, tem-se adicionalmente os custos indirectos o que se traduz num problema que necessita de minimização. No contexto da minimização dos danos causados pela degradação de energia, são utilizados equipamentos com capacidade de caracterizar a energia eléctrica através da sua monitorização. A utilização destes equipamentos têm subjacente normas de qualidade de energia, que impõem requisitos mínimos de modo a enquadrar e classificar eventos ocorridos na rede eléctrica. Deste modo obtêm-se dados coerentes provenientes de diferentes equipamentos. A monitorização dos parâmetros associados à energia eléctrica é frequentemente realizada através da instalação temporária dos esquipamentos na rede eléctrica, o que resulta numa observação de distúrbios a posteriori da sua ocasião. Esta metodologia não permite detectar o evento eléctrico original mas, quando muito, outros que se espera que sejam semelhantes ao ocorrido. Repare-se, no entanto, que existe um conjunto alargado de eventos que não são repetitivos, constituindo assim uma limitação aquela metodologia. Este trabalho descreve uma alternativa à metodologia de utilização tradicional dos equipamentos. A solução consiste em realizar um analisador de energia que faça parte integrante da instalação e permita a monitorização contínua da rede eléctrica. Este equipamento deve ter um custo suficientemente baixo para que seja justificável nesta utilização alternativa. O analisador de qualidade de energia a desenvolver tem por base o circuito integrado ADE7880, que permite obter um conjunto de parâmetros da qualidade de energia eléctrica de acordo com as normas de energia IEC 61000-4-30 e IEC 61000-4-7. Este analisador permite a recolha contínua de dados específicos da rede eléctrica, e que posteriormente serão armazenados e colocados à disposição do utilizador. Deste modo os dados recolhidos serão apresentados ao utilizador para consulta, de maneira a verificar, de modo continuo a eventual ocorrência das anomalias na rede. Os valores adquiridos podem ainda ser reutilizados vantajosamente para muitas outras finalidades tais como efectuar estudos sobre a optimização energética. O trabalho presentemente desenvolvido decorre de uma utilização alternativa do dispositivo WeSense Energy1 desenvolvido pela equipa da Evoleo Technologies. A presente vertente permite obter parâmetros determinados pelo ADE7880 tais como por exemplo harmónicos, eventos transitórios de tensão e corrente e o desfasamento entre fases, realizando assim uma nova versão do dispositivo, o WeSense Energy2. Adicionalmente este trabalho inclui a visualização remota dos através de uma página web.

Desenvolvimento de programa em linguagem Matlab® para cálculo pelo método de elementos finitos

Para o projeto de qualquer estrutura existente (edifícios, pontes, veículos, máquinas, etc.) é necessário conhecer as condições de carga, geometria e comportamento de todas as suas partes, assim como respeitar as normativas em vigor nos países nos quais a estrutura será aplicada. A primeira parte de qualquer projeto nesta área passa pela fase da análise estrutural, onde são calculadas todas as interações e efeitos de cargas sobre as estruturas físicas e os seus componentes de maneira a verificar a aptidão da estrutura para o seu uso. Inicialmente parte-se de uma estrutura de geometria simplificada, pondo de parte os elementos físicos irrelevantes (elementos de fixação, revestimentos, etc.) de maneira a simplificar o cálculo de estruturas complexas e, em função dos resultados obtidos da análise estrutural, melhorar a estrutura se necessário. A análise por elementos finitos é a ferramenta principal durante esta primeira fase do projeto. E atualmente, devido às exigências do mercado, é imprescindível o suporte computorizado de maneira a agilizar esta fase do projeto. Existe para esta finalidade uma vasta gama de programas que permitem realizar tarefas que passam pelo desenho de estruturas, análise estática de cargas, análise dinâmica e vibrações, visualização do comportamento físico (deformações) em tempo real, que permitem a otimização da estrutura em análise. Porém, estes programas demostram uma certa complexidade durante a introdução dos parâmetros, levando muitas vezes a resultados errados. Assim sendo, é essencial para o projetista ter uma ferramenta fiável e simples de usar que possa ser usada para fins de projeto de estruturas e otimização. Sobre esta base nasce este projeto tese onde se elaborou um programa com interface gráfica no ambiente Matlab® para a análise de estruturas por elementos finitos, com elementos do tipo Barra e Viga, quer em 2D ou 3D. Este programa permite definir a estrutura por meio de coordenadas, introdução de forma rápida e clara, propriedades mecânicas dos elementos, condições fronteira e cargas a aplicar. Como resultados devolve ao utilizador as reações, deformações e distribuição de tensões nos elementos quer em forma tabular quer em representação gráfica sobre a estrutura em análise. Existe ainda a possibilidade de importação de dados e exportação dos resultados em ficheiros XLS e XLSX, de maneira a facilitar a gestão de informação. Foram realizados diferentes testes e análises de estruturas de forma a validar os resultados do programa e a sua integridade. Os resultados foram todos satisfatórios e convergem para os resultados de outros programas, publicados em livros, e para cálculo a mão feitos pelo autor.

Replication vs erasure coding in data centric storage for wireless sensor networks

In-network storage of data in wireless sensor networks contributes to reduce the communications inside the network and to favor data aggregation. In this paper, we consider the use of n out of m codes and data dispersal in combination to in-network storage. In particular, we provide an abstract model of in-network storage to show how n out of m codes can be used, and we discuss how this can be achieved in five cases of study. We also define a model aimed at evaluating the probability of correct data encoding and decoding, we exploit this model and simulations to show how, in the cases of study, the parameters of the n out of m codes and the network should be configured in order to achieve correct data coding and decoding with high probability.

Mode-Controlled Data-Flow Modeling of Real-Time Memory Controllers

Accepted in 13th IEEE Symposium on Embedded Systems for Real-Time Multimedia (ESTIMedia 2015), Amsterdam, Netherlands.

A microscope for the data center

Nowadays, data centers are large energy consumers and the trend for next years is expected to increase further, considering the growth in the order of cloud services. A large portion of this power consumption is due to the control of physical parameters of the data center (such as temperature and humidity). However, these physical parameters are tightly coupled with computations, and even more so in upcoming data centers, where the location of workloads can vary substantially due, for example, to workloads being moved in the cloud infrastructure hosted in the data center. Therefore, managing the physical and compute infrastructure of a large data center is an embodiment of a Cyber-Physical System (CPS). In this paper, we describe a data collection and distribution architecture that enables gathering physical parameters of a large data center at a very high temporal and spatial resolution of the sensor measurements. We think this is an important characteristic to enable more accurate heat-flow models of the data center and with them, find opportunities to optimize energy consumptions. Having a high-resolution picture of the data center conditions, also enables minimizing local hot-spots, perform more accurate predictive maintenance (failures in all infrastructure equipments can be more promptly detected) and more accurate billing. We detail this architecture and define the structure of the underlying messaging system that is used to collect and distribute the data. Finally, we show the results of a preliminary study of a typical data center radio environment.

Integer and Fractional Order Entropy Analysis of Earthquake Data-series

This paper studies the statistical distributions of worldwide earthquakes from year 1963 up to year 2012. A Cartesian grid, dividing Earth into geographic regions, is considered. Entropy and the Jensen–Shannon divergence are used to analyze and compare real-world data. Hierarchical clustering and multi-dimensional scaling techniques are adopted for data visualization. Entropy-based indices have the advantage of leading to a single parameter expressing the relationships between the seismic data. Classical and generalized (fractional) entropy and Jensen–Shannon divergence are tested. The generalized measures lead to a clear identification of patterns embedded in the data and contribute to better understand earthquake distributions.