An automatic tool to Extract, Transform and Load data from real electricity markets

The study of Electricity Markets operation has been gaining an increasing importance in the last years, as result of the new challenges that the restructuring produced. Currently, lots of information concerning Electricity Markets is available, as market operators provide, after a period of confidentiality, data regarding market proposals and transactions. These data can be used as source of knowledge, to define realistic scenarios, essential for understanding and forecast Electricity Markets behaviour. The development of tools able to extract, transform, store and dynamically update data, is of great importance to go a step further into the comprehension of Electricity Markets and the behaviour of the involved entities. In this paper we present an adaptable tool capable of downloading, parsing and storing data from market operators’ websites, assuring actualization and reliability of stored data.

Environmental/Regatta Buoy: Sensing System

Um dos principais objetivos da ciência é perceber a natureza, i.e., descobrir e explicar o funcionamento do mundo que nos rodeia. Para tal, os cientistas precisam de coligir dados e monitorar o meio ambiente. Em particular, considerando que cerca de 70% da Terra é coberta por água, a coleta de parâmetros de caracterização da água de grandes superfícies é uma prioridade. A monitorização das condições da água é feita principalmente através de bóias. No entanto, as bóias disponíveis no mercado não satisfazem as necessidades existentes. Esta é uma das principais razões que levaram o Laboratório de Sistemas Autónomos (LSA) do Instituto Superior de Engenharia do Porto a lançarem um projeto para o desenvolvimento de uma bóia reconfigurável e com dois modos de funcionamento: monitorização ambiental e baliza ativa de regata. O segundo modo é destinado a regatas de veleiros autónomos. O projeto começou há um ano com um projeto do European Project Project [1] (EPS), realizado por quatro estudantes internacionais, destinado à construção da estrutura da bóia e à selecção dos componentes mais adequados para o sistema de medição e controlo. A arquitetura que foi definida para este sistema é do tipo mestre-escravo e é composta por uma unidade de controlo mestre para a telemetria e configuração e uma unidade de controlo escrava para a medição e armazenamento de dados. O desenvolvimento do projeto continuou com dois estudantes belgas que trabalharam na comunicação e no armazenamento de dados. Este projeto, que prossegue com o desenvolvimento da medição e do armazenamento de dados do lado da unidade de controlo escrava, tem os seguintes objetivos: (i ) implementar o protocolo de comunicação na unidade de controlo escrava; (ii ) coligir e armazenar os dados dos sensores no cartão SD em tempo real; (iii ) fornecer dados em tempo útil; e (iv) recuperar dados do cartão SD em tempo diferido. As contribuições anteriores foram estudadas e foi feito um levantamento dos projetos congéneres existentes. O desenvolvimento do projeto atual começou com o protocolo de comunicação. Este protocolo, que foi projetado pelos alunos anteriores, foi um bom ponto de partida. No entanto, o protocolo foi atualizado e melhorado com novas funcionalidades. Esta última componente foi um trabalho conjunto com Laurens Allart, que esteve a trabalhar no subsistema de telemetria e de configuração durante este semestre. O protocolo foi implementado do lado da unidade de controlo escrava através de uma estrutura de múltiplas actividades paralelas (multithreaded). Esta estrutura recebe as mensagens da unidade mestre, executa as ações solicitadas e envia de volta o resultado. A bóia é um dispositivo reconfigurável multimodo que pode ser expandido com novos modos de operação no futuro. Infelizmente, sofre de algumas limitações: suporta uma carga máxima de 40 kg e tem uma área de implantação limitada pela distância máxima à estacão base.

Revisão, aplicação e avaliação dos mercados eletrónicos - emarket

Os mercados eletrónicos são sistemas de informação (SI) utilizados por várias entidades organizacionais distintas dentro de um ou vários níveis em termos das cadeias de valor económico (Journal Electronic Markets, 2012). Segundo (Bakos, 1998) têm um papel central na economia, facilitando a troca de informações, produtos, serviços e pagamentos. Durante o processo, é criado valor económico para o comprador, fornecedor, intermediários do mercado e para a sociedade em geral. O comércio eletrónico é o ato de realizar um qualquer tipo de negócio através de uma via eletrónica e é constituído por modelos diversificados onde se destacam o Business to Business (B2B) e o Business to Consumer (B2C). O modelo B2B possui uma quota de 90 % de todo o comércio, sendo esse sucesso intrinsecamente relacionado em grande parte às vantagens que as suas plataformas oferecem às empresas que inseridas nelas (Anacom, 2004). O âmbito principal deste trabalho é o estudo dos B2B, tendo sido para tal definidos os seguintes objetivos: Realizar a identificação do estado atual bem como a evolução dos mercados B2B em Portugal; Caraterização das funcionalidades das plataformas que atuam no tecido nacional e por fim fazer a criação de um conjunto de orientações de apoio a empresas que desejam fazer a inserção nestes mercados. Para serem alcançados os objetivos propostos na dissertação, foram inquiridas várias organizações ao mesmo tempo que foi realizada uma pesquisa de temas e artigos relacionados com os mercados eletrónicos e plataformas B2B, recorrendo a sites como a B-On.pt, e utilizando o motor de busca Google. Este relatório apresenta a seguinte estrutura: No capítulo 1 é apresentada a introdução teórica das matérias apresentadas nos capítulos seguintes; O capítulo 2 é centrado no comércio eletrónico, definições mais comuns e são demonstrados os modelos mais preponderantes do comércio eletrónico; No capítulo 3 são expostas todas as vertentes do modelo B2B, as principais plataformas B2B a atuar no tecido nacional, as suas funcionalidades e modo de operação bem como uma apresentação das principais plataformas a nível mundial; No capítulo 4 são apresentados um conjunto de tópicos de auxílio a empresas que desejem fazer a sua inserção neste tipo de mercados; Por último são descritas as principais conclusões retiradas na realização da dissertação. Em suma, este trabalho reúne um conjunto de dados e orientações úteis, decorrentes do estudo realizado de auxílio a empresas a aderirem aos mercados eletrónicos, visto ser uma abordagem promissora para as organizações.

Bases de Dados NoSQL

Com o advento da invenção do modelo relacional em 1970 por E.F.Codd, a forma como a informação era gerida numa base de dados foi totalmente revolucionada. Migrou‐se de sistemas hierárquicos baseados em ficheiros para uma base de dados relacional com tabelas relações e registos que simplificou em muito a gestão da informação e levou muitas empresas a adotarem este modelo. O que E.F.Codd não previu foi o facto de que cada vez mais a informação que uma base de dados teria de armazenar fosse de proporções gigantescas, nem que as solicitações às bases de dados fossem da mesma ordem. Tudo isto veio a acontecer com a difusão da internet que veio ligar todas as pessoas de qualquer parte do mundo que tivessem um computador. Com o número de adesões à internet a crescer, o número de sites que nela eram criados também cresceu (e ainda cresce exponencialmente). Os motores de busca que antigamente indexavam alguns sites por dia, atualmente indexam uns milhões de sites por segundo e, mais recentemente as redes sociais também estão a lidar com quantidades gigantescas de informação. Tanto os motores de busca como as redes sociais chegaram à conclusão que uma base de dados relacional não chega para gerir a enorme quantidade de informação que ambos produzem e como tal, foi necessário encontrar uma solução. Essa solução é NoSQL e é o assunto que esta tese vai tratar. O presente documento visa definir e apresentar o problema que as bases de dados relacionais têm quando lidam com grandes volumes de dados, introduzir os limites do modelo relacional que só até há bem pouco tempo começaram a ser evidenciados com o surgimento de movimentos, como o BigData, com o crescente número de sites que surgem por dia e com o elevado número de utilizadores das redes sociais. Será também ilustrada a solução adotada até ao momento pelos grandes consumidores de dados de elevado volume, como o Google e o Facebook, enunciando as suas características vantagens, desvantagens e os demais conceitos ligados ao modelo NoSQL. A presente tese tenciona ainda demonstrar que o modelo NoSQL é uma realidade usada em algumas empresas e quais as principias mudanças a nível programático e as boas práticas delas resultantes que o modelo NoSQL traz. Por fim esta tese termina com a explicação de que NoSQL é uma forma de implementar a persistência de uma aplicação que se inclui no novo modelo de persistência da informação.

Incremental Recomputation of Pig Latin’s Nest and Unnest Operators

This master’s thesis addresses the maintenance of pre-computed structures, which store a frequent or expensive query, for the nested bag data type in the high level work-flow language Pig Latin. This thesis defines a model suitable to accommodate incremental expressions over nested bags on Pig Latin. Afterwards, the partitioned normal form for sets is extended with further restrictions, in order to accommodate the nested bag model, allow the Pig Latin nest and unnest operators revert each other, and create a suitable environment to the incremental computations. Subsequently, the extended operators – extended union and extended difference – are defined for the nested bag data model with the partitioned normal form for bags (PNF Bag) restriction, and semantics for the extended operators are given. Finally, incremental data propagation expressions are proposed for the nest and unnest operators on the data model proposed with the PNF Bag restriction, and the proof of correctness is given.

Sistema de apoio à racionalização da utilização de energia eléctrica

Esta dissertação descreve o sistema de apoio à racionalização da utilização de energia eléctrica desenvolvido no âmbito da unidade curricular de Tese/Dissertação. O domínio de aplicação enquadra-se no contexto da Directiva da União Europeia 2006/32/EC que declara ser necessário colocar à disposição dos consumidores a informação e os meios que promovam a redução do consumo e o aumento da eficiência energética individual. O objectivo é o desenvolvimento de uma solução que permita a representação gráfica do consumo/produção, a definição de tectos de consumo, a geração automática de alertas e alarmes, a comparação anónima com clientes com perfil idêntico por região e a previsão de consumo/produção no caso de clientes industriais. Trata-se de um sistema distribuído composto por front-end e back-end. O front-end é composto pelas aplicações de interface com o utilizador desenvolvidas para dispositivos móveis Android e navegadores Web. O back-end efectua o armazenamento e processamento de informação e encontra-se alojado numa plataforma de cloud computing – o Google App Engine – que disponibiliza uma interface padrão do tipo serviço Web. Esta opção assegura interoperabilidade, escalabilidade e robustez ao sistema. Descreve-se em detalhe a concepção, desenvolvimento e teste do protótipo realizado, incluindo: (i) as funcionalidades de gestão e análise de consumo e produção de energia implementadas; (ii) as estruturas de dados; (iii) a base de dados e o serviço Web; e (iv) os testes e a depuração efectuados. (iv) Por fim, apresenta-se o balanço deste projecto e efectuam-se sugestões de melhoria.

Fatores determinantes na escolha do consumidor

Dissertação de Mestrado apresentada ao Instituto de Contabilidade e Administração do Porto para a obtenção do grau de Mestre em Marketing Digital, sob orientação da professora Mestre Anabela Ribeiro

Presença das 500 Maiores e melhores empresas portuguesas nas redes sociais

Este artigo pretende estudar a presença das empresas Portuguesas nas redes sociais mais conhecidas (Facebook, Twitter, YouTube, Pinterest, Instagram e Google+). Para atingir esse objetivo recorreu-se a uma base de dados das “500 Melhores e Maiores” empresas Portuguesas com o objetivo de analisar a sua presença naquelas redes sociais. Para além disso, procurou-se compreender qual o grau de dinamismo e interatividade que as redes sociais mantêm com os consumidores em geral. Os resultados mostram que a maioria das empresas Portuguesas possui um website e que a sua participação nas redes sociais, em especial no Facebook, Twitter e YouTube, está ligeiramente correlacionada com a posse de um website. Quanto ao dinamismo evidenciado pelas empresas nas redes sociais muitas delas estão ativas, mas sem procurarem envolver o consumidor através de atividades de marketing digital.

Estudo e Projeto de uma variante urbana no Concelho de Cinfães

A criação de infraestruturas passa pela construção de estradas que ligam pontos estratégicos, permitindo acesso a bens e serviços, de forma cómoda e segura. No desenvolvimento deste trabalho é abordado o estudo e projeto de uma variante urbana no concelho de Cinfães, nas especificidades de traçado, pavimentos e sinalização. Inicia-se por uma apresentação sobre o trabalho, os objetivos, estrutura e metodologia utilizada na sua elaboração. São apresentados os softwares utilizados, como editores de imagem (Google Earth, Microsoft ICE e Caesium) que permitem obter e trabalhar imagens panorâmicas, o Civil 3D que possibilita a realização ágil de um projeto de vias, e o Alize-LCPC que determina as caraterísticas de dimensionamento de um pavimento flexível. São apresentados os estudos necessários para a construção da variante em questão passando pela localização da via, o trabalho sobre o levantamento topográfico fornecido pela Câmara Municipal, condicionantes de traçado e serviços afetados. Posteriormente, são abordados alguns conceitos teóricos como geometria do traçado, velocidade, tráfego e visibilidade. Descrevem-se as caraterísticas geométricas de infraestruturas rodoviárias a conhecer anteriormente à realização de um projeto de execução de uma via, como o traçado em planta (alinhamentos retos, curvas, raios, sobreelevação, sobrelargura), perfil longitudinal (trainéis, inclinações, concordâncias verticais) e perfil transversal (faixa de rodagem, bermas, valetas e taludes). É realizada ainda uma apresentação sobre os elementos integrantes de uma plataforma rodoviária e passeio, os seus critérios de dimensionamento, como caraterização do tráfego, temperaturas de serviço e deformações, assim como os elementos teóricos para o estudo de drenagem (período de retorno, precipitação e tipos de dispositivos). São ainda apresentadas as caraterísticas gerais de um projeto de sinalização e segurança, enunciando as marcas rodoviárias e a sinalização vertical. Termina-se apresentando as soluções encontradas e os meios utilizados, para a elaboração do projeto de uma via nova, alargamento de via existente e requalificação de pavimento de um troço de ligação à EN222, expondo ainda as conclusões obtidas na realização do projeto com propostas para desenvolvimento futuros.

Caracterização de Particulas de Desgaste do Rolamentos por Ferrografia e Ferrometria

Avarias em rolamentos são causas comuns de falhas em máquinas e equipamentos industriais. Portanto, é importante a aplicação de técnicas que permitam a deteção e a identificação do problema o mais cedo possível a fim de evitar a destruição do rolamento e consequente paragem da máquina. Logo, o processo de monitorização do estado dos rolamentos deve receber uma atenção especial no plano de manutenção de qualquer indústria. Este trabalho tem, assim, como principal objetivo a caracterização das partículas de desgaste provenientes de rolamentos através da análise dos seus lubrificantes por ferrometria e ferrografia analítica. Estas técnicas permitem identificar e caracterizar as várias partículas de desgaste presentes numa amostra de lubrificante, permitindo não só avaliar o grau de severidade do desgaste mas também identificar o tipo de desgaste predominante (fadiga, abrasão, corrosão,etc.), e até identificar os diferentes materiais das partículas que se podem associar a componentes específicos com falhas. A criação de uma base de dados para armazenar os resultados, os comentários e as informações mais importantes obtidos nos ensaios experimentais, assim como a análise de alguns casos práticos, foram também realizados no âmbito deste trabalho. Para desenvolver um conhecimento mais profundo sobre as técnicas utilizadas foi importante fazer uma análise aos diversos tipos de rolamentos, a sua lubrificação e as causas e tipos principais de avarias encontradas.

Partilha de Pontos de Interesse, Vídeos e Experiências Sensoriais Baseada no Contexto do Utilizador

A evolução tecnológica das últimas décadas na área das Tecnologias da Informação e Comunicação (TIC) contribuiu para a proliferação de fontes de informação e de sistemas de partilha de recursos. As diversas redes sociais são um exemplo paradigmático de sistemas de partilha tanto de informação como de recursos (e.g. audiovisuais). Essa abundância crescente de recursos e fontes aumenta a importância de sistemas capazes de recomendar em tempo útil recursos personalizados, tendo por base o perfil e o contexto do utilizador. O objetivo deste projeto é partilhar e recomendar locais, artigos e vídeos em função do contexto do utilizador assim como proporcionar uma experiência mais rica de reprodução dos vídeos partilhados, simulando as condições de gravação dos vídeos. Este sistema teve como inspiração dois projetos anteriormente desenvolvidos de partilha e recomendação de locais, artigos e vídeos turísticos em função da localização do utilizador. O sistema desenvolvido consiste numa aplicação distribuída composta por um módulo cliente Android, que inclui a interface com o utilizador e o consumo direto de serviços externos de suporte, e um módulo servidor que controla o acesso à base de dados central e inclui o serviço de recomendação baseado no contexto do utilizador. A comunicação entre os módulos cliente e servidor utiliza um protocolo do nível de aplicação dedicado. As recomendações geradas pelo sistema têm por base o perfil de utilizador, informação contextual (posição do utilizador, data e hora atual e velocidade atual do utilizador) e podem ser geradas a pedido do utilizador ou automaticamente, caso sejam encontrados pontos de interesse de grande relevância para o utilizador. Os pontos de interesse recomendados são apresentados com recurso ao Google Maps, incluindo o período de funcionamento, artigos complementares e a reprodução imersiva dos vídeos relacionados. Essa imersão tem em consideração as condições meteorológicas, temporais e espaciais aquando da gravação do vídeo.

Sensor Integration for Smart Cities Using Multi-Hop Networks

Smart Cities are designed to be living systems and turn urban dwellers life more comfortable and interactive by keeping them aware of what surrounds them, while leaving a greener footprint. The Future Cities Project [1] aims to create infrastructures for research in smart cities including a vehicular network, the BusNet, and an environmental sensor platform, the Urban Sense. Vehicles within the BusNet are equipped with On Board Units (OBUs) that offer free Wi-Fi to passengers and devices near the street. The Urban Sense platform is composed by a set of Data Collection Units (DCUs) that include a set of sensors measuring environmental parameters such as air pollution, meteorology and noise. The Urban Sense platform is expanding and receptive to add new sensors to the platform. The parnership with companies like TNL were made and the need to monitor garbage street containers emerged as air pollution prevention. If refuse collection companies know prior to the refuse collection which route is the best to collect the maximum amount of garbage with the shortest path, they can reduce costs and pollution levels are lower, leaving behind a greener footprint. This dissertation work arises in the need to monitor the garbage street containers and integrate these sensors into an Urban Sense DCU. Due to the remote locations of the garbage street containers, a network extension to the vehicular network had to be created. This dissertation work also focus on the Multi-hop network designed to extend the vehicular network coverage area to the remote garbage street containers. In locations where garbage street containers have access to the vehicular network, Roadside Units (RSUs) or Access Points (APs), the Multi-hop network serves has a redundant path to send the data collected from DCUs to the Urban Sense cloud database. To plan this highly dynamic network, the Wi-Fi Planner Tool was developed. This tool allowed taking measurements on the field that led to an optimized location of the Multi-hop network nodes with the use of radio propagation models. This tool also allowed rendering a temperature-map style overlay for Google Earth [2] application. For the DCU for garbage street containers the parner company provided the access to a HUB (device that communicates with the sensor inside the garbage containers). The Future Cities use the Raspberry pi as a platform for the DCUs. To collect the data from the HUB a RS485 to RS232 converter was used at the physical level and the Modbus protocol at the application level. To determine the location and status of the vehicles whinin the vehicular network a TCP Server was developed. This application was developed for the OBUs providing the vehicle Global Positioning System (GPS) location as well as information of when the vehicle is stopped, moving, on idle or even its slope. To implement the Multi-hop network on the field some scripts were developed such as pingLED and “shark”. These scripts helped upon node deployment on the field as well as to perform all the tests on the network. Two setups were implemented on the field, an urban setup was implemented for a Multi-hop network coverage survey and a sub-urban setup was implemented to test the Multi-hop network routing protocols, Optimized Link State Routing Protocol (OLSR) and Babel.

PIASA: A power and interference aware resource management strategy for heterogeneous workloads in cloud data centers

Cloud data centers have been progressively adopted in different scenarios, as reflected in the execution of heterogeneous applications with diverse workloads and diverse quality of service (QoS) requirements. Virtual machine (VM) technology eases resource management in physical servers and helps cloud providers achieve goals such as optimization of energy consumption. However, the performance of an application running inside a VM is not guaranteed due to the interference among co-hosted workloads sharing the same physical resources. Moreover, the different types of co-hosted applications with diverse QoS requirements as well as the dynamic behavior of the cloud makes efficient provisioning of resources even more difficult and a challenging problem in cloud data centers. In this paper, we address the problem of resource allocation within a data center that runs different types of application workloads, particularly CPU- and network-intensive applications. To address these challenges, we propose an interference- and power-aware management mechanism that combines a performance deviation estimator and a scheduling algorithm to guide the resource allocation in virtualized environments. We conduct simulations by injecting synthetic workloads whose characteristics follow the last version of the Google Cloud tracelogs. The results indicate that our performance-enforcing strategy is able to fulfill contracted SLAs of real-world environments while reducing energy costs by as much as 21%.

Cardmobili: innovation technology in everyday life

The developments of the internet, the proliferation of the use of Web 2.0 tools, and of the technology in general, are leveraging new ways of people to communicate, collaborate, and interact. This new world and new markets, in a daily change, are enabling the emergence of new innovative enterprises and services, taking advantage of the new technologies and of the global network. Cardmobili is a Portuguese start-up company working in the area of mobile services. This company provides a mobile service to manage rewards and membership cards, enabling users to store them in the cloud, while using mobile applications to present them in store, collecting and using the rewards, sharing cards and information with other users and friends in social networks. Cardmobili is linked to merchants’ loyalty management systems, enabling users to access exclusive offers, delivered to their mobile application and web account. The company provides complete services to make any loyalty or membership program mobile: branding, new customer registration, integration of customer account balance, mobile vouchers, coupons and offers, and mobile communication.

A Multiple Criteria Utility-based Approa h for the Unit Commitment with Wind Power and Pumped Storage Hydro

The integration of wind power in eletricity generation brings new challenges to unit commitment due to the random nature of wind speed. For this particular optimisation problem, wind uncertainty has been handled in practice by means of conservative stochastic scenario-based optimisation models, or through additional operating reserve settings. However, generation companies may have different attitudes towards operating costs, load curtailment, or waste of wind energy, when considering the risk caused by wind power variability. Therefore, alternative and possibly more adequate approaches should be explored. This work is divided in two main parts. Firstly we survey the main formulations presented in the literature for the integration of wind power in the unit commitment problem (UCP) and present an alternative model for the wind-thermal unit commitment. We make use of the utility theory concepts to develop a multi-criteria stochastic model. The objectives considered are the minimisation of costs, load curtailment and waste of wind energy. Those are represented by individual utility functions and aggregated in a single additive utility function. This last function is adequately linearised leading to a mixed-integer linear program (MILP) model that can be tackled by general-purpose solvers in order to find the most preferred solution. In the second part we discuss the integration of pumped-storage hydro (PSH) units in the UCP with large wind penetration. Those units can provide extra flexibility by using wind energy to pump and store water in the form of potential energy that can be generated after during peak load periods. PSH units are added to the first model, yielding a MILP model with wind-hydro-thermal coordination. Results showed that the proposed methodology is able to reflect the risk profiles of decision makers for both models. By including PSH units, the results are significantly improved.