Armazéns de dados em bases de dados NoSQL

Na atualidade, existe uma quantidade de dados criados diariamente que ultrapassam em muito as mais otimistas espectativas estabelecidas na década anterior. Estes dados têm origens bastante diversas e apresentam-se sobre várias formas. Este novo conceito que dá pelo nome de Big Data está a colocar novos e rebuscados desafios ao seu armazenamento, tratamento e manipulação. Os tradicionais sistemas de armazenamento não se apresentam como a solução indicada para este problema. Estes desafios são alguns dos mais analisados e dissertados temas informáticos do momento. Várias tecnologias têm emergido com esta nova era, das quais se salienta um novo paradigma de armazenamento, o movimento NoSQL. Esta nova filosofia de armazenamento visa responder às necessidades de armazenamento e processamento destes volumosos e heterogéneos dados. Os armazéns de dados são um dos componentes mais importantes do âmbito Business Intelligence e são, maioritariamente, utilizados como uma ferramenta de apoio aos processos de tomada decisão, levados a cabo no dia-a-dia de uma organização. A sua componente histórica implica que grandes volumes de dados sejam armazenados, tratados e analisados tendo por base os seus repositórios. Algumas organizações começam a ter problemas para gerir e armazenar estes grandes volumes de informação. Esse facto deve-se, em grande parte, à estrutura de armazenamento que lhes serve de base. Os sistemas de gestão de bases de dados relacionais são, há algumas décadas, considerados como o método primordial de armazenamento de informação num armazém de dados. De facto, estes sistemas começam a não se mostrar capazes de armazenar e gerir os dados operacionais das organizações, sendo consequentemente cada vez menos recomendada a sua utilização em armazéns de dados. É intrinsecamente interessante o pensamento de que as bases de dados relacionais começam a perder a luta contra o volume de dados, numa altura em que um novo paradigma de armazenamento surge, exatamente com o intuito de dominar o grande volume inerente aos dados Big Data. Ainda é mais interessante o pensamento de que, possivelmente, estes novos sistemas NoSQL podem trazer vantagens para o mundo dos armazéns de dados. Assim, neste trabalho de mestrado, irá ser estudada a viabilidade e as implicações da adoção de bases de dados NoSQL, no contexto de armazéns de dados, em comparação com a abordagem tradicional, implementada sobre sistemas relacionais. Para alcançar esta tarefa, vários estudos foram operados tendo por base o sistema relacional SQL Server 2014 e os sistemas NoSQL, MongoDB e Cassandra. Várias etapas do processo de desenho e implementação de um armazém de dados foram comparadas entre os três sistemas, sendo que três armazéns de dados distintos foram criados tendo por base cada um dos sistemas. Toda a investigação realizada neste trabalho culmina no confronto da performance de consultas, realizadas nos três sistemas.

A comunicação on-line das ONGs e a angariação de fundos

Dissertação de Mestrado apresentado ao Instituto de Contabilidade e Administração do Porto para a obtenção do grau de Mestre em Marketing Digital, sob orientação da Mestre Inês Veiga Pereira “Esta versão contém as críticas e sugestões dos elementos do júri”

Effects of hotel characteristics on room rates in Porto: a hedonic price approach

According to the hedonic price method, a price of a good is related with the characteristics or the services it provides. Within this framework, the aim of this study it is to examine the effect on room rates of different characteristics of hotels in and around the city of Porto, such as star category, size, room and service quality, hotel facilities and location. It was estimated a hedonic price function, using data for 51 hotels. The results enable to identify the attributes that are important to consumers and hoteliers and to which extent. This information can be used by hotel managers to define a price strategy and helpful in new investment decisions.

Gestão da cadeia de abastecimento de bens de consumo baseada em modelos de previsão lineares

Dissertação apresentada ao Instituto Politécnico do Porto para obtenção do Grau de Mestre em Logística

Behind video lectures in a MOOC

The year 2012 was the “boom year” in MOOC and all its outstanding growth until now, made us move forward in designing the first MOOC in our Institution (and the third in our country, Portugal). Most MOOC are video lectured based and the learning analytic process to these ones is just taking its first steps. Designing a video-lecture seems, at a first glance, very easy: one can just record a live lesson or lecture and turn it, directly, into a video-lecture (even here one may experience some “sound” and “camera” problems); but developing some engaging, appealing video-lecture, that motivates students to embrace knowledge and that really contributes to the teaching/learning process, it is not an easy task. Therefore questions like: “What kind of information can induce knowledge construction, in a video-lecture?”, “How can a professor interact in a video-lecture when he is not really there?”, “What are the video-lectures attributes that contribute the most to viewer’s engagement?”, “What seems to be the maximum “time-resistance” of a viewer?”, and many others, raised in our minds when designing video-lectures to a Mathematics MOOC from the scratch. We believe this technological resource can be a powerful tool to enhance students' learning process. Students that were born in digital/image era, respond and react slightly different to outside stimulus, than their teachers/professors ever did or do. In this article we will describe just how we have tried to overcome some of the difficulties and challenges we tackled when producing our own video-math-lectures and in what way, we feel, videos can contribute to the teaching and learning process at higher education level.

Minimization of open orders using interval graphs

In this paper we address an order processing optimization problem known as the Minimization of Open Stacks Problem (MOSP). This problem consists in finding the best sequence for manufacturing the different products required by costumers, in a setting where only one product can be made at a time. The objective is to minimize the maximum number of incomplete orders from costumers that are being processed simultaneously. We present an integer programming model, based on the existence of a perfect elimination order in interval graphs, which finds an optimal sequence for the costumers orders. Among other economic advantages, manufacturing the products in this optimal sequence reduces the amount of space needed to store incomplete orders.

Short-term Wind Forecasting to Support Virtual Power Player Operation

This paper proposes a wind speed forecasting model that contributes to the development and implementation of adequate methodologies for Energy Resource Man-agement in a distribution power network, with intensive use of wind based power generation. The proposed fore-casting methodology aims to support the operation in the scope of the intraday resources scheduling model, name-ly with a time horizon of 10 minutes. A case study using a real database from the meteoro-logical station installed in the GECAD renewable energy lab was used. A new wind speed forecasting model has been implemented and it estimated accuracy was evalu-ated and compared with a previous developed forecast-ing model. Using as input attributes the information of the wind speed concerning the previous 3 hours enables to obtain results with high accuracy for the wind short-term forecasting.

An automatic tool to Extract, Transform and Load data from real electricity markets

The study of Electricity Markets operation has been gaining an increasing importance in the last years, as result of the new challenges that the restructuring produced. Currently, lots of information concerning Electricity Markets is available, as market operators provide, after a period of confidentiality, data regarding market proposals and transactions. These data can be used as source of knowledge, to define realistic scenarios, essential for understanding and forecast Electricity Markets behaviour. The development of tools able to extract, transform, store and dynamically update data, is of great importance to go a step further into the comprehension of Electricity Markets and the behaviour of the involved entities. In this paper we present an adaptable tool capable of downloading, parsing and storing data from market operators’ websites, assuring actualization and reliability of stored data.

Geospatial database generation from digital newspapers: use case for risk and disaster domains.

Dissertation submitted in partial fulfilment of the requirements for the Degree of Master of Science in Geospatial Technologies.

Algorithms for time series clustering applied to biomedical signals

Thesis submitted in the fulfillment of the requirements for the Degree of Master in Biomedical Engineering

THE MAKING OF THE IMMIGRANT IDENTITY IN THE PRESS: Constructing the Immigrant Imagined Community

A dissertation submitted in partial fulfilment of the requirements for the degree of Master in Arts

Industry level foresight: designing foresight methods for Lithuanian energy sector

Enterprise and Work Innovation Studies,6,IET, pp.9-51

Environmental/Regatta Buoy: Sensing System

Um dos principais objetivos da ciência é perceber a natureza, i.e., descobrir e explicar o funcionamento do mundo que nos rodeia. Para tal, os cientistas precisam de coligir dados e monitorar o meio ambiente. Em particular, considerando que cerca de 70% da Terra é coberta por água, a coleta de parâmetros de caracterização da água de grandes superfícies é uma prioridade. A monitorização das condições da água é feita principalmente através de bóias. No entanto, as bóias disponíveis no mercado não satisfazem as necessidades existentes. Esta é uma das principais razões que levaram o Laboratório de Sistemas Autónomos (LSA) do Instituto Superior de Engenharia do Porto a lançarem um projeto para o desenvolvimento de uma bóia reconfigurável e com dois modos de funcionamento: monitorização ambiental e baliza ativa de regata. O segundo modo é destinado a regatas de veleiros autónomos. O projeto começou há um ano com um projeto do European Project Project [1] (EPS), realizado por quatro estudantes internacionais, destinado à construção da estrutura da bóia e à selecção dos componentes mais adequados para o sistema de medição e controlo. A arquitetura que foi definida para este sistema é do tipo mestre-escravo e é composta por uma unidade de controlo mestre para a telemetria e configuração e uma unidade de controlo escrava para a medição e armazenamento de dados. O desenvolvimento do projeto continuou com dois estudantes belgas que trabalharam na comunicação e no armazenamento de dados. Este projeto, que prossegue com o desenvolvimento da medição e do armazenamento de dados do lado da unidade de controlo escrava, tem os seguintes objetivos: (i ) implementar o protocolo de comunicação na unidade de controlo escrava; (ii ) coligir e armazenar os dados dos sensores no cartão SD em tempo real; (iii ) fornecer dados em tempo útil; e (iv) recuperar dados do cartão SD em tempo diferido. As contribuições anteriores foram estudadas e foi feito um levantamento dos projetos congéneres existentes. O desenvolvimento do projeto atual começou com o protocolo de comunicação. Este protocolo, que foi projetado pelos alunos anteriores, foi um bom ponto de partida. No entanto, o protocolo foi atualizado e melhorado com novas funcionalidades. Esta última componente foi um trabalho conjunto com Laurens Allart, que esteve a trabalhar no subsistema de telemetria e de configuração durante este semestre. O protocolo foi implementado do lado da unidade de controlo escrava através de uma estrutura de múltiplas actividades paralelas (multithreaded). Esta estrutura recebe as mensagens da unidade mestre, executa as ações solicitadas e envia de volta o resultado. A bóia é um dispositivo reconfigurável multimodo que pode ser expandido com novos modos de operação no futuro. Infelizmente, sofre de algumas limitações: suporta uma carga máxima de 40 kg e tem uma área de implantação limitada pela distância máxima à estacão base.

Hantavirus pulmonary syndrome in Anajatuba, Maranhão, Brazil

The authors report a confirmed case of hantavirus pulmonary syndrome in the rural area of the municipality of Anajatuba, state of Maranhão. Two other suspected cases from the same region are also described. The confirmed case involved a previously healthy young woman who died with signs and symptoms of acute respiratory insufficiency 5 days after presenting fever, myalgia and a dry cough. The patient was a student who was helping her parents with work in the fields; it was a habit of the family to store rice inside the house. The suspected cases involved two first-degree relatives working as field hands who died of acute respiratory insufficiency 24 and 48 hours, respectively, after presenting fever, myalgia and a dry cough. Both stored rice and corn inside their home. People living in the region reported massive infestations with rats in the woods and fields.

Database repairs with answer set programming

Dissertação para obtenção do Grau de Mestre em Engenharia Informática