Armazéns de dados em bases de dados NoSQL

Na atualidade, existe uma quantidade de dados criados diariamente que ultrapassam em muito as mais otimistas espectativas estabelecidas na década anterior. Estes dados têm origens bastante diversas e apresentam-se sobre várias formas. Este novo conceito que dá pelo nome de Big Data está a colocar novos e rebuscados desafios ao seu armazenamento, tratamento e manipulação. Os tradicionais sistemas de armazenamento não se apresentam como a solução indicada para este problema. Estes desafios são alguns dos mais analisados e dissertados temas informáticos do momento. Várias tecnologias têm emergido com esta nova era, das quais se salienta um novo paradigma de armazenamento, o movimento NoSQL. Esta nova filosofia de armazenamento visa responder às necessidades de armazenamento e processamento destes volumosos e heterogéneos dados. Os armazéns de dados são um dos componentes mais importantes do âmbito Business Intelligence e são, maioritariamente, utilizados como uma ferramenta de apoio aos processos de tomada decisão, levados a cabo no dia-a-dia de uma organização. A sua componente histórica implica que grandes volumes de dados sejam armazenados, tratados e analisados tendo por base os seus repositórios. Algumas organizações começam a ter problemas para gerir e armazenar estes grandes volumes de informação. Esse facto deve-se, em grande parte, à estrutura de armazenamento que lhes serve de base. Os sistemas de gestão de bases de dados relacionais são, há algumas décadas, considerados como o método primordial de armazenamento de informação num armazém de dados. De facto, estes sistemas começam a não se mostrar capazes de armazenar e gerir os dados operacionais das organizações, sendo consequentemente cada vez menos recomendada a sua utilização em armazéns de dados. É intrinsecamente interessante o pensamento de que as bases de dados relacionais começam a perder a luta contra o volume de dados, numa altura em que um novo paradigma de armazenamento surge, exatamente com o intuito de dominar o grande volume inerente aos dados Big Data. Ainda é mais interessante o pensamento de que, possivelmente, estes novos sistemas NoSQL podem trazer vantagens para o mundo dos armazéns de dados. Assim, neste trabalho de mestrado, irá ser estudada a viabilidade e as implicações da adoção de bases de dados NoSQL, no contexto de armazéns de dados, em comparação com a abordagem tradicional, implementada sobre sistemas relacionais. Para alcançar esta tarefa, vários estudos foram operados tendo por base o sistema relacional SQL Server 2014 e os sistemas NoSQL, MongoDB e Cassandra. Várias etapas do processo de desenho e implementação de um armazém de dados foram comparadas entre os três sistemas, sendo que três armazéns de dados distintos foram criados tendo por base cada um dos sistemas. Toda a investigação realizada neste trabalho culmina no confronto da performance de consultas, realizadas nos três sistemas.

Aplicação da metodologia de “lean management” no processo de desenvolvimento de produto

O presente trabalho de dissertação teve como objetivo a implementação de metodologias de Lean Management e avaliação do seu impacto no processo de Desenvolvimento de Produto. A abordagem utilizada consistiu em efetuar uma revisão da literatura e levantamento do Estado da Arte para obter a fundamentação teórica necessária à implementação de metodologias Lean. Prosseguiu com o levantamento da situação inicial da organização em estudo ao nível das atividades de desenvolvimento de produto, práticas de gestão documental e operacional e ainda de atividades de suporte através da realização de inquéritos e medições experimentais. Este conhecimento permitiu criar um modelo de referência para a implementação de Lean Management nesta área específica do desenvolvimento de produto. Após implementado, este modelo foi validado pela sua experimentação prática e recolha de indicadores. A implementação deste modelo de referência permitiu introduzir na Unidade de Desenvolvimento de Produto e Sistemas (DPS) da organização INEGI, as bases do pensamento Lean, contribuindo para a criação de um ambiente de Respeito pela Humanidade e de Melhoria Contínua. Neste ambiente foi possível obter ganhos qualitativos e quantitativos nas várias áreas em estudo, contribuindo de forma global para um aumento da eficiência e eficácia da DPS. Prevê-se que este aumento de eficiência represente um aumento da capacidade instalada na Organização, pela redução anual de 2290 horas de desperdício (6.5% da capacidade total da unidade) e pela redução significativa em custos operacionais. Algumas das implementações de melhoria propostas no decorrer deste trabalho, após verificado o seu sucesso, extravasaram a unidade em estudo e foram aplicadas transversalmente à da organização. Foram também obtidos ganhos qualitativos, tais como a normalização de práticas de gestão documental e a centralização e agilização de fluxos de informação. Isso permitiu um aumento de qualidade dos serviços prestados pela redução de correções e retrabalho. Adicionalmente, com o desenvolvimento de uma nova ferramenta que permite a monitorização do estado atual dos projetos a nível da sua percentagem de execução (cumprimento de objetivos), prazos e custos, bem como a estimação das datas de conclusão dos projetos possibilitando o replaneamento do projeto bem como a detecção atempada de desvios. A ferramenta permite também a criação de um histórico que identifica o esforço horário associado à realização das atividades/tarefas das várias áreas de Desenvolvimento de Produto e desta forma pode ser usada como suporte à orçamentação futura de atividades similares. No decorrer do projeto, foram também criados os mecanismos que permitem o cálculo de indicadores das competências técnicas e motivações intrínsecas individuais da equipa DPS. Estes indicadores podem ser usados na definição por parte dos gestores dos projetos da composição das equipas de trabalho, dos executantes de tarefas individuais do projeto e dos destinatários de ações de formação. Com esta informação é expectável que se consiga um maior aproveitamento do potencial humano e como consequência um aumento do desempenho e da satisfação pessoal dos recursos humanos da organização. Este caso de estudo veio demonstrar que o potencial de melhoria dos processos associados ao desenvolvimento de produto através de metodologias de Lean Management é muito significativo, e que estes resultam em ganhos visíveis para a organização bem como para os seus elementos individualmente.

Seroprevalência da Brucelose nos últimos cinco anos na Unidade Local de Saúde do Alto-Minho

A brucelose é uma zoonose com elevada importância, causada por bactérias gram-negativas que são altamente patogénicas para uma grande variedade de animais e humanos. Existem zonas endémicas onde esta se prolifera com mais facilidade. Neste estudo os dados são relativos ao distrito de Viana do Castelo, os dados são recolhidas da base de dados da Unidade Local de Saúde do Alto-Minho, uma zona não considerada endémica. Os animais infetados são a principal fonte de contaminação e dispersão da brucelose, é necessário uma reduzida carga bacteriana para ocorrer a infeção. Trata-se de uma doença que está longe de ser erradicada, impondo-se tomar medidas preventivas em relação à contaminação. Os testes usados na sua deteção podem ser alterados e melhorados de acordo com o estádio da doença. Na ULSAM são usados o teste de Wright e eventualmente a pesquisa microbiológica da bactéria Brucella. É pertinente saber o número de testes positivos que ocorrem por ano, se existe alguma sazonalidade relacionada com a doença, assim como, relacionar os parâmetros bioquímicos com um teste de Wright positivo. Os dados foram recolhidos entre o ano 2009-2013 com um número total de testes de 1035, dos quais o número total de positivos para o teste são 102, mas apenas trinta são positivos com significância. Os dados foram recolhidos através do programa Clinidata utilizado como base de armazenamento de dados da ULSAM e foram tratados estatisticamente com o programa SPSS juntamente com o Excel. Este estudo permitiu concluir que o número de casos em 2009 e 2010 era superior aos restantes anos, o que descreve uma tendência para diminuição do número de casos de brucelose atualmente no distrito de Viana do Castelo. Em relação a sazonalidade, os meses que apresentam uma percentagem superior a 50% em relação seroprevalência são os meses de Junho, Novembro e Dezembro. Os resultados revelam como declarado pela Organização Mundial de Saúde que o Distrito de Viana do Castelo não é uma zona endémica. Através da análise estatística foi possível concluir que um dos parâmetros bioquímicos, neste caso o número de leucócitos, poderá estar diretamente relacionado com um teste de Wright positivo, uma vez que, 37% da amostra de testes positivos revelam leucopenia.

Modelação de um data warehouse para a Direcção Geral do Tesouro e Finanças e implementação de um data mart para o processo de gestão patrimonial.

Dissertação apresentada como requisito parcial para a obtenção do grau de Mestre em Estatística e Gestão da Informação

Iberian peninsula ecosystem carbon fluxes: a model-data integration study

Dissertação apresentada para obtenção do Grau de Doutor em Engenharia do Ambiente pela Universidade Nova de Lisboa,Faculdade de Ciências e Tecnologia

Spatial metrics and Landsat data for urban landuse change detection: case of Addis Ababa, Ethiopia.

Dissertation submitted in partial fulfilment of the requirements for the Degree of Master of Science in Geospatial Technologies.

Using data mining techniques to support breast cancer diagnosis

More than ever, there is an increase of the number of decision support methods and computer aided diagnostic systems applied to various areas of medicine. In breast cancer research, many works have been done in order to reduce false-positives when used as a double reading method. In this study, we aimed to present a set of data mining techniques that were applied to approach a decision support system in the area of breast cancer diagnosis. This method is geared to assist clinical practice in identifying mammographic findings such as microcalcifications, masses and even normal tissues, in order to avoid misdiagnosis. In this work a reliable database was used, with 410 images from about 115 patients, containing previous reviews performed by radiologists as microcalcifications, masses and also normal tissue findings. Throughout this work, two feature extraction techniques were used: the gray level co-occurrence matrix and the gray level run length matrix. For classification purposes, we considered various scenarios according to different distinct patterns of injuries and several classifiers in order to distinguish the best performance in each case described. The many classifiers used were Naïve Bayes, Support Vector Machines, k-nearest Neighbors and Decision Trees (J48 and Random Forests). The results in distinguishing mammographic findings revealed great percentages of PPV and very good accuracy values. Furthermore, it also presented other related results of classification of breast density and BI-RADS® scale. The best predictive method found for all tested groups was the Random Forest classifier, and the best performance has been achieved through the distinction of microcalcifications. The conclusions based on the several tested scenarios represent a new perspective in breast cancer diagnosis using data mining techniques.

El multiculturalismo en la Unión Europea organización y acceso a la información: el ejemplo de los centros de documentación europea

Este texto parte de la caracterización del concepto de multiculturalismo en general y específicamente en el contexto de la UE. A continuación, intentamos demostrar el carácter multicultural de una red de información, la red de los CDE, presente en todo el território de la EU, a partir de los resultados de encuestas distribuídas a los responsables, a sus utilizadores y en base a los datos recogidos durante visitas a algunos de ellos. Efectivamente, se verifica la existência de diferencias substanciales Finlandia, Irlanda, Hungría y Portugal en lo que respecta a la localización de los CDE, las tipologías de utilizadores, al uso de lenguages sistemáticos y alfabéticos para la organización de la información. Estas diferencias son menos marcadas pero también existen en lo que respecta a las áreas temáticas mas buscadas y los aspectos que los utilizadores de los CDE consideran que facilitan su acceso a la información. Por lo que se refiere a las formas de búsqueda en el catálogo y a los aspectos que se apuntan como obstáculos en el acceso a la información parece haber más coincidencia entre los diferentes países.

Information professionals in business context: new professionals, old skills

This communication aims to present some reflections regarding the importance of information in organizational context, especially in business context. The ability to produce and to share expertise and knowledge among its employees is now a key factor in the success of any organization. However, it’s also true that workers are increasingly feeling that too much information can hurt their performance. The existence of skilled professionals able to organize, evaluate, select and disseminate information in organizations appears to be a prerequisite for success. The skills necessary for the formation of a professional devoted to the management of information and knowledge in the context of business organizations will be analysed. Then data collected in two focus group discussion with students from a graduate course in Business Information, from Polytechnic Institute of Porto, Portugal, a will be examined.

A Data Mining Framework for Electric Load Profiling

This paper consists in the characterization of medium voltage (MV) electric power consumers based on a data clustering approach. It is intended to identify typical load profiles by selecting the best partition of a power consumption database among a pool of data partitions produced by several clustering algorithms. The best partition is selected using several cluster validity indices. These methods are intended to be used in a smart grid environment to extract useful knowledge about customers’ behavior. The data-mining-based methodology presented throughout the paper consists in several steps, namely the pre-processing data phase, clustering algorithms application and the evaluation of the quality of the partitions. To validate our approach, a case study with a real database of 1.022 MV consumers was used.

Scenarios Generation for Multi-Agent simulation of Electricity Markets based on Intelligent Data Analysis

This document presents a tool able to automatically gather data provided by real energy markets and to generate scenarios, capture and improve market players’ profiles and strategies by using knowledge discovery processes in databases supported by artificial intelligence techniques, data mining algorithms and machine learning methods. It provides the means for generating scenarios with different dimensions and characteristics, ensuring the representation of real and adapted markets, and their participating entities. The scenarios generator module enhances the MASCEM (Multi-Agent Simulator of Competitive Electricity Markets) simulator, endowing a more effective tool for decision support. The achievements from the implementation of the proposed module enables researchers and electricity markets’ participating entities to analyze data, create real scenarios and make experiments with them. On the other hand, applying knowledge discovery techniques to real data also allows the improvement of MASCEM agents’ profiles and strategies resulting in a better representation of real market players’ behavior. This work aims to improve the comprehension of electricity markets and the interactions among the involved entities through adequate multi-agent simulation.

Data Extraction Tool to Analyse, Transform and Store Real Data from Electricity Markets

The study of electricity markets operation has been gaining an increasing importance in the last years, as result of the new challenges that the restructuring process produced. Currently, lots of information concerning electricity markets is available, as market operators provide, after a period of confidentiality, data regarding market proposals and transactions. These data can be used as source of knowledge to define realistic scenarios, which are essential for understanding and forecast electricity markets behavior. The development of tools able to extract, transform, store and dynamically update data, is of great importance to go a step further into the comprehension of electricity markets and of the behaviour of the involved entities. In this paper an adaptable tool capable of downloading, parsing and storing data from market operators’ websites is presented, assuring constant updating and reliability of the stored data.

Automatic Electricity Markets Data Extraction for Realistic Multi-agent Simulations

Electricity markets worldwide suffered profound transformations. The privatization of previously nationally owned systems; the deregulation of privately owned systems that were regulated; and the strong interconnection of national systems, are some examples of such transformations [1, 2]. In general, competitive environments, as is the case of electricity markets, require good decision-support tools to assist players in their decisions. Relevant research is being undertaken in this field, namely concerning player modeling and simulation, strategic bidding and decision-support.

A Data-mining-based Methodology to support MV Electricity Customers' Characterization

This paper presents an electricity medium voltage (MV) customer characterization framework supportedby knowledge discovery in database (KDD). The main idea is to identify typical load profiles (TLP) of MVconsumers and to develop a rule set for the automatic classification of new consumers. To achieve ourgoal a methodology is proposed consisting of several steps: data pre-processing; application of severalclustering algorithms to segment the daily load profiles; selection of the best partition, corresponding tothe best consumers’ segmentation, based on the assessments of several clustering validity indices; andfinally, a classification model is built based on the resulting clusters. To validate the proposed framework,a case study which includes a real database of MV consumers is performed.

An automatic tool to Extract, Transform and Load data from real electricity markets

The study of Electricity Markets operation has been gaining an increasing importance in the last years, as result of the new challenges that the restructuring produced. Currently, lots of information concerning Electricity Markets is available, as market operators provide, after a period of confidentiality, data regarding market proposals and transactions. These data can be used as source of knowledge, to define realistic scenarios, essential for understanding and forecast Electricity Markets behaviour. The development of tools able to extract, transform, store and dynamically update data, is of great importance to go a step further into the comprehension of Electricity Markets and the behaviour of the involved entities. In this paper we present an adaptable tool capable of downloading, parsing and storing data from market operators’ websites, assuring actualization and reliability of stored data.