Estratégia para extração, transformação e armazenamento em Data Warehouse ativo baseada em políticas configuráveis de propagação de dados

Pós-graduação em Ciência da Computação - IBILCE

Enrichment of the Phenotypic and Genotypic Data Warehouse analysis using Question Answering systems to facilitate the decision making process in cereal breeding programs

Currently there are an overwhelming number of scientific publications in Life Sciences, especially in Genetics and Biotechnology. This huge amount of information is structured in corporate Data Warehouses (DW) or in Biological Databases (e.g. UniProt, RCSB Protein Data Bank, CEREALAB or GenBank), whose main drawback is its cost of updating that makes it obsolete easily. However, these Databases are the main tool for enterprises when they want to update their internal information, for example when a plant breeder enterprise needs to enrich its genetic information (internal structured Database) with recently discovered genes related to specific phenotypic traits (external unstructured data) in order to choose the desired parentals for breeding programs. In this paper, we propose to complement the internal information with external data from the Web using Question Answering (QA) techniques. We go a step further by providing a complete framework for integrating unstructured and structured information by combining traditional Databases and DW architectures with QA systems. The great advantage of our framework is that decision makers can compare instantaneously internal data with external data from competitors, thereby allowing taking quick strategic decisions based on richer data.

Agile modeling data warehouse development

Most of the traditional software and database development approaches tend to be serial, not evolutionary and certainly not agile, especially on data-oriented aspects. Most of the more commonly used methodologies are strict, meaning they’re composed by several stages each with very specific associated tasks. A clear example is the Rational Unified Process (RUP), divided into Business Modeling, Requirements, Analysis & Design, Implementation, Testing and Deployment. But what happens when the needs of a well design and structured plan, meet the reality of a small starting company that aims to build an entire user experience solution. Here resource control and time productivity is vital, requirements are in constant change, and so is the product itself. In order to succeed in this environment a highly collaborative and evolutionary development approach is mandatory. The implications of constant changing requirements imply an iterative development process. Project focus is on Data Warehouse development and business modeling. This area is usually a tricky one. Business knowledge is part of the enterprise, how they work, their goals, what is relevant for analyses are internal business processes. Throughout this document it will be explained why Agile Modeling development was chosen. How an iterative and evolutionary methodology, allowed for reasonable planning and documentation while permitting development flexibility, from idea to product. More importantly how it was applied on the development of a Retail Focused Data Warehouse. A productized Data Warehouse built on the knowledge of not one but several client needs. One that aims not just to store usual business areas but create an innovative sets of business metrics by joining them with store environment analysis, converting Business Intelligence into Actionable Business Intelligence.

Desenho e implementação de um data warehouse para a empresa AdClick

Esta dissertação incide sobre a problemática da construção de um data warehouse para a empresa AdClick que opera na área de marketing digital. O marketing digital é um tipo de marketing que utiliza os meios de comunicação digital, com a mesma finalidade do método tradicional que se traduz na divulgação de bens, negócios e serviços e a angariação de novos clientes. Existem diversas estratégias de marketing digital tendo em vista atingir tais objetivos, destacando-se o tráfego orgânico e tráfego pago. Onde o tráfego orgânico é caracterizado pelo desenvolvimento de ações de marketing que não envolvem quaisquer custos inerentes à divulgação e/ou angariação de potenciais clientes. Por sua vez o tráfego pago manifesta-se pela necessidade de investimento em campanhas capazes de impulsionar e atrair novos clientes. Inicialmente é feita uma abordagem do estado da arte sobre business intelligence e data warehousing, e apresentadas as suas principais vantagens as empresas. Os sistemas business intelligence são necessários, porque atualmente as empresas detêm elevados volumes de dados ricos em informação, que só serão devidamente explorados fazendo uso das potencialidades destes sistemas. Nesse sentido, o primeiro passo no desenvolvimento de um sistema business intelligence é concentrar todos os dados num sistema único integrado e capaz de dar apoio na tomada de decisões. É então aqui que encontramos a construção do data warehouse como o sistema único e ideal para este tipo de requisitos. Nesta dissertação foi elaborado o levantamento das fontes de dados que irão abastecer o data warehouse e iniciada a contextualização dos processos de negócio existentes na empresa. Após este momento deu-se início à construção do data warehouse, criação das dimensões e tabelas de factos e definição dos processos de extração e carregamento dos dados para o data warehouse. Assim como a criação das diversas views. Relativamente ao impacto que esta dissertação atingiu destacam-se as diversas vantagem a nível empresarial que a empresa parceira neste trabalho retira com a implementação do data warehouse e os processos de ETL para carregamento de todas as fontes de informação. Sendo que algumas vantagens são a centralização da informação, mais flexibilidade para os gestores na forma como acedem à informação. O tratamento dos dados de forma a ser possível a extração de informação a partir dos mesmos.

The impact of driving styles on fuel consumption: a data-warehouse-and-data-mining-based discovery process

This paper discusses the results of applied research on the eco-driving domain based on a huge data set produced from a fleet of Lisbon's public transportation buses for a three-year period. This data set is based on events automatically extracted from the control area network bus and enriched with GPS coordinates, weather conditions, and road information. We apply online analytical processing (OLAP) and knowledge discovery (KD) techniques to deal with the high volume of this data set and to determine the major factors that influence the average fuel consumption, and then classify the drivers involved according to their driving efficiency. Consequently, we identify the most appropriate driving practices and styles. Our findings show that introducing simple practices, such as optimal clutch, engine rotation, and engine running in idle, can reduce fuel consumption on average from 3 to 5l/100 km, meaning a saving of 30 l per bus on one day. These findings have been strongly considered in the drivers' training sessions.

An Approach To Publish a Data Warehouse Content as Linked Data

Mestrado em Engenharia Informática - Área de Especialização em Tecnologias do Conhecimento e Decisão

Modelação de um data warehouse para a Direcção Geral do Tesouro e Finanças e implementação de um data mart para o processo de gestão patrimonial.

Dissertação apresentada como requisito parcial para a obtenção do grau de Mestre em Estatística e Gestão da Informação

Implementação de um modelo de Data Warehouse para o Serviço Nacional de Avisos Agrícolas

Trabalho de Projecto apresentado como requisito parcial para obtenção do grau de Mestre em Estatística e Gestão de Informação.

Proposta de modelo conceptual de Data Warehouse para o Instituto Nacional de Estatística de Moçambique.

Dissertação apresentada como requisito parcial para obtenção do grau de Mestre em Gestão de Informação

Sistema de deteção de eventos adversos baseado num data warehouse

RESUMO - A Segurança do Doente tem assumido uma relevância crescente nas organizações de saúde, resultado da divulgação de diversos estudos que revelaram a magnitude deste problema e simultaneamente, de uma maior pressão por parte da opinião pública e da comunicação social. Este estudo pretende desenvolver e avaliar a performance de um sistema eletrónico de deteção de eventos adversos, baseado num Data Warehouse, por comparação com os resultados obtidos pela metodologia tradicional de revisão dos registos clínicos. O objetivo principal do trabalho consistiu em identificar um conjunto de triggers / indicadores de alerta que permitam detetar potenciais eventos adversos mais comuns. O sistema desenvolvido apresentou um Valor Preditivo Positivo de 18.2%, uma sensibilidade de 65.1% e uma especificidade de 68.6%, sendo constituído por nove indicadores baseados em informação clínica e 445 códigos do ICD-9-CM, relativos a diagnósticos e procedimentos. Apesar de terem algumas limitações, os sistemas eletrónicos de deteção de eventos adversos apresentam inúmeras potencialidades, nomeadamente a utilização em tempo real e em complemento a metodologias já existentes. Considerando a importância da problemática em análise e a necessidade de aprofundar os resultados obtidos neste trabalho de projeto, seria relevante a sua extensão a um universo mais alargado de instituições hospitalares, estando a sua replicabilidade facilitada, uma vez que o Data Warehouse tem por base um conjunto de aplicações disseminadas a nível nacional. O desenvolvimento e a consolidação dos sistemas eletrónicos de deteção de eventos adversos constitui inegavelmente uma área de futuro, com reflexos ao nível da melhoria da informação existente nas organizações e que contribuirá decisivamente para a melhoria dos cuidados de saúde prestados aos doentes.

Using balanced scorecards to evaluate the data warehouse system utility

Dissertação de mestrado em Systems Engineering

Integração da área de negócio de retalho do grupo Riopele no Data Warehouse corporativo

Dissertação de mestrado integrado em Engenharia e Gestão de Sistemas de Informação

Connecting Iowa’s Disproportionate Minority Confinement Efforts to the Iowa Justice Data Warehouse, 2002

Funds for this report and grant were provided to the Iowa Division of Criminal and Juvenile Justice Planning (CJJP) and Statistical Analysis Center, by the Justice Research and Statistics Association (JRSA) through a cooperative agreement entitled “Juvenile Justice Evaluation Resource Center” with the Office of Juvenile Justice and Delinquency Prevention (OJJDP), U.S. Department of Justice (DOJ).

Traducción técnica del capítulo III del libro Advanced Data Warehouse design: from conventional to spatial and temporal applications

The proposal to work on this final project came after several discussions held with Dr. Elzbieta Malinowski Gadja, who in 2008 published the book entitled Advanced Data Warehouse Design: From Conventional to Spatial and Temporal Applications (Data-Centric Systems and Applications). The project was carried out under the technical supervision of Dr. Malinowski and the direct beneficiary was the University of Costa Rica (UCR) where Dr. Malinowski is a professor at the Department of Computer Science and Informatics. The purpose of this project was twofold: First, to translate chapter III of said book with the intention of generating educational material for the use of the UCR and, second, to venture in the field of technical translation related to data warehouse. For the first component, the goal was to generate a final product that would eventually serve as an educational tool for the post-graduate courses of the UCR. For the second component, this project allowed me to acquire new skills and put into practice techniques that have helped me not only to perfom better in my current job as an Assistant Translator of the Inter-American BAnk (IDB), but also to use them in similar projects. The process was lenggthy and required torough research and constant communication with the author. The investigation focused on the search of terms and definitions to prepare the glossary, which was the basis to start the translation project. The translation process itself was carried out by phases, so that comments and corrections by the author could be taken into account in subsequent stages. Later, based on the glossary and the translated text, illustrations had been created in the Visio software were translated. In addition to the technical revision by the author, professor Carme Mangiron was in charge of revising the non-technical text. The result was a high-quality document that is currently used as reference and study material by the Department of Computer Science and Informatics of Costa Rica.

Construcción y explotación de un data warehouse para el análisis de información sobre el tránsito rodado de vehículos

Proyecto final de grado consistente en la explotación de un data warehouse para el análisis de información sobre el tránsito rodado de vehículos.