Using a domain-specific language to enrich ETL schemas

Today it is easy to find a lot of tools to define data migration schemas among different types of information systems. Data migration processes use to be implemented on a very diverse range of applications, ranging from conventional operational systems to data warehousing platforms. The implementation of a data migration process often involves a serious planning, considering the development of conceptual migration schemas at early stages. Such schemas help architects and engineers to plan and discuss the most adequate way to migrate data between two different systems. In this paper we present and discuss a way for enriching data migration conceptual schemas in BPMN using a domain-specific language, demonstrating how to convert such enriched schemas to a first correspondent physical representation (a skeleton) in a conventional ETL implementation tool like Kettle.

Improving selective collection of urban waste using a business intelligence system

Today recovering urban waste requires effective management services, which usually imply sophisticated monitoring and analysis mechanisms. This is essential for the smooth running of the entire recycling process as well as for planning and control urban waste recovering. In this paper we present a business intelligence system especially designed and im- plemented to support regular decision-making tasks on urban waste management processes. The system provides a set of domain-oriented analytical tools for studying and characterizing poten- tial scenarios of collection processes of urban waste, as well as for supporting waste manage- ment in urban areas, allowing for the organization and optimization of collection services. In or- der to clarify the way the system was developed and the how it operates, particularly in process visualization and data analysis, we also present the organization model of the system, the ser- vices it disposes, and the interface platforms for exploring data.

Automatic generation of ETL physical systems from BPMN conceptual models

ETL conceptual modeling is a very important activity in any data warehousing system project implementation. Owning a high-level system representation allowing for a clear identification of the main parts of a data warehousing system is clearly a great advantage, especially in early stages of design and development. However, the effort to model conceptually an ETL system rarely is properly rewarded. Translating ETL conceptual models directly into something that saves work and time on the concrete implementation of the system process it would be, in fact, a great help. In this paper we present and discuss a hybrid approach to this problem, combining the simplicity of interpretation and power of expression of BPMN on ETL systems conceptualization with the use of ETL patterns to produce automatically an ETL skeleton, a first prototype system, which has the ability to be executed in a commercial ETL tool like Kettle.

Using relational algebra on the specification of real world ETL processes

Modeling Extract-Transform-Load (ETL) processes of a Data Warehousing System has always been a challenge. The heterogeneity of the sources, the quality of the data obtained and the conciliation process are some of the issues that must be addressed in the design phase of this critical component. Commercial ETL tools often provide proprietary diagrammatic components and modeling languages that are not standard, thus not providing the ideal separation between a modeling platform and an execution platform. This separation in conjunction with the use of standard notations and languages is critical in a system that tends to evolve through time and which cannot be undermined by a normally expensive tool that becomes an unsatisfactory component. In this paper we demonstrate the application of Relational Algebra as a modeling language of an ETL system as an effort to standardize operations and provide a basis for uncommon ETL execution platforms.

A relational algebra approach to ETL modeling

The MAP-i Doctoral Programme in Informatics, of the Universities of Minho, Aveiro and Porto

Business intelligence no suporte às autarquias locais e à sua gestão orçamental

Dissertação de mestrado integrado em Engenharia e Gestão de Sistemas de Informação

Construcció i explotació d'un magatzem de dades per a l'anàlisi estadístic dels resultats del Campionat de Fórmula 1

En els darrers anys les organitzacions han anat agafant consciència de la importància de la gestió de la seva informació. D'aquesta necessitat d'organitzar les pròpies dades d'una forma coherent i eficient per al seu anàlisi sorgeixen els magatzems de dades. El projecte "Construcció i explotació d'un magatzem de dades per a l'anàlisi estadístic dels resultats del Campionat de Fórmula 1" s'emmarca dins aquest context i te com a objectiu el disseny d'un magatzem de dades per a cobrir les necessitats del Institut Català d'Esports de Motor (ICEM) en la gestió de les seves dades referents a la Fórmula 1. En aquest projecte s'han executat les diferents fases necessàries per a la creació d'un nou magatzem. En primer lloc s'ha fet l'anàlisi de requeriments i de les dades disponibles. A continuació s'ha fet el disseny i la implementació física del magatzem de dades. Seguidament s'ha procedit amb l'extracció, transformació i càrrega de dades originals (ETL) i per finalitzar s'han creat els informes. Com a resultat s'han obtingut una sèrie d'informes per a ser consumits de manera immediata pels usuaris del ICEM. Aquests informes han de permetre l'anàlisi de les dades d'una forma senzilla i àgil. A més s'ha implementat un sistema d'actualització automàtic de les dades que per al manteniment de la informació del magatzem.La implementació del magatzem de dades s'ha fet sobre una base de dades Oracle 10g Express Edition i els informes s'ha dissenyat amb l'eina Oracle Discoverer. Per a l'automatització de les dades s'ha fet servir a més visual basic script i l'eina de càrrega SQL*Loader.

Construcció i explotació d'un magatzem de dades d'informació cinematogràfica

En aquest treball es realitzarà l'estudi dels Magatzems de dades amb un cas pràctic en l' àmbit de la industria cinematogràfica concretament estarà centrat en els premis atorgats per a diferents festivals. La informació dels premis s'ha lliurat en format Excel y representa diversos festivals.

Magatzems de dades en el context de la web semàntica

L'objectiu d'aquest treball és estudiar els sistemes de gestió de bases de dades (SGBD) utilitzats en el context de la web semàntica en general i analitzar-ne un en particular.

Construcció i explotació d'un magatzem de dades per a l'anàlisi de vendes d'una cadena de supermercats

Aquest document inclou les diferents fases del projecte, des d'una introducció inicial on s'explica que és el Data Warehouse, la justificació i objectius del projecte i els requeriments del client, fins al seu anàlisi, disseny i implementació.

Construcció i explotació d'un magatzem de dades per a l'anàlisi de vendes d'una cadena de supermercats

Descripció d'un magatzem de dades i cas pràctic de construcció i explotació d'un magatzem de dades per a l'anàlisi de vendes d'una cadena de supermercats.

Sistema de Informação de Apoio à Detecção de Perdas de Energia Eléctrica – O Caso da Electra

A realidade mundial é preocupante no que diz respeito ao aumento de ocorrências de perdas e fraudes em redes de distribuição de energia eléctrica. Em Cabo Verde, mas precisamente na Cidade da Praia a realidade é ainda mais preocupante devido ao número de ocorrências e a gravidade dos mesmos. Propõe-se um trabalho de investigação sobre perdas e fraudes de energia eléctrica baseado na análise dos dados relativos aos registos dos clientes na Base de Dados da Electra (Cabo Verde), com o intuito de nortear as tomadas de decisões de gestão estratégica no que diz respeito às políticas de controlo e prevenção de perdas e fraudes de energia eléctrica. O trabalho baseia-se na recolha e selecção de dados a organizar numa Data Warehouse para depois aplicar as tecnologias OLAP para a identificação de perdas nos Postos de Transformação e zonas geográficas da Cidade da Praia em Cabo Verde e posteriormente identificar possíveis fraudes de energia eléctrica nos clientes finais utilizando Data Mining. Os resultados principais consistiram na identificação de situações de perdas de energia eléctrica nos Postos de Transformação, a identificação de áreas críticas seleccionadas para inspecção dos seus clientes finais e a detecção de padrões de anomalias associadas ao perfil dos clientes.

Sistema de Informação de Apoio à Detecção de Perdas de Energia Eléctrica – O Caso da Electra

A realidade mundial é preocupante no que diz respeito ao aumento de ocorrências de perdas e fraudes em redes de distribuição de energia eléctrica. Em Cabo Verde, mas precisamente na Cidade da Praia a realidade é ainda mais preocupante devido ao número de ocorrências e a gravidade dos mesmos. Propõe-se um trabalho de investigação sobre perdas e fraudes de energia eléctrica baseado na análise dos dados relativos aos registos dos clientes na Base de Dados da Electra (Cabo Verde), com o intuito de nortear as tomadas de decisões de gestão estratégica no que diz respeito às políticas de controlo e prevenção de perdas e fraudes de energia eléctrica. O trabalho baseia-se na recolha e selecção de dados a organizar numa Data Warehouse para depois aplicar as tecnologias OLAP para a identificação de perdas nos Postos de Transformação e zonas geográficas da Cidade da Praia em Cabo Verde e posteriormente identificar possíveis fraudes de energia eléctrica nos clientes finais utilizando Data Mining. Os resultados principais consistiram na identificação de situações de perdas de energia eléctrica nos Postos de Transformação, a identificação de áreas críticas seleccionadas para inspecção dos seus clientes finais e a detecção de padrões de anomalias associadas ao perfil dos clientes.

Construcción y explotación de un almacén de datos para el análisis del sistema de ventas de una distribuidora farmacéutica

Construcción y explotación de un almacén de datos para el análisis del sistema de ventas de una distribuidora farmacéutica, realizado sobre la plataforma Microsoft SQL Server 2012.

Construcción y explotación de un almacén de datos para el análisis de información sobre alojamientos turísticos

El proyecto proporciona las claves para elaborar un almacén de datos para un conjunto de datos de forma que permita analizar la información correspondiente a la oferta de recursos turísticos en Catalunya, considerando dimensiones temporales, geográficas, categorías y equipamientos disponibles.