An Approach To Publish a Data Warehouse Content as Linked Data

Mestrado em Engenharia Informática - Área de Especialização em Tecnologias do Conhecimento e Decisão

Armazéns de dados em bases de dados NoSQL

Na atualidade, existe uma quantidade de dados criados diariamente que ultrapassam em muito as mais otimistas espectativas estabelecidas na década anterior. Estes dados têm origens bastante diversas e apresentam-se sobre várias formas. Este novo conceito que dá pelo nome de Big Data está a colocar novos e rebuscados desafios ao seu armazenamento, tratamento e manipulação. Os tradicionais sistemas de armazenamento não se apresentam como a solução indicada para este problema. Estes desafios são alguns dos mais analisados e dissertados temas informáticos do momento. Várias tecnologias têm emergido com esta nova era, das quais se salienta um novo paradigma de armazenamento, o movimento NoSQL. Esta nova filosofia de armazenamento visa responder às necessidades de armazenamento e processamento destes volumosos e heterogéneos dados. Os armazéns de dados são um dos componentes mais importantes do âmbito Business Intelligence e são, maioritariamente, utilizados como uma ferramenta de apoio aos processos de tomada decisão, levados a cabo no dia-a-dia de uma organização. A sua componente histórica implica que grandes volumes de dados sejam armazenados, tratados e analisados tendo por base os seus repositórios. Algumas organizações começam a ter problemas para gerir e armazenar estes grandes volumes de informação. Esse facto deve-se, em grande parte, à estrutura de armazenamento que lhes serve de base. Os sistemas de gestão de bases de dados relacionais são, há algumas décadas, considerados como o método primordial de armazenamento de informação num armazém de dados. De facto, estes sistemas começam a não se mostrar capazes de armazenar e gerir os dados operacionais das organizações, sendo consequentemente cada vez menos recomendada a sua utilização em armazéns de dados. É intrinsecamente interessante o pensamento de que as bases de dados relacionais começam a perder a luta contra o volume de dados, numa altura em que um novo paradigma de armazenamento surge, exatamente com o intuito de dominar o grande volume inerente aos dados Big Data. Ainda é mais interessante o pensamento de que, possivelmente, estes novos sistemas NoSQL podem trazer vantagens para o mundo dos armazéns de dados. Assim, neste trabalho de mestrado, irá ser estudada a viabilidade e as implicações da adoção de bases de dados NoSQL, no contexto de armazéns de dados, em comparação com a abordagem tradicional, implementada sobre sistemas relacionais. Para alcançar esta tarefa, vários estudos foram operados tendo por base o sistema relacional SQL Server 2014 e os sistemas NoSQL, MongoDB e Cassandra. Várias etapas do processo de desenho e implementação de um armazém de dados foram comparadas entre os três sistemas, sendo que três armazéns de dados distintos foram criados tendo por base cada um dos sistemas. Toda a investigação realizada neste trabalho culmina no confronto da performance de consultas, realizadas nos três sistemas.

Bases de Dados NoSQL

Com o advento da invenção do modelo relacional em 1970 por E.F.Codd, a forma como a informação era gerida numa base de dados foi totalmente revolucionada. Migrou‐se de sistemas hierárquicos baseados em ficheiros para uma base de dados relacional com tabelas relações e registos que simplificou em muito a gestão da informação e levou muitas empresas a adotarem este modelo. O que E.F.Codd não previu foi o facto de que cada vez mais a informação que uma base de dados teria de armazenar fosse de proporções gigantescas, nem que as solicitações às bases de dados fossem da mesma ordem. Tudo isto veio a acontecer com a difusão da internet que veio ligar todas as pessoas de qualquer parte do mundo que tivessem um computador. Com o número de adesões à internet a crescer, o número de sites que nela eram criados também cresceu (e ainda cresce exponencialmente). Os motores de busca que antigamente indexavam alguns sites por dia, atualmente indexam uns milhões de sites por segundo e, mais recentemente as redes sociais também estão a lidar com quantidades gigantescas de informação. Tanto os motores de busca como as redes sociais chegaram à conclusão que uma base de dados relacional não chega para gerir a enorme quantidade de informação que ambos produzem e como tal, foi necessário encontrar uma solução. Essa solução é NoSQL e é o assunto que esta tese vai tratar. O presente documento visa definir e apresentar o problema que as bases de dados relacionais têm quando lidam com grandes volumes de dados, introduzir os limites do modelo relacional que só até há bem pouco tempo começaram a ser evidenciados com o surgimento de movimentos, como o BigData, com o crescente número de sites que surgem por dia e com o elevado número de utilizadores das redes sociais. Será também ilustrada a solução adotada até ao momento pelos grandes consumidores de dados de elevado volume, como o Google e o Facebook, enunciando as suas características vantagens, desvantagens e os demais conceitos ligados ao modelo NoSQL. A presente tese tenciona ainda demonstrar que o modelo NoSQL é uma realidade usada em algumas empresas e quais as principias mudanças a nível programático e as boas práticas delas resultantes que o modelo NoSQL traz. Por fim esta tese termina com a explicação de que NoSQL é uma forma de implementar a persistência de uma aplicação que se inclui no novo modelo de persistência da informação.

Interoperability frameworks for competencies and learning outcomes: databases vs ontologies

The changes introduced into the European Higher Education Area (EHEA) by the Bologna Process, together with renewed pedagogical and methodological practices, have created a new teaching-learning paradigm: Student-Centred Learning. In addition, the last few years have been characterized by the application of Information Technologies, especially the Semantic Web, not only to the teaching-learning process, but also to administrative processes within learning institutions. On one hand, the aim of this study was to present a model for identifying and classifying Competencies and Learning Outcomes and, on the other hand, the computer applications of the information management model were developed, namely a relational Database and an Ontology.

Corporate brand identity in higher education: a relational perspective

Identity is traditionally defined as an emission concept (Kapferer, 2008). Yet, some research points out that there are external factors that that can influence it (Kennedy, 1975; Markwick e Fill, 1997; Balmer e Gray, 2000). This subject is even more interesting if one considers corporate brands. According to Aaker (2004) the number, the power and the credibility of corporate associations are bigger in the case corporate brands. Literature recognizes the influence of relationships between companies in identity management (Hakansson and Snehota, 1989, 1995; Hakansson and Ford, 2002). Yet, given the increasingly important role of corporate brands, it is surprising that to date no attempt to evaluate that influence has been made in corporate brand´s identity management and reputation. Also Keller and Lehman (2006) highlight relationships and costumer experience as two areas requiring more investigation. The authors argue that corporate brand´s identity can be developed under a relational perspective using relationships with other recognised brands in order to generate positive reputations in stakeholders. Based in relationship and corporate brand identity management, a framework is developed to identify how corporate brands select, develop and invest in relationships with other brands. The context of the proposed relationship concept is the services area (Dwyer et al, 1987; Moorman et al, 1992; Rauyruen et al, 2005 and Hennig-Thurau and Klee, 1997). An empirical qualitative research is designed using two reputational technological higher education institutions (two corporate brands) acting in Portuguese public higher education market.

Data mining languages for business intelligence

Doctoral Thesis in Information Systems and Technologies Area of Engineering and Manag ement Information Systems

Plataforma web de informação automobilística

Esta dissertação enquadra-se no âmbito dos Sistemas de Informação, em concreto, no desenvolvimento de aplicações Web, como é o caso de um website. Com a utilização em larga escala dos meios tecnológicos tem-se verificado um crescimento exponencial dos mesmos, o que se traduz na facilidade com que podem ser encontradas na Internet diversos tipos de plataformas informáticas. Além disso, hoje em dia, uma grande parte das organizações possui o seu próprio sítio na Internet, onde procede à divulgação dos seus serviços e/ou produtos. Pretende-se com esta dissertação explorar estas novas tecnologias, nomeadamente, os diagramas UML - Unified Modeling Language e a concepção de bases de dados, e posteriormente desenvolver um website. Com o desenvolvimento deste website não se propõe a criação de uma nova tecnologia, mas o uso de diversas tecnologias em conjunto com recurso às ferramentas UML. Este encontra-se organizado em três fases principais: análise de requisitos, implementação e desenho das interfaces. Na análise de requisitos efectuou-se o levantamento dos objectivos propostos para o sistema e das necessidades/requisitos necessários à sua implementação, auxiliado essencialmente pelo Diagrama de Use Cases do sistema. Na fase de implementação foram elaborados os arquivos e directórios que formam a arquitectura lógica de acordo com os modelos descritos no Diagrama de Classes e no Diagrama de Entidade-Relação. Os requisitos identificados foram analisados e usados na composição das interfaces e sistema de navegação. Por fim, na fase de desenho das interfaces foram aperfeiçoadas as interfaces desenvolvidas, com base no conceito artístico e criativo do autor. Este aperfeiçoamento vai de encontro ao gosto pessoal e tem como objectivo elaborar uma interface que possa também agradar ao maior número possível de utilizadores. Este pode ser observado na maneira como se encontram distribuídas as ligações (links) entre páginas, nos títulos, nos cabeçalhos, nas cores e animações e no seu design em geral. Para o desenvolvimento do website foram utilizadas diferentes linguagens de programação, nomeadamente a HyperText Markup Language (HTML), a Page Hypertext Preprocessor (PHP) e Javascript. A HTML foi utilizada para a disposição de todo o conteúdo visível das páginas e para definição do layout das mesmas e a PHP para executar pequenos scripts que permitem interagir com as diferentes funcionalidades do site. A linguagem Javascript foi usada para definir o design das páginas e incluir alguns efeitos visuais nas mesmas. Para a construção das páginas que compõem o website foi utilizado o software Macromedia Dreamweaver, o que simplificou a sua implementação pela facilidade com que estas podem ser construídas. Para interacção com o sistema de gestão da base de dados, o MySQL, foi utilizada a aplicação phpMyAdmin, que simplifica o acesso à base de dados, permitindo definir, manipular e consultar os seus dados.

Quality in Hospital Administrative Databases

The clinical content of administrative databases includes, among others, patient demographic characteristics, and codes for diagnoses and procedures. The data in these databases is standardized, clearly defined, readily available, less expensive than collected by other means, and normally covers hospitalizations in entire geographic areas. Although with some limitations, this data is often used to evaluate the quality of healthcare. Under these circumstances, the quality of the data, for instance, errors, or it completeness, is of central importance and should never be ignored. Both the minimization of data quality problems and a deep knowledge about this data (e.g., how to select a patient group) are important for users in order to trust and to correctly interpret results. In this paper we present, discuss and give some recommendations for some problems found in these administrative databases. We also present a simple tool that can be used to screen the quality of data through the use of domain specific data quality indicators. These indicators can significantly contribute to better data, to give steps towards a continuous increase of data quality and, certainly, to better informed decision-making.

An aspect-oriented framework for orthogonal persistence

The life cycle of software applications in general is very short and with extreme volatile requirements. Within these conditions programmers need development tools and techniques with an extreme level of productivity. We consider the code reuse as the most prominent approach to solve that problem. Our proposal uses the advantages provided by the Aspect-Oriented Programming in order to build a reusable framework capable to turn both programmer and application oblivious as far as data persistence is concerned, thus avoiding the need to write any line of code about that concern. Besides the benefits to productivity, the software quality increases. This paper describes the actual state of the art, identifying the main challenge to build a complete and reusable framework for Orthogonal Persistence in concurrent environments with support for transactions. The present work also includes a successfully developed prototype of that framework, capable of freeing the programmer of implementing any read or write data operations. This prototype is supported by an object oriented database and, in the future, will also use a relational database and have support for transactions.

KDD, SEMMA and CRISP-DM: a parallel overview

In the last years there has been a huge growth and consolidation of the Data Mining field. Some efforts are being done that seek the establishment of standards in the area. Included on these efforts there can be enumerated SEMMA and CRISP-DM. Both grow as industrial standards and define a set of sequential steps that pretends to guide the implementation of data mining applications. The question of the existence of substantial differences between them and the traditional KDD process arose. In this paper, is pretended to establish a parallel between these and the KDD process as well as an understanding of the similarities between them.

An architecture for an effective usage of data mining in business intelligence systems

Business Intelligence (BI) is one emergent area of the Decision Support Systems (DSS) discipline. Over the last years, the evolution in this area has been considerable. Similarly, in the last years, there has been a huge growth and consolidation of the Data Mining (DM) field. DM is being used with success in BI systems, but a truly DM integration with BI is lacking. Therefore, a lack of an effective usage of DM in BI can be found in some BI systems. An architecture that pretends to conduct to an effective usage of DM in BI is presented.

Programas de self-management em pacientes com DPOC: uma revisão sistemática

Introdução: Programas de self-management têm como objectivo habilitar os pacientes com estratégias necessárias para levar a cabo procedimentos específicos para a patologia. A última revisão sistemática sobre selfmanagament em DPOC foi realizada em 2007, concluindo-se que ainda não era possível fornecer dados claros e suficientes acerca de recomendações sobre a estrutura e conteúdo de programas de self-managament na DPOC. A presente revisão tem o intuito de complementar a análise da revisão anterior, numa tentativa de inferir a influência do ensino do self-management na DPOC. Objectivos: verificar a influência dos programas de self-management na DPOC, em diversos indicadores relacionados com o estado de saúde do paciente e na sua utilização dos serviços de saúde. Estratégia de busca: pesquisa efectuada nas bases de dados PubMed e Cochrane Collaboration (01/01/2007 – 31/08/2010). Palavras-chave: selfmanagement education, self-management program, COPD e pulmonary rehabilitation. Critérios de Selecção: estudos randomizados sobre programas de selfmanagement na DPOC. Extracção e Análise dos Dados: 2 investigadores realizaram, independentemente, a avaliação e extracção de dados de cada artigo. Resultados: foram considerados 4 estudos randomizados em selfmanagement na DPOC nos quais se verificaram benefícios destes programas em diversas variáveis: qualidade de vida a curto e médio prazo, utilização dos diferentes recursos de saúde, adesões a medicação de rotina, controle das exacerbações e diminuição da sintomatologia. Parece não ocorrer alteração na função pulmonar e no uso de medicação de emergência, sendo inconclusivo o seu efeito na capacidade de realização de exercício. Conclusões: programas de self-management aparentam ter impacto positivo na qualidade de vida, recurso a serviços de saúde, adesão à medicação, planos de acção e níveis de conhecimento da DPOC. Discrepâncias nos critérios de selecção das amostras utilizadas, períodos de seguimento desiguais, consistência das variáveis mensuradas, condicionam a informação disponibilizada sobre este assunto.

Qualidade de vida relacionada com o exercício em indivíduos com asma: revisão sistemática

Background: A asma condiciona o dia-a-dia do indivíduo asmático do ponto de vista clínico e emocional demonstrando-se muitas vezes como um subtractivo da qualidade de vida (QV). Alguns estudos, com particular incidência nos últimos dez anos, para além de demonstrarem os benefícios da actividade física na componente clínica da doença, têm analisado o seu efeito na QV dos asmáticos. Objectivo: Analisar os efeitos da actividade física na QV de indivíduos com asma tendo por base uma revisão da literatura actual. Métodos: Foi conduzida uma pesquisa dos randomized controlled trials (RCT) compreendidos entre Janeiro de 2000 e Agosto de 2010, bem como as citações e as referências bibliográficas de cada estudo nas principais bases de dados de ciências da saúde (Academic Search Complete, DOAJ, Elsevier – Science Direct, Highwire Press, PubMed, Scielo Global, Scirus, Scopus, SpringerLink, Taylor & Francis e Wiley Interscience) com as palavras-chave: asthma, quality of life, QoL, physical activity, exercise, breathing, training e programme em todas as combinações possíveis. Os estudos foram analisados independentemente por dois revisores quanto aos critérios de inclusão e qualidade dos estudos. Resultados: Dos 1075 estudos identificados apenas onze foram incluídos. Destes, seis apresentaram um score 5/10, três 6/10 e dois 7/10 segundo a escala PEDro. Cinco destes estudos foram realizados em crianças entre os 7 e os 15 anos e os restantes em adultos. Os programas de intervenção dividiram-se em programas de treino aeróbio e programas de exercícios respiratórios. Todos programas de treino aeróbio apresentaram melhorias na QV demonstrando uma influência positiva do treino aeróbio na asma. Principais conclusões: Há uma tendência notória do benefício dos programas de treino aeróbio na QV dos indivíduos asmáticos. Os programas de exercícios respiratórios foram poucos e heterogéneos impossibilitando uma conclusão positiva quanto à sua recomendação para a melhoria da QV nesta patologia. Há uma grande necessidade de mais RCT com rigor metodológico.

Adaptive tool for automatic data collection of real electricity markets

The study of electricity markets operation has been gaining an increasing importance in last years, as result of the new challenges that the electricity markets restructuring produced. This restructuring increased the competitiveness of the market, but with it its complexity. The growing complexity and unpredictability of the market’s evolution consequently increases the decision making difficulty. Therefore, the intervenient entities are forced to rethink their behaviour and market strategies. Currently, lots of information concerning electricity markets is available. These data, concerning innumerous regards of electricity markets operation, is accessible free of charge, and it is essential for understanding and suitably modelling electricity markets. This paper proposes a tool which is able to handle, store and dynamically update data. The development of the proposed tool is expected to be of great importance to improve the comprehension of electricity markets and the interactions among the involved entities.

A data-mining based methodology for wind forecasting

In many countries the use of renewable energy is increasing due to the introduction of new energy and environmental policies. Thus, the focus on the efficient integration of renewable energy into electric power systems is becoming extremely important. Several European countries have already achieved high penetration of wind based electricity generation and are gradually evolving towards intensive use of this generation technology. The introduction of wind based generation in power systems poses new challenges for the power system operators. This is mainly due to the variability and uncertainty in weather conditions and, consequently, in the wind based generation. In order to deal with this uncertainty and to improve the power system efficiency, adequate wind forecasting tools must be used. This paper proposes a data-mining-based methodology for very short-term wind forecasting, which is suitable to deal with large real databases. The paper includes a case study based on a real database regarding the last three years of wind speed, and results for wind speed forecasting at 5 minutes intervals.