Data mining languages for business intelligence

Doctoral Thesis in Information Systems and Technologies Area of Engineering and Manag ement Information Systems

An Approach To Publish a Data Warehouse Content as Linked Data

Mestrado em Engenharia Informática - Área de Especialização em Tecnologias do Conhecimento e Decisão

Armazéns de dados em bases de dados NoSQL

Na atualidade, existe uma quantidade de dados criados diariamente que ultrapassam em muito as mais otimistas espectativas estabelecidas na década anterior. Estes dados têm origens bastante diversas e apresentam-se sobre várias formas. Este novo conceito que dá pelo nome de Big Data está a colocar novos e rebuscados desafios ao seu armazenamento, tratamento e manipulação. Os tradicionais sistemas de armazenamento não se apresentam como a solução indicada para este problema. Estes desafios são alguns dos mais analisados e dissertados temas informáticos do momento. Várias tecnologias têm emergido com esta nova era, das quais se salienta um novo paradigma de armazenamento, o movimento NoSQL. Esta nova filosofia de armazenamento visa responder às necessidades de armazenamento e processamento destes volumosos e heterogéneos dados. Os armazéns de dados são um dos componentes mais importantes do âmbito Business Intelligence e são, maioritariamente, utilizados como uma ferramenta de apoio aos processos de tomada decisão, levados a cabo no dia-a-dia de uma organização. A sua componente histórica implica que grandes volumes de dados sejam armazenados, tratados e analisados tendo por base os seus repositórios. Algumas organizações começam a ter problemas para gerir e armazenar estes grandes volumes de informação. Esse facto deve-se, em grande parte, à estrutura de armazenamento que lhes serve de base. Os sistemas de gestão de bases de dados relacionais são, há algumas décadas, considerados como o método primordial de armazenamento de informação num armazém de dados. De facto, estes sistemas começam a não se mostrar capazes de armazenar e gerir os dados operacionais das organizações, sendo consequentemente cada vez menos recomendada a sua utilização em armazéns de dados. É intrinsecamente interessante o pensamento de que as bases de dados relacionais começam a perder a luta contra o volume de dados, numa altura em que um novo paradigma de armazenamento surge, exatamente com o intuito de dominar o grande volume inerente aos dados Big Data. Ainda é mais interessante o pensamento de que, possivelmente, estes novos sistemas NoSQL podem trazer vantagens para o mundo dos armazéns de dados. Assim, neste trabalho de mestrado, irá ser estudada a viabilidade e as implicações da adoção de bases de dados NoSQL, no contexto de armazéns de dados, em comparação com a abordagem tradicional, implementada sobre sistemas relacionais. Para alcançar esta tarefa, vários estudos foram operados tendo por base o sistema relacional SQL Server 2014 e os sistemas NoSQL, MongoDB e Cassandra. Várias etapas do processo de desenho e implementação de um armazém de dados foram comparadas entre os três sistemas, sendo que três armazéns de dados distintos foram criados tendo por base cada um dos sistemas. Toda a investigação realizada neste trabalho culmina no confronto da performance de consultas, realizadas nos três sistemas.

Bases de Dados NoSQL

Com o advento da invenção do modelo relacional em 1970 por E.F.Codd, a forma como a informação era gerida numa base de dados foi totalmente revolucionada. Migrou‐se de sistemas hierárquicos baseados em ficheiros para uma base de dados relacional com tabelas relações e registos que simplificou em muito a gestão da informação e levou muitas empresas a adotarem este modelo. O que E.F.Codd não previu foi o facto de que cada vez mais a informação que uma base de dados teria de armazenar fosse de proporções gigantescas, nem que as solicitações às bases de dados fossem da mesma ordem. Tudo isto veio a acontecer com a difusão da internet que veio ligar todas as pessoas de qualquer parte do mundo que tivessem um computador. Com o número de adesões à internet a crescer, o número de sites que nela eram criados também cresceu (e ainda cresce exponencialmente). Os motores de busca que antigamente indexavam alguns sites por dia, atualmente indexam uns milhões de sites por segundo e, mais recentemente as redes sociais também estão a lidar com quantidades gigantescas de informação. Tanto os motores de busca como as redes sociais chegaram à conclusão que uma base de dados relacional não chega para gerir a enorme quantidade de informação que ambos produzem e como tal, foi necessário encontrar uma solução. Essa solução é NoSQL e é o assunto que esta tese vai tratar. O presente documento visa definir e apresentar o problema que as bases de dados relacionais têm quando lidam com grandes volumes de dados, introduzir os limites do modelo relacional que só até há bem pouco tempo começaram a ser evidenciados com o surgimento de movimentos, como o BigData, com o crescente número de sites que surgem por dia e com o elevado número de utilizadores das redes sociais. Será também ilustrada a solução adotada até ao momento pelos grandes consumidores de dados de elevado volume, como o Google e o Facebook, enunciando as suas características vantagens, desvantagens e os demais conceitos ligados ao modelo NoSQL. A presente tese tenciona ainda demonstrar que o modelo NoSQL é uma realidade usada em algumas empresas e quais as principias mudanças a nível programático e as boas práticas delas resultantes que o modelo NoSQL traz. Por fim esta tese termina com a explicação de que NoSQL é uma forma de implementar a persistência de uma aplicação que se inclui no novo modelo de persistência da informação.

Plataforma web de informação automobilística

Esta dissertação enquadra-se no âmbito dos Sistemas de Informação, em concreto, no desenvolvimento de aplicações Web, como é o caso de um website. Com a utilização em larga escala dos meios tecnológicos tem-se verificado um crescimento exponencial dos mesmos, o que se traduz na facilidade com que podem ser encontradas na Internet diversos tipos de plataformas informáticas. Além disso, hoje em dia, uma grande parte das organizações possui o seu próprio sítio na Internet, onde procede à divulgação dos seus serviços e/ou produtos. Pretende-se com esta dissertação explorar estas novas tecnologias, nomeadamente, os diagramas UML - Unified Modeling Language e a concepção de bases de dados, e posteriormente desenvolver um website. Com o desenvolvimento deste website não se propõe a criação de uma nova tecnologia, mas o uso de diversas tecnologias em conjunto com recurso às ferramentas UML. Este encontra-se organizado em três fases principais: análise de requisitos, implementação e desenho das interfaces. Na análise de requisitos efectuou-se o levantamento dos objectivos propostos para o sistema e das necessidades/requisitos necessários à sua implementação, auxiliado essencialmente pelo Diagrama de Use Cases do sistema. Na fase de implementação foram elaborados os arquivos e directórios que formam a arquitectura lógica de acordo com os modelos descritos no Diagrama de Classes e no Diagrama de Entidade-Relação. Os requisitos identificados foram analisados e usados na composição das interfaces e sistema de navegação. Por fim, na fase de desenho das interfaces foram aperfeiçoadas as interfaces desenvolvidas, com base no conceito artístico e criativo do autor. Este aperfeiçoamento vai de encontro ao gosto pessoal e tem como objectivo elaborar uma interface que possa também agradar ao maior número possível de utilizadores. Este pode ser observado na maneira como se encontram distribuídas as ligações (links) entre páginas, nos títulos, nos cabeçalhos, nas cores e animações e no seu design em geral. Para o desenvolvimento do website foram utilizadas diferentes linguagens de programação, nomeadamente a HyperText Markup Language (HTML), a Page Hypertext Preprocessor (PHP) e Javascript. A HTML foi utilizada para a disposição de todo o conteúdo visível das páginas e para definição do layout das mesmas e a PHP para executar pequenos scripts que permitem interagir com as diferentes funcionalidades do site. A linguagem Javascript foi usada para definir o design das páginas e incluir alguns efeitos visuais nas mesmas. Para a construção das páginas que compõem o website foi utilizado o software Macromedia Dreamweaver, o que simplificou a sua implementação pela facilidade com que estas podem ser construídas. Para interacção com o sistema de gestão da base de dados, o MySQL, foi utilizada a aplicação phpMyAdmin, que simplifica o acesso à base de dados, permitindo definir, manipular e consultar os seus dados.

Interoperability frameworks for competencies and learning outcomes: databases vs ontologies

The changes introduced into the European Higher Education Area (EHEA) by the Bologna Process, together with renewed pedagogical and methodological practices, have created a new teaching-learning paradigm: Student-Centred Learning. In addition, the last few years have been characterized by the application of Information Technologies, especially the Semantic Web, not only to the teaching-learning process, but also to administrative processes within learning institutions. On one hand, the aim of this study was to present a model for identifying and classifying Competencies and Learning Outcomes and, on the other hand, the computer applications of the information management model were developed, namely a relational Database and an Ontology.

Natural Gas location design and operation

A major determinant of the level of effective natural gas supply is the ease to feed customers, minimizing system total costs. The aim of this work is the study of the right number of Gas Supply Units – GSUs - and their optimal location in a gas network. This paper suggests a GSU location heuristic, based on Lagrangean relaxation techniques. The heuristic is tested on the Iberian natural gas network, a system modelized with 65 demand nodes, linked by physical and virtual pipelines. Lagrangean heuristic results along with the allocation of loads to gas sources are presented, using a 2015 forecast gas demand scenario.

TINSEL – a web-based intelligent tutoring system on electrical installation design

This paper presents a project consisting on the development of an Intelligent Tutoring System, for training and support concerning the development of electrical installation projects to be used by electrical engineers, technicians and students. One of the major goals of this project is to devise a teaching model based on Intelligent Tutoring techniques, considering not only academic knowledge but also other types of more empirical knowledge, able to achieve successfully the training of electrical installation design.

Addressing the facilities layout design problem through constraint logic programming

One of the most difficult problems that face researchers experimenting with complex systems in real world applications is the Facility Layout Design Problem. It relies with the design and location of production lines, machinery and equipment, inventory storage and shipping facilities. In this work it is intended to address this problem through the use of Constraint Logic Programming (CLP) technology. The use of Genetic Algorithms (GA) as optimisation technique in CLP environment is also an issue addressed. The approach aims the implementation of genetic algorithm operators following the CLP paradigm.

An intelligent tutoring approach to support students and technicians in electrical installation design

Designing electric installation projects, demands not only academic knowledge, but also other types of knowledge not easily acquired through traditional instructional methodologies. A lot of additional empirical knowledge is missing and so the academic instruction must be completed with different kinds of knowledge, such as real-life practical examples and simulations. On the other hand, the practical knowledge detained by the most experienced designers is not formalized in such a way that is easily transmitted. In order to overcome these difficulties present in the engineers formation, we are developing an Intelligent Tutoring System (ITS), for training and support concerning the development of electrical installation projects to be used by electrical engineers, technicians and students.

Contexts-management strategy in considering the security in urban computing based on urban design

Urban Computing (UrC) provides users with the situation-proper information by considering context of users, devices, and social and physical environment in urban life. With social network services, UrC makes it possible for people with common interests to organize a virtual-society through exchange of context information among them. In these cases, people and personal devices are vulnerable to fake and misleading context information which is transferred from unauthorized and unauthenticated servers by attackers. So called smart devices which run automatically on some context events are more vulnerable if they are not prepared for attacks. In this paper, we illustrate some UrC service scenarios, and show important context information, possible threats, protection method, and secure context management for people.

Identity – towards a conceptualization

The development of economical relations increases the interaction between organizations and stakeholders. It is no more acceptable to manage an organization under a transactional perspective where suppliers had a fundamental role. Nowadays organizations are being managed under a relational perspective where relations and relationship management in general have consequences in identity management (Hakansson e Snehota, 1989, 1995). A correct perception and management of identity is necessary to achieve distinctiveness in the competitive environment. This way, identity is influenced by relations with stakeholders in general and particularly with competitors. The ICIG concept states that identity is related with the values of the organization and it helps creating distinctiveness in the competitive environment (Van Riel, Balmer, 1997); Baker and Balmer (1997) state that identity is what the organization is; Suvatjis and de Chernatony (2005) refer that expressing identity is a dynamic process that evolves the use of a management model to face context changes; Kapferer (1991) states that brand identity is the project, the self conception of the brand. After reviewing and confronting literature under the plethora of identities’ concepts and perspectives (He, Balmer, 2007) one can’t find an integrative answer with all the elements that contribute to identity of organizations. The authors are strongly interested to contribute to the elimination of this limitation and to answer to strategic management needs. In a marketing context one can find: - the corporate identity approach that is focused in the distinctive attributes of an organization (Abratt, Balmer, Marwick e Fill, Stuart, Balmer and Gray, Alessandri, Suvatjis and de Chernatony) - the brand identity approach (related with the application of corporate identity studies to brands) - Kapferer, Semprini, Aaker, de Chernatony). Kapferer (1991), one of the most prolific authors in this field was the first author to integrate identity in a brand concept. In his view, identity is an emission concept. This idea is shared also by Aaker (1996). Yet, identity has to be managed in a competitive environment which is constantly changing. After reviewing and confronting literature, authors select concepts that are generally accepted by the investigators in order to design a model to analyze and manage identity: - corporate identity models: personality, image/reputation, culture, philosophy, mission, strategy, structure, communication - some of these concepts derive from identity models and others from identity management models; - brand identity models – Kapferer (1991, 2008) identity prism, witch is basis of literature in this field: culture, physical facet, personality, relationship (between brand and consumer), reflected consumer, consumers` self-concept. After discussion authors decide to include other concept in line with other authors` view: country of origin (Aaker, 1996). A discussion eliminates the twin concepts and the final selection is as follows: personality, image/reputation, culture (including philosophy and mission), strategy, structure, communication, culture, physical facet, relationship (between brand and consumer), reflected consumer, consumers` self-concept and according to authors` reflections “relationships” deriving from competitors` actions in competitive environment. Competitors’ actions and decisions have a stronger influence in the organizations` positioning than any other stakeholder as stated before. This is a work in progress towards a new model in identity analysis and management so an exploratory study will follow inquiring experts on identity in order to evaluate these concepts and correct the theoretical perspectives.

Corporate brand identity in higher education: a relational perspective

Identity is traditionally defined as an emission concept (Kapferer, 2008). Yet, some research points out that there are external factors that that can influence it (Kennedy, 1975; Markwick e Fill, 1997; Balmer e Gray, 2000). This subject is even more interesting if one considers corporate brands. According to Aaker (2004) the number, the power and the credibility of corporate associations are bigger in the case corporate brands. Literature recognizes the influence of relationships between companies in identity management (Hakansson and Snehota, 1989, 1995; Hakansson and Ford, 2002). Yet, given the increasingly important role of corporate brands, it is surprising that to date no attempt to evaluate that influence has been made in corporate brand´s identity management and reputation. Also Keller and Lehman (2006) highlight relationships and costumer experience as two areas requiring more investigation. The authors argue that corporate brand´s identity can be developed under a relational perspective using relationships with other recognised brands in order to generate positive reputations in stakeholders. Based in relationship and corporate brand identity management, a framework is developed to identify how corporate brands select, develop and invest in relationships with other brands. The context of the proposed relationship concept is the services area (Dwyer et al, 1987; Moorman et al, 1992; Rauyruen et al, 2005 and Hennig-Thurau and Klee, 1997). An empirical qualitative research is designed using two reputational technological higher education institutions (two corporate brands) acting in Portuguese public higher education market.

Design de cenários de aprendizagem

A cada instante surgem novas soluções de aprendizagem, resultado da evolução tecnológica constante com que nos deparamos. Estas inovações potenciam uma transmissão do conhecimento entre o educador e o educando cada vez mais simplificada, rápida e eficiente. Alguns destes avanços têm em vista a centralização no aluno, através da delegação de tarefas e da disponibilização de conteúdos, investindo na autonomia e na auto-aprendizagem, de modo a que cada aluno crie o seu próprio método de estudo, e evolua gradualmente, com o acompanhamento de um professor ou sistema autónomo de aprendizagem. Com esta investigação, é pretendido fazer um estudo dos métodos de aprendizagem ao longo do tempo até à actualidade, enumerando algumas das ferramentas utilizadas no processo de aprendizagem, indicando os vários benefícios, bem como contrapartidas do uso das mesmas. Será também analisado um caso de estudo baseado numa destas ferramentas, descrevendo o seu funcionamento e modo de interacção entre as várias entidades participantes, apresentando os resultados obtidos. O caso de estudo consistirá na criação de um cenário específico de aprendizagem, na área da saúde, analisando-o em diferentes contextos, e evidenciando as características e benefícios de cada ambiente analisado, no processo aprendizagem. Será então demonstrado como é possível optimizar os processos de aprendizagem, utilizando ferramentas de informatização e automatização desses mesmos processos, de forma tornar o processo de ensino mais célere e eficaz, num ambiente controlável, e com as funcionalidades que a tecnologia actual permite.

Optimization of Cu(II) biosorption onto ascophyllum nodosum by factorial design methodology

A Box–Behnken factorial design coupled with surface response methodology was used to evaluate the effects of temperature, pH and initial concentration in the Cu(II) sorption process onto the marine macroalgae Ascophyllum nodosum. The effect of the operating variables on metal uptake capacitywas studied in a batch system and a mathematical model showing the influence of each variable and their interactions was obtained. Study ranges were 10–40ºC for temperature, 3.0–5.0 for pH and 50–150mgL−1 for initial Cu(II) concentration. Within these ranges, the biosorption capacity is slightly dependent on temperature but markedly increases with pH and initial concentration of Cu(II). The uptake capacities predicted by the model are in good agreement with the experimental values. Maximum biosorption capacity of Cu(II) by A. nodosum is 70mgg−1 and corresponds to the following values of those variables: temperature = 40ºC, pH= 5.0 and initial Cu(II) concentration = 150mgL−1.