Armazéns de dados em bases de dados NoSQL

Na atualidade, existe uma quantidade de dados criados diariamente que ultrapassam em muito as mais otimistas espectativas estabelecidas na década anterior. Estes dados têm origens bastante diversas e apresentam-se sobre várias formas. Este novo conceito que dá pelo nome de Big Data está a colocar novos e rebuscados desafios ao seu armazenamento, tratamento e manipulação. Os tradicionais sistemas de armazenamento não se apresentam como a solução indicada para este problema. Estes desafios são alguns dos mais analisados e dissertados temas informáticos do momento. Várias tecnologias têm emergido com esta nova era, das quais se salienta um novo paradigma de armazenamento, o movimento NoSQL. Esta nova filosofia de armazenamento visa responder às necessidades de armazenamento e processamento destes volumosos e heterogéneos dados. Os armazéns de dados são um dos componentes mais importantes do âmbito Business Intelligence e são, maioritariamente, utilizados como uma ferramenta de apoio aos processos de tomada decisão, levados a cabo no dia-a-dia de uma organização. A sua componente histórica implica que grandes volumes de dados sejam armazenados, tratados e analisados tendo por base os seus repositórios. Algumas organizações começam a ter problemas para gerir e armazenar estes grandes volumes de informação. Esse facto deve-se, em grande parte, à estrutura de armazenamento que lhes serve de base. Os sistemas de gestão de bases de dados relacionais são, há algumas décadas, considerados como o método primordial de armazenamento de informação num armazém de dados. De facto, estes sistemas começam a não se mostrar capazes de armazenar e gerir os dados operacionais das organizações, sendo consequentemente cada vez menos recomendada a sua utilização em armazéns de dados. É intrinsecamente interessante o pensamento de que as bases de dados relacionais começam a perder a luta contra o volume de dados, numa altura em que um novo paradigma de armazenamento surge, exatamente com o intuito de dominar o grande volume inerente aos dados Big Data. Ainda é mais interessante o pensamento de que, possivelmente, estes novos sistemas NoSQL podem trazer vantagens para o mundo dos armazéns de dados. Assim, neste trabalho de mestrado, irá ser estudada a viabilidade e as implicações da adoção de bases de dados NoSQL, no contexto de armazéns de dados, em comparação com a abordagem tradicional, implementada sobre sistemas relacionais. Para alcançar esta tarefa, vários estudos foram operados tendo por base o sistema relacional SQL Server 2014 e os sistemas NoSQL, MongoDB e Cassandra. Várias etapas do processo de desenho e implementação de um armazém de dados foram comparadas entre os três sistemas, sendo que três armazéns de dados distintos foram criados tendo por base cada um dos sistemas. Toda a investigação realizada neste trabalho culmina no confronto da performance de consultas, realizadas nos três sistemas.

Framework development for providing accessibility to qualitative spatial calculi

Dissertation submitted in partial fulfillment of the requirements for the Degree of Master of Science in Geospatial Technologies.

Participatory mapping in the design process of a spatial data infrastructure SDI: a case study in the Biosphere Reserve Rio Platano (Honduras)

Dissertation submitted in partial fulfillment of the requirements for the Degree of Master of Science in Geospatial Technologies.

Integrated data model and DSL modifications

Companies are increasingly more and more dependent on distributed web-based software systems to support their businesses. This increases the need to maintain and extend software systems with up-to-date new features. Thus, the development process to introduce new features usually needs to be swift and agile, and the supporting software evolution process needs to be safe, fast, and efficient. However, this is usually a difficult and challenging task for a developer due to the lack of support offered by programming environments, frameworks, and database management systems. Changes needed at the code level, database model, and the actual data contained in the database must be planned and developed together and executed in a synchronized way. Even under a careful development discipline, the impact of changing an application data model is hard to predict. The lifetime of an application comprises changes and updates designed and tested using data, which is usually far from the real, production, data. So, coding DDL and DML SQL scripts to update database schema and data, is the usual (and hard) approach taken by developers. Such manual approach is error prone and disconnected from the real data in production, because developers may not know the exact impact of their changes. This work aims to improve the maintenance process in the context of Agile Platform by Outsystems. Our goal is to design and implement new data-model evolution features that ensure a safe support for change and a sound migration process. Our solution includes impact analysis mechanisms targeting the data model and the data itself. This provides, to developers, a safe, simple, and guided evolution process.

Comuns: An Open-Data Provider, Explorer and Analytic Toolbox Based on FOSS

Contém resumo

Generalized Dasymetric Mapping Algorithm for Accessing Land-Use Change

Contém resumo

Epidemic store for massive scale systems

The MAP-i doctoral program of the Universities of Minho, Aveiro and Porto

DNA evidence collecting in criminal investigation: Portuguese and Thai legal approaches

Doctoral Thesis in Juridical Sciences (Specialty in Public Legal Sciences)

Biocurators and biocuration: surveying the 21st century challenges.

Curated databases are an integral part of the tool set that researchers use on a daily basis for their work. For most users, however, how databases are maintained, and by whom, is rather obscure. The International Society for Biocuration (ISB) represents biocurators, software engineers, developers and researchers with an interest in biocuration. Its goals include fostering communication between biocurators, promoting and describing their work, and highlighting the added value of biocuration to the world. The ISB recently conducted a survey of biocurators to better understand their educational and scientific backgrounds, their motivations for choosing a curatorial job and their career goals. The results are reported here. From the responses received, it is evident that biocuration is performed by highly trained scientists and perceived to be a stimulating career, offering both intellectual challenges and the satisfaction of performing work essential to the modern scientific community. It is also apparent that the ISB has at least a dual role to play to facilitate biocurators' work: (i) to promote biocuration as a career within the greater scientific community; (ii) to aid the development of resources for biomedical research through promotion of nomenclature and data-sharing standards that will allow interconnection of biological databases and better exploit the pivotal contributions that biocurators are making. DATABASE URL: http://biocurator.org.

Gene expression databases and data mining.

The DNA microarray technology has arguably caught the attention of the worldwide life science community and is now systematically supporting major discoveries in many fields of study. The majority of the initial technical challenges of conducting experiments are being resolved, only to be replaced with new informatics hurdles, including statistical analysis, data visualization, interpretation, and storage. Two systems of databases, one containing expression data and one containing annotation data are quickly becoming essential knowledge repositories of the research community. This present paper surveys several databases, which are considered "pillars" of research and important nodes in the network. This paper focuses on a generalized workflow scheme typical for microarray experiments using two examples related to cancer research. The workflow is used to reference appropriate databases and tools for each step in the process of array experimentation. Additionally, benefits and drawbacks of current array databases are addressed, and suggestions are made for their improvement.

Acceleració d'operacions SQL en GPU

L'objectiu principal d'aquest projecte és avaluar la tecnologia GPU per determinar si pot ser útil en el sector de les bases de dades. En concret s'utilitza el problema específic de les consultes analítiques amb la finalitat de intentar obtenir un temps de resposta més ràpid. Per aconseguir-ho s'executa el benchmark estàndard TCP-H per poder realitzar la comparació entre tres sistemes de gestió de bases de dades CPU amb un altre implementat per GPU.

Disseny d'un sistema d'informació per als nouvinguts estrangers a Olot : 'EL SINO'

Treball que té com a objectiu desenvolupar i aplicar un sistema d'informació integrat al servei d'atenció al públic nouvingut d'origen estranger a la ciutat d'Olot. El sistema s'ha dissenyat en tres grans apartats: en el primer es presenta una diagnosi de les necessitats informatives; el segon correspon pròpiament al disseny del sistema d'informació amb l'elaboració d'un observatori estadístic de la immigració a Olot, d'unes fitxes descriptives de tràmits administratius i d'unes fitxes de serveis locals, i el tercer apartat és el disseny d'un sistema informàtic per a la gestió de tota la informació amb la creació d'un lloc web i el disseny conceptual d'un sistema de gestió de base de dades.

Gestió de magatzem i control de presència amb dispositiu mòbil

Aplicació per funcionalitats de gestió d'stock d'un magatzem i control de presencia dels operaris que hi treballen amb dispositius mòbils utilitzant tècniques de disseny centrat en l'usuari dintre del paradigme d'interacció humana amb els ordinadors.

Web semántica: RDF y SGBD que lo soportan

En aquest treball es fa una breu introducció a la web semàntica i el seu estat actual. S'analitzen els llenguatges que hi ha a la base del munt de recomanacions del World Wide Web Consortium (XML, XML Schema, RDF i RDF Schema) i s'examinen diferents sistemes de gestió de bases de dades que donen suport a les metadades, que són la base de la web semàntica.

WEB Cas Pràctic boo-k : Gestió d'una Botiga Virtual

L'objectiu d'aquest treball és especificar, dissenyar i implementar una aplicació web que permeti l'operativa real dels serveis de gestió d'una botiga virtual d'Internet, amb el suport d'un sistema de gestió de bases de dades.