Armazéns de dados em bases de dados NoSQL

Na atualidade, existe uma quantidade de dados criados diariamente que ultrapassam em muito as mais otimistas espectativas estabelecidas na década anterior. Estes dados têm origens bastante diversas e apresentam-se sobre várias formas. Este novo conceito que dá pelo nome de Big Data está a colocar novos e rebuscados desafios ao seu armazenamento, tratamento e manipulação. Os tradicionais sistemas de armazenamento não se apresentam como a solução indicada para este problema. Estes desafios são alguns dos mais analisados e dissertados temas informáticos do momento. Várias tecnologias têm emergido com esta nova era, das quais se salienta um novo paradigma de armazenamento, o movimento NoSQL. Esta nova filosofia de armazenamento visa responder às necessidades de armazenamento e processamento destes volumosos e heterogéneos dados. Os armazéns de dados são um dos componentes mais importantes do âmbito Business Intelligence e são, maioritariamente, utilizados como uma ferramenta de apoio aos processos de tomada decisão, levados a cabo no dia-a-dia de uma organização. A sua componente histórica implica que grandes volumes de dados sejam armazenados, tratados e analisados tendo por base os seus repositórios. Algumas organizações começam a ter problemas para gerir e armazenar estes grandes volumes de informação. Esse facto deve-se, em grande parte, à estrutura de armazenamento que lhes serve de base. Os sistemas de gestão de bases de dados relacionais são, há algumas décadas, considerados como o método primordial de armazenamento de informação num armazém de dados. De facto, estes sistemas começam a não se mostrar capazes de armazenar e gerir os dados operacionais das organizações, sendo consequentemente cada vez menos recomendada a sua utilização em armazéns de dados. É intrinsecamente interessante o pensamento de que as bases de dados relacionais começam a perder a luta contra o volume de dados, numa altura em que um novo paradigma de armazenamento surge, exatamente com o intuito de dominar o grande volume inerente aos dados Big Data. Ainda é mais interessante o pensamento de que, possivelmente, estes novos sistemas NoSQL podem trazer vantagens para o mundo dos armazéns de dados. Assim, neste trabalho de mestrado, irá ser estudada a viabilidade e as implicações da adoção de bases de dados NoSQL, no contexto de armazéns de dados, em comparação com a abordagem tradicional, implementada sobre sistemas relacionais. Para alcançar esta tarefa, vários estudos foram operados tendo por base o sistema relacional SQL Server 2014 e os sistemas NoSQL, MongoDB e Cassandra. Várias etapas do processo de desenho e implementação de um armazém de dados foram comparadas entre os três sistemas, sendo que três armazéns de dados distintos foram criados tendo por base cada um dos sistemas. Toda a investigação realizada neste trabalho culmina no confronto da performance de consultas, realizadas nos três sistemas.

Reducing the number of membership functions in linguistic variables

Dissertation presented at Universidade Nova de Lisboa, Faculdade de Ciências e Tecnologia in fulfilment of the requirements for the Masters degree in Mathematics and Applications, specialization in Actuarial Sciences, Statistics and Operations Research

Seroprevalência da Brucelose nos últimos cinco anos na Unidade Local de Saúde do Alto-Minho

A brucelose é uma zoonose com elevada importância, causada por bactérias gram-negativas que são altamente patogénicas para uma grande variedade de animais e humanos. Existem zonas endémicas onde esta se prolifera com mais facilidade. Neste estudo os dados são relativos ao distrito de Viana do Castelo, os dados são recolhidas da base de dados da Unidade Local de Saúde do Alto-Minho, uma zona não considerada endémica. Os animais infetados são a principal fonte de contaminação e dispersão da brucelose, é necessário uma reduzida carga bacteriana para ocorrer a infeção. Trata-se de uma doença que está longe de ser erradicada, impondo-se tomar medidas preventivas em relação à contaminação. Os testes usados na sua deteção podem ser alterados e melhorados de acordo com o estádio da doença. Na ULSAM são usados o teste de Wright e eventualmente a pesquisa microbiológica da bactéria Brucella. É pertinente saber o número de testes positivos que ocorrem por ano, se existe alguma sazonalidade relacionada com a doença, assim como, relacionar os parâmetros bioquímicos com um teste de Wright positivo. Os dados foram recolhidos entre o ano 2009-2013 com um número total de testes de 1035, dos quais o número total de positivos para o teste são 102, mas apenas trinta são positivos com significância. Os dados foram recolhidos através do programa Clinidata utilizado como base de armazenamento de dados da ULSAM e foram tratados estatisticamente com o programa SPSS juntamente com o Excel. Este estudo permitiu concluir que o número de casos em 2009 e 2010 era superior aos restantes anos, o que descreve uma tendência para diminuição do número de casos de brucelose atualmente no distrito de Viana do Castelo. Em relação a sazonalidade, os meses que apresentam uma percentagem superior a 50% em relação seroprevalência são os meses de Junho, Novembro e Dezembro. Os resultados revelam como declarado pela Organização Mundial de Saúde que o Distrito de Viana do Castelo não é uma zona endémica. Através da análise estatística foi possível concluir que um dos parâmetros bioquímicos, neste caso o número de leucócitos, poderá estar diretamente relacionado com um teste de Wright positivo, uma vez que, 37% da amostra de testes positivos revelam leucopenia.

Using data mining techniques to support breast cancer diagnosis

More than ever, there is an increase of the number of decision support methods and computer aided diagnostic systems applied to various areas of medicine. In breast cancer research, many works have been done in order to reduce false-positives when used as a double reading method. In this study, we aimed to present a set of data mining techniques that were applied to approach a decision support system in the area of breast cancer diagnosis. This method is geared to assist clinical practice in identifying mammographic findings such as microcalcifications, masses and even normal tissues, in order to avoid misdiagnosis. In this work a reliable database was used, with 410 images from about 115 patients, containing previous reviews performed by radiologists as microcalcifications, masses and also normal tissue findings. Throughout this work, two feature extraction techniques were used: the gray level co-occurrence matrix and the gray level run length matrix. For classification purposes, we considered various scenarios according to different distinct patterns of injuries and several classifiers in order to distinguish the best performance in each case described. The many classifiers used were Naïve Bayes, Support Vector Machines, k-nearest Neighbors and Decision Trees (J48 and Random Forests). The results in distinguishing mammographic findings revealed great percentages of PPV and very good accuracy values. Furthermore, it also presented other related results of classification of breast density and BI-RADS® scale. The best predictive method found for all tested groups was the Random Forest classifier, and the best performance has been achieved through the distinction of microcalcifications. The conclusions based on the several tested scenarios represent a new perspective in breast cancer diagnosis using data mining techniques.

The cardinal and the idempotent number of various monoids of transformations on a finite chain

Bulletin of the Malaysian Mathematical Sciences Society, 2, 34 (1),(2011), p. 79–85

A plugin for spatial and thematic comparison in the cadastral domain.

Dissertation submitted in partial fulfilment of the requirements for the Degree of Master of Science in Geospatial Technologies.

Geospatial database generation from digital newspapers: use case for risk and disaster domains.

Dissertation submitted in partial fulfilment of the requirements for the Degree of Master of Science in Geospatial Technologies.

Analysis of early synthetic dyes with HPLC-DAD-MS: an important database for analysis of colorants used in cultural heritage

Presented thesis at Faculdade de Ciências e Tecnologias, Universidade de Lisboa, to obtain the Master Degree in Conservation and Restoration of Textiles

Algorithms for time series clustering applied to biomedical signals

Thesis submitted in the fulfillment of the requirements for the Degree of Master in Biomedical Engineering

Cochineal, a precious source of red: cochineal dyes characterization by high performance liquid chromatography with diode array detection and principal component analysis

Presented at Faculdade de Ciências e Tecnologias, Universidade de Lisboa, to obtain the Master Degree in Conservation and Restoration of Textiles

Desigualdades socioeconómicas na doença cardiovascular em Portugal : estudo baseado no 4º Inquérito Nacional de Saúde

RESUMO - Em Portugal, as doenças cardiovasculares (DCV), incluindo o acidente vascular cerebral (AVC) e a doença cardíaca isquémica (DCI), são das principais causas de morbi-mortalidade e invalidez. Sabe-se que o nível socioeconómico (NSE) influencia o estado de saúde, todavia são escassas as evidências sobre as desigualdades socioeconómicas na DCV em Portugal. O objectivo deste estudo foi analisar a distribuição da DCV de acordo com o NSE na população portuguesa. Foi realizado um estudo transversal exploratório-descritivo usando a base de dados do 4º Inquérito Nacional de Saúde, 2005/06. As desigualdades socioeconómicas nas DCV, AVC e DCI, factores de risco [sedentarismo, hipertensão arterial (HTA), diabetes mellitus (DM), tabagismo, obesidade e sofrimento psicológico (Mental Health Inventory ≤ 52)] e número de consultas médicas, foram analisadas através dos odds ratio por NSE (rendimento familiar equivalente, escala modificada da OCDE) com intervalo de confiança de 95% e dos índices e curvas de concentração. Dos 21 807 indivíduos, 53,34% são do sexo feminino, a idade média é de 54±11 e entre 35 e 74 anos. A DCV, a DCI, o AVC, a HTA, a DM e a obesidade estão associados com NSE mais baixos, o tabagismo está associado aos NSE mais elevados, enquanto o sedentarismo, o número de consultas médicas e o sofrimento psicológico não apresentam associação significativa com o NSE. Os resultados revelam a associação entre os estilos de vida, morbilidade e NSE e demonstram que são necessárias políticas de saúde mais abrangentes, de acordo com as características individuais, culturais e socioeconómicas e dirigidas à promoção da saúde e prevenção da doença. -------------------------------------------- ABSTRACT - Cardiovascular diseases (CVD), including stroke and ischemic heart disease (IHD), are the leading causes of morbidity, mortality and disability in Portugal. It is known that socioeconomic status (SES) influences health status; however there is little evidence about socioeconomic inequalities in CVD in Portugal. The aim of this study was to analyze the distribution of CVD according to SES in the Portuguese population. We conducted a cross-sectional descriptive exploratory study using the database of the 4th National Survey of Health, 2005/06. Socioeconomic inequalities in CVD, stroke, IHD, risk factors [physical inactivity, arterial hypertension (AHT), diabetes mellitus (DM), smoking, obesity and psychological distress (Mental Health Inventory ≤ 52)], as well as the number of medical visits, were analyzed by SES (family income using the OECD modified equivalent scale) using odds ratio (confidence interval = 95%), and concentration curves and indices. Of the 21 807 individuals, 53.34% are female, aged between 35 and 74 with mean 54 ± 11 years. CVD, IHD, stroke, AHT, MD and obesity are associated with lower SES, smoking is associated with higher SES, while physical inactivity, number of medical visits and psychological distress showed no significant association with SES. Results suggest an association between lifestyle, morbidity and SES. They also demonstrate the need for comprehensive health strategies, involving health promotion and disease prevention, that incorporate individual, cultural and socioeconomic characteristics.

Sistema para a monitorização ativa com recurso ao cloud computing

O desenvolvimento de aplicações para dispositivos móveis já não é uma área recente, contudo continua a crescer a um ritmo veloz. É notório o avanço tecnológico dos últimos anos e a crescente popularidade destes dispositivos. Este avanço deve-se não só à grande evolução no que diz respeito às características destes dispositivos, mas também à possibilidade de criar aplicações inovadoras, práticas e passíveis de solucionar os problemas dos utilizadores em geral. Nesse sentido, as necessidades do quotidiano obrigam à implementação de soluções que satisfaçam os utilizadores, e nos dias de hoje, essa satisfação muitas vezes passa pelos dispositivos móveis, que já tem um papel fundamental na vida das pessoas. Atendendo ao aumento do número de raptos de crianças e à insegurança que se verifica nos dias de hoje, as quais dificultam a tarefa de todos os pais/cuidadores que procuraram manter as suas crianças a salvo, é relevante criar uma nova ferramenta capaz de os auxiliar nesta árdua tarefa. A partir desta realidade, e com vista a cumprir os aspetos acima mencionados, surge assim esta dissertação de mestrado. Esta aborda o estudo e implementação efetuados no sentido de desenvolver um sistema de monitorização de crianças. Assim, o objetivo deste projeto passa por desenvolver uma aplicação nativa para Android e um back-end, utilizando um servidor de base de dados NoSQL para o armazenamento da informação, aplicando os conceitos estudados e as tecnologias existentes. A solução tem como principais premissas: ser o mais user-friendly possível, a otimização, a escalabilidade para outras situações (outros tipos de monitorizações) e a aplicação das mais recentes tecnologias. Assim sendo, um dos estudos mais aprofundados nesta dissertação de mestrado está relacionado com as bases de dados NoSQL, dada a sua importância no projeto.

Bases de Dados NoSQL

Com o advento da invenção do modelo relacional em 1970 por E.F.Codd, a forma como a informação era gerida numa base de dados foi totalmente revolucionada. Migrou‐se de sistemas hierárquicos baseados em ficheiros para uma base de dados relacional com tabelas relações e registos que simplificou em muito a gestão da informação e levou muitas empresas a adotarem este modelo. O que E.F.Codd não previu foi o facto de que cada vez mais a informação que uma base de dados teria de armazenar fosse de proporções gigantescas, nem que as solicitações às bases de dados fossem da mesma ordem. Tudo isto veio a acontecer com a difusão da internet que veio ligar todas as pessoas de qualquer parte do mundo que tivessem um computador. Com o número de adesões à internet a crescer, o número de sites que nela eram criados também cresceu (e ainda cresce exponencialmente). Os motores de busca que antigamente indexavam alguns sites por dia, atualmente indexam uns milhões de sites por segundo e, mais recentemente as redes sociais também estão a lidar com quantidades gigantescas de informação. Tanto os motores de busca como as redes sociais chegaram à conclusão que uma base de dados relacional não chega para gerir a enorme quantidade de informação que ambos produzem e como tal, foi necessário encontrar uma solução. Essa solução é NoSQL e é o assunto que esta tese vai tratar. O presente documento visa definir e apresentar o problema que as bases de dados relacionais têm quando lidam com grandes volumes de dados, introduzir os limites do modelo relacional que só até há bem pouco tempo começaram a ser evidenciados com o surgimento de movimentos, como o BigData, com o crescente número de sites que surgem por dia e com o elevado número de utilizadores das redes sociais. Será também ilustrada a solução adotada até ao momento pelos grandes consumidores de dados de elevado volume, como o Google e o Facebook, enunciando as suas características vantagens, desvantagens e os demais conceitos ligados ao modelo NoSQL. A presente tese tenciona ainda demonstrar que o modelo NoSQL é uma realidade usada em algumas empresas e quais as principias mudanças a nível programático e as boas práticas delas resultantes que o modelo NoSQL traz. Por fim esta tese termina com a explicação de que NoSQL é uma forma de implementar a persistência de uma aplicação que se inclui no novo modelo de persistência da informação.

Database repairs with answer set programming

Dissertação para obtenção do Grau de Mestre em Engenharia Informática