Armazéns de dados em bases de dados NoSQL

Na atualidade, existe uma quantidade de dados criados diariamente que ultrapassam em muito as mais otimistas espectativas estabelecidas na década anterior. Estes dados têm origens bastante diversas e apresentam-se sobre várias formas. Este novo conceito que dá pelo nome de Big Data está a colocar novos e rebuscados desafios ao seu armazenamento, tratamento e manipulação. Os tradicionais sistemas de armazenamento não se apresentam como a solução indicada para este problema. Estes desafios são alguns dos mais analisados e dissertados temas informáticos do momento. Várias tecnologias têm emergido com esta nova era, das quais se salienta um novo paradigma de armazenamento, o movimento NoSQL. Esta nova filosofia de armazenamento visa responder às necessidades de armazenamento e processamento destes volumosos e heterogéneos dados. Os armazéns de dados são um dos componentes mais importantes do âmbito Business Intelligence e são, maioritariamente, utilizados como uma ferramenta de apoio aos processos de tomada decisão, levados a cabo no dia-a-dia de uma organização. A sua componente histórica implica que grandes volumes de dados sejam armazenados, tratados e analisados tendo por base os seus repositórios. Algumas organizações começam a ter problemas para gerir e armazenar estes grandes volumes de informação. Esse facto deve-se, em grande parte, à estrutura de armazenamento que lhes serve de base. Os sistemas de gestão de bases de dados relacionais são, há algumas décadas, considerados como o método primordial de armazenamento de informação num armazém de dados. De facto, estes sistemas começam a não se mostrar capazes de armazenar e gerir os dados operacionais das organizações, sendo consequentemente cada vez menos recomendada a sua utilização em armazéns de dados. É intrinsecamente interessante o pensamento de que as bases de dados relacionais começam a perder a luta contra o volume de dados, numa altura em que um novo paradigma de armazenamento surge, exatamente com o intuito de dominar o grande volume inerente aos dados Big Data. Ainda é mais interessante o pensamento de que, possivelmente, estes novos sistemas NoSQL podem trazer vantagens para o mundo dos armazéns de dados. Assim, neste trabalho de mestrado, irá ser estudada a viabilidade e as implicações da adoção de bases de dados NoSQL, no contexto de armazéns de dados, em comparação com a abordagem tradicional, implementada sobre sistemas relacionais. Para alcançar esta tarefa, vários estudos foram operados tendo por base o sistema relacional SQL Server 2014 e os sistemas NoSQL, MongoDB e Cassandra. Várias etapas do processo de desenho e implementação de um armazém de dados foram comparadas entre os três sistemas, sendo que três armazéns de dados distintos foram criados tendo por base cada um dos sistemas. Toda a investigação realizada neste trabalho culmina no confronto da performance de consultas, realizadas nos três sistemas.

Plataforma de Dados de Saúde - Portal Institucional

O presente documento de dissertação retrata o desenvolvimento do projeto PDS-Portal Institucional cujo cerne é um sistema para recolha, armazenamento e análise de dados (plataforma de Business Intelligence). Este portal está enquadrado na área da saúde e é uma peça fundamental no sistema da Plataforma de dados da Saúde, que é constituído por quatro portais distintos. Esta plataforma tem como base um sistema totalmente centrado no utente, que agrega dados de saúde dos utentes e distribui pelos diversos intervenientes: utente, profissionais de saúde nacionais e internacionais e organizações de saúde. O objetivo principal deste projeto é o desenvolvimento do PDS-Portal Institucional, recorrendo a uma plataforma de Business Intelligence, com o intuito de potenciar os utilizadores de uma ferramenta analítica para análise de dados. Estando a informação armazenada em dois dos portais da Plataforma de dados da Saúde (PDS-Portal Utente e PDS-Portal Profissional), é necessário modular um armazém de dados que agregue a informação de ambos e, através do PDS-PI, distribua um conjunto de análises ao utilizador final. Para tal este sistema comtempla um mecanismo totalmente automatizado para extração, tratamento e carregamento de dados para o armazém central, assim como uma plataforma de BI que disponibiliza os dados armazenados sobre a forma de análises específicas. Esta plataforma permite uma evolução constante e é extremamente flexível, pois fornece um mecanismo de gestão de utilizadores e perfis, assim como capacita o utilizador de um ambiente Web para análise de dados, permitindo a partilha e acesso a partir de dispositivos móveis. Após a implementação deste sistema foi possível explorar os dados e tirar diversas conclusões que são de extrema importância tanto para a evolução da PDS como para os métodos de praticar os cuidados de saúde em Portugal. Por fim são identificados alguns pontos de melhoria do sistema atual e delineada uma perspetiva de evolução futura. É certo que a partir do momento que este projeto seja lançado para produção, novas oportunidades surgirão e o contributo dos utilizadores será útil para evoluir o sistema progressivamente.

Dados de reconhecimento facial em Business Intelligence

Vivemos cada vez mais numa era de crescentes avanços tecnológicos em diversas áreas. O que há uns anos atrás era considerado como praticamente impossível, em muitos dos casos, já se tornou realidade. Todos usamos tecnologias como, por exemplo, a Internet, Smartphones e GPSs de uma forma natural. Esta proliferação da tecnologia permitiu tanto ao cidadão comum como a organizações a sua utilização de uma forma cada vez mais criativa e simples de utilizar. Além disso, a cada dia que passa surgem novos negócios e startups, o que demonstra o dinamismo que este crescimento veio trazer para a indústria. A presente dissertação incide sobre duas áreas em forte crescimento: Reconhecimento Facial e Business Intelligence (BI), assim como a respetiva combinação das duas com o objetivo de ser criado um novo módulo para um produto já existente. Tratando-se de duas áreas distintas, é primeiramente feito um estudo sobre cada uma delas. A área de Business Intelligence é vocacionada para organizações e trata da recolha de informação sobre o negócio de determinada empresa, seguindo-se de uma posterior análise. A grande finalidade da área de Business Intelligence é servir como forma de apoio ao processo de tomada de decisão por parte dos analistas e gestores destas organizações. O Reconhecimento Facial, por sua vez, encontra-se mais presente na sociedade. Tendo surgido no passado através da ficção científica, cada vez mais empresas implementam esta tecnologia que tem evoluído ao longo dos anos, chegando mesmo a ser usada pelo consumidor final, como por exemplo em Smartphones. As suas aplicações são, portanto, bastante diversas, desde soluções de segurança até simples entretenimento. Para estas duas áreas será assim feito um estudo com base numa pesquisa de publicações de autores da respetiva área. Desde os cenários de utilização, até aspetos mais específicos de cada uma destas áreas, será assim transmitido este conhecimento para o leitor, o que permitirá uma maior compreensão por parte deste nos aspetos relativos ao desenvolvimento da solução. Com o estudo destas duas áreas efetuado, é então feita uma contextualização do problema em relação à área de atuação da empresa e quais as abordagens possíveis. É também descrito todo o processo de análise e conceção, assim como o próprio desenvolvimento numa vertente mais técnica da solução implementada. Por fim, são apresentados alguns exemplos de resultados obtidos já após a implementação da solução.

Análise de eficiência energética de transportes rodoviários

Projecto para obtenção do grau de Mestre em Engenharia Informática e de computadores

Agile modeling data warehouse development

Most of the traditional software and database development approaches tend to be serial, not evolutionary and certainly not agile, especially on data-oriented aspects. Most of the more commonly used methodologies are strict, meaning they’re composed by several stages each with very specific associated tasks. A clear example is the Rational Unified Process (RUP), divided into Business Modeling, Requirements, Analysis & Design, Implementation, Testing and Deployment. But what happens when the needs of a well design and structured plan, meet the reality of a small starting company that aims to build an entire user experience solution. Here resource control and time productivity is vital, requirements are in constant change, and so is the product itself. In order to succeed in this environment a highly collaborative and evolutionary development approach is mandatory. The implications of constant changing requirements imply an iterative development process. Project focus is on Data Warehouse development and business modeling. This area is usually a tricky one. Business knowledge is part of the enterprise, how they work, their goals, what is relevant for analyses are internal business processes. Throughout this document it will be explained why Agile Modeling development was chosen. How an iterative and evolutionary methodology, allowed for reasonable planning and documentation while permitting development flexibility, from idea to product. More importantly how it was applied on the development of a Retail Focused Data Warehouse. A productized Data Warehouse built on the knowledge of not one but several client needs. One that aims not just to store usual business areas but create an innovative sets of business metrics by joining them with store environment analysis, converting Business Intelligence into Actionable Business Intelligence.

An Approach To Publish a Data Warehouse Content as Linked Data

Mestrado em Engenharia Informática - Área de Especialização em Tecnologias do Conhecimento e Decisão

O controlo interno no armazém de uma empresa do setor vitivinícola da Península de Setúbal

Mestrado em Contabilidade e Análise Financeira

Análise e melhoria dos processos de gestão de armazém numa empresa de produtos elétricos

Dissertação de mestrado integrado em Engenharia e Gestão Industrial

Análise das potencialidades do uso da ferramenta de simulação computacional em operações logísticas : estudo de caso em armazém geral

Esta dissertação analisa potencialidades de uso da ferramenta de simulação computacional em atividades de um Armazém Geral. Para tanto, foi realizado um estudo de caso em um Armazém Geral onde se aplicou a ferramenta segundo o método de desenvolvimento de projetos de simulação computacional proposto por Barrônio (2000). O desenvolvimento do projeto de simulação foi, então, focado na atividade de apanha separação, integrante do sub-processo de separação de pedidos. O substrato teórico utilizado envolve uma abordagem sobre a logística e caracterização de armazém geral, bem como uma revisão dos conceitos principais da ferramenta de simulação computacional. No desenvolvimento da pesquisa, identificaram-se diversas aplicações da simulação tanto no armazém geral e terminais de cargas da empresa, quanto na análise da malha de rotas da empresa. A partir da análise dos resultados da simulação, em diversos cenários desenvolvidos e do entendimento sistêmico da situação em estudo, identificou-se como oportunidade de melhoria a definição de horários fixos de parada para descanso ao longo da jornada de trabalho na atividade de apanha separação O desenvolvimento do projeto de simulação computacional contribuiu como instrumento de aprendizagem e tomada de decisões sobre a realidade organizacional. Através de experimentação no modelo computacional o grupo de trabalho pôde testar e mudar seus pressupostos e sua compreensão do mundo real, aprimorando a aprendizagem. Identificou-se ainda, que os armazéns gerais dotados de sistema de gerenciamento automatizado apresentam um grande potencial para desenvolvimento de projetos de simulação, principalmente, devido à disponibilidade de dados característicos destas organizações.

PARAFAC: uma ferramenta quimiométrica para tratamento de dados multidimensionais. Aplicações na determinação direta de fármacos em plasma humano por espectrofluorimetria

Since the last decade, the combined use of chemometrics and molecular spectroscopic techniques has become a new alternative for direct drug determination, without the need of physical separation. Among the new methodologies developed, the application of PARAFAC in the decomposition of spectrofluorimetric data should be highlighted. The first objective of this article is to describe the theoretical basis of PARAFAC. For this purpose, a discussion about the order of chemometric methods used in multivariate calibration and the development of multi-dimensional methods is presented first. The other objective of this article is to divulge for the Brazilian chemical community the potential of the combination PARAFAC/spectrofluorimetry for the determination of drugs in complex biological matrices. For this purpose, two applications aiming at determining, respectively, doxorrubicine and salicylate in human plasma are presented.

Mapeamento de semeaduras de soja (Glycine max (L.)Merr.) mediante dados MODIS/Terra E TM/Landsat 5: um comparativo

The objective of this work was to compare the soybean crop mapping in the western of Parana State by MODIS/Terra and TM/Landsat 5 images. Firstly, it was generated a soybean crop mask using six TM images covering the crop season, which was used as a reference. The images were submitted to Parallelepiped and Maximum Likelihood digital classification algorithms, followed by visual inspection. Four MODIS images, covering the vegetative peak, were classified using the Parallelepiped method. The quality assessment of MODIS and TM classification was carried out through an Error Matrix, considering 100 sample points between soybean or not soybean, randomly allocated in each of the eight municipalities within the study area. The results showed that both the Overall Classification (OC) and the Kappa Index (KI) have produced values ranging from 0.55 to 0.80, considered good to very good performances, either in TM or MODIS images. When OC and KI, from both sensors were compared, it wasn't found no statistical difference between them. The soybean mapping, using MODIS, has produced 70% of reliance in terms of users. The main conclusion is that the mapping of soybean by MODIS is feasible, with the advantage to have better temporal resolution than Landsat, and to be available on the internet, free of charge.

Modelos de regressão lineares para estimativa de produtividade da soja no oeste do Paraná, utilizando dados espectrais

The main objective of this work was to evaluate the linear regression between spectral response and soybean yield in regional scale. In this study were monitored 36 municipalities from the west region of the states of Parana using five images of Landsat 5/TM during 2004/05 season. The spectral response was converted in physical values, apparent and surface reflectances, by radiometric transformation and atmospheric corrections and both used to calculate NDVI and GVI vegetation indices. Those ones were compared by multiple and simple regression with government official yield values (IBGE). Diagnostic processing method to identify influents values or collinearity was applied to the data too. The results showed that the mean surface reflectance value from all images was more correlated with yield than individual dates. Further, the multiple regressions using all dates and both vegetation indices gave better results than simple regression.

A metalinguagem como lugar da interpretação: terminologia e bases de dados informatizadas

The main objective of this work is to discuss the notion of metalanguage concerning the use of thesaurus (symbols systems, functions indicators, descriptors) utilized by indexers for article representation in computerized bibliographical databases. Our corpus comprises article abstracts and bibliographical database descriptors LILACS (Literatura Latino-Americana em Ciências da Saúde) and SOCIOFILE Sociological Abstracts. We aim at clarifying the effects of subjectivity in the functioning of indexing taking account the grounds for interpretation that allow different meanings.

Metodologia para a suavização de dados biomecanicos por função não parametrica ponderada local robusta

Universidade Estadual de Campinas. Faculdade de Educação Física

Protocolo de lesão esportiva no esporte paralímpico (PLEEP) : proposta para a coleta de dados

Universidade Estadual de Campinas . Faculdade de Educação Física