Armazéns de dados em bases de dados NoSQL

Na atualidade, existe uma quantidade de dados criados diariamente que ultrapassam em muito as mais otimistas espectativas estabelecidas na década anterior. Estes dados têm origens bastante diversas e apresentam-se sobre várias formas. Este novo conceito que dá pelo nome de Big Data está a colocar novos e rebuscados desafios ao seu armazenamento, tratamento e manipulação. Os tradicionais sistemas de armazenamento não se apresentam como a solução indicada para este problema. Estes desafios são alguns dos mais analisados e dissertados temas informáticos do momento. Várias tecnologias têm emergido com esta nova era, das quais se salienta um novo paradigma de armazenamento, o movimento NoSQL. Esta nova filosofia de armazenamento visa responder às necessidades de armazenamento e processamento destes volumosos e heterogéneos dados. Os armazéns de dados são um dos componentes mais importantes do âmbito Business Intelligence e são, maioritariamente, utilizados como uma ferramenta de apoio aos processos de tomada decisão, levados a cabo no dia-a-dia de uma organização. A sua componente histórica implica que grandes volumes de dados sejam armazenados, tratados e analisados tendo por base os seus repositórios. Algumas organizações começam a ter problemas para gerir e armazenar estes grandes volumes de informação. Esse facto deve-se, em grande parte, à estrutura de armazenamento que lhes serve de base. Os sistemas de gestão de bases de dados relacionais são, há algumas décadas, considerados como o método primordial de armazenamento de informação num armazém de dados. De facto, estes sistemas começam a não se mostrar capazes de armazenar e gerir os dados operacionais das organizações, sendo consequentemente cada vez menos recomendada a sua utilização em armazéns de dados. É intrinsecamente interessante o pensamento de que as bases de dados relacionais começam a perder a luta contra o volume de dados, numa altura em que um novo paradigma de armazenamento surge, exatamente com o intuito de dominar o grande volume inerente aos dados Big Data. Ainda é mais interessante o pensamento de que, possivelmente, estes novos sistemas NoSQL podem trazer vantagens para o mundo dos armazéns de dados. Assim, neste trabalho de mestrado, irá ser estudada a viabilidade e as implicações da adoção de bases de dados NoSQL, no contexto de armazéns de dados, em comparação com a abordagem tradicional, implementada sobre sistemas relacionais. Para alcançar esta tarefa, vários estudos foram operados tendo por base o sistema relacional SQL Server 2014 e os sistemas NoSQL, MongoDB e Cassandra. Várias etapas do processo de desenho e implementação de um armazém de dados foram comparadas entre os três sistemas, sendo que três armazéns de dados distintos foram criados tendo por base cada um dos sistemas. Toda a investigação realizada neste trabalho culmina no confronto da performance de consultas, realizadas nos três sistemas.

An Approach To Publish a Data Warehouse Content as Linked Data

Mestrado em Engenharia Informática - Área de Especialização em Tecnologias do Conhecimento e Decisão

An Open Source BI Approach: Concept Proof Tracking Fleet

É possível assistir nos dias de hoje, a um processo tecnológico evolutivo acentuado por toda a parte do globo. No caso das empresas, quer as pequenas, médias ou de grandes dimensões, estão cada vez mais dependentes dos sistemas informatizados para realizar os seus processos de negócio, e consequentemente à geração de informação referente aos negócios e onde, muitas das vezes, os dados não têm qualquer relacionamento entre si. A maioria dos sistemas convencionais informáticos não são projetados para gerir e armazenar informações estratégicas, impossibilitando assim que esta sirva de apoio como recurso estratégico. Portanto, as decisões são tomadas com base na experiência dos administradores, quando poderiam serem baseadas em factos históricos armazenados pelos diversos sistemas. Genericamente, as organizações possuem muitos dados, mas na maioria dos casos extraem pouca informação, o que é um problema em termos de mercados competitivos. Como as organizações procuram evoluir e superar a concorrência nas tomadas de decisão, surge neste contexto o termo Business Intelligence(BI). A GisGeo Information Systems é uma empresa que desenvolve software baseado em SIG (sistemas de informação geográfica) recorrendo a uma filosofia de ferramentas open-source. O seu principal produto baseia-se na localização geográfica dos vários tipos de viaturas, na recolha de dados, e consequentemente a sua análise (quilómetros percorridos, duração de uma viagem entre dois pontos definidos, consumo de combustível, etc.). Neste âmbito surge o tema deste projeto que tem objetivo de dar uma perspetiva diferente aos dados existentes, cruzando os conceitos BI com o sistema implementado na empresa de acordo com a sua filosofia. Neste projeto são abordados alguns dos conceitos mais importantes adjacentes a BI como, por exemplo, modelo dimensional, data Warehouse, o processo ETL e OLAP, seguindo a metodologia de Ralph Kimball. São também estudadas algumas das principais ferramentas open-source existentes no mercado, assim como quais as suas vantagens/desvantagens relativamente entre elas. Em conclusão, é então apresentada a solução desenvolvida de acordo com os critérios enumerados pela empresa como prova de conceito da aplicabilidade da área Business Intelligence ao ramo de Sistemas de informação Geográfica (SIG), recorrendo a uma ferramenta open-source que suporte visualização dos dados através de dashboards.

Otimização da operação de picking em armazéns

A Logística, vista como uma perspetiva integradora entre os parceiros de negócio, com objetivos comuns de proporcionar ao cliente mais-valias e aspetos diferenciadores perante os outros concorrentes, contribui em muito na manutenção das empresas na globalização atual, que se torna cada vez mais flexível. Através de uma boa gestão de processos críticos de negócio, boa localização dos materiais, sejam eles quais forem, produtos finais, matérias-primas ou produtos em vias de fabrico e através do transporte a logística cria utilidade temporal e diferenciadora. De facto, a logística poderá assumir um papel fundamental em proporcionar valor acrescentado ao disponibilizar, a tempo, os serviços que os clientes necessitam ou esperam. Enquadrando-se na temática de gestão dos armazéns, o presente projeto consistiu no estudo de operações de picking com a finalidade de otimização dos processos de picking no armazém do operador logístico AR – Serviços de Logística, localizado em Ribeirão, Vila Nova de Famalicão. O trabalho inicial passou pelo levantamento do funcionamento das operações do processo de picking na empresa e posteriormente confrontá-los com as tecnologias e procedimentos atuais no mercado. Com base nos resultados obtidos, foi possível definir e implementar métricas enquadradas nas finalidades estratégicas e operacionais do operador logístico. As soluções passaram também pela melhoria da aplicação de gestão de armazéns (WMS), reavaliação dos indicadores previamente estabelecidos e na aquisição de equipamentos para automatização das operações picking e localizações. Os registos e informações relacionadas com os módulos fulcrais são armazenados e tratados na base de dados de suporte à aplicação com contributo de melhoria contínua aos procedimentos logístico da empresa e sua relação com os stakeholders na estratégia global de negócio com o operador logístico. Finalmente, foi possível analisar os resultados obtidos em modo real em relação as estimativas calculadas e definidas na fase de implementação e desenvolvimento.

Criação de uma base de dados destinada à formulação automática de cores para uma tinta de fachadas, aquosa e de formulação genérica, com uma gama nova de pastas corantes de base aquosa

Dissertação para obtenção do Grau de Mestre em Engenharia de Materiais

PARAFAC: uma ferramenta quimiométrica para tratamento de dados multidimensionais. Aplicações na determinação direta de fármacos em plasma humano por espectrofluorimetria

Since the last decade, the combined use of chemometrics and molecular spectroscopic techniques has become a new alternative for direct drug determination, without the need of physical separation. Among the new methodologies developed, the application of PARAFAC in the decomposition of spectrofluorimetric data should be highlighted. The first objective of this article is to describe the theoretical basis of PARAFAC. For this purpose, a discussion about the order of chemometric methods used in multivariate calibration and the development of multi-dimensional methods is presented first. The other objective of this article is to divulge for the Brazilian chemical community the potential of the combination PARAFAC/spectrofluorimetry for the determination of drugs in complex biological matrices. For this purpose, two applications aiming at determining, respectively, doxorrubicine and salicylate in human plasma are presented.

Mapeamento de semeaduras de soja (Glycine max (L.)Merr.) mediante dados MODIS/Terra E TM/Landsat 5: um comparativo

The objective of this work was to compare the soybean crop mapping in the western of Parana State by MODIS/Terra and TM/Landsat 5 images. Firstly, it was generated a soybean crop mask using six TM images covering the crop season, which was used as a reference. The images were submitted to Parallelepiped and Maximum Likelihood digital classification algorithms, followed by visual inspection. Four MODIS images, covering the vegetative peak, were classified using the Parallelepiped method. The quality assessment of MODIS and TM classification was carried out through an Error Matrix, considering 100 sample points between soybean or not soybean, randomly allocated in each of the eight municipalities within the study area. The results showed that both the Overall Classification (OC) and the Kappa Index (KI) have produced values ranging from 0.55 to 0.80, considered good to very good performances, either in TM or MODIS images. When OC and KI, from both sensors were compared, it wasn't found no statistical difference between them. The soybean mapping, using MODIS, has produced 70% of reliance in terms of users. The main conclusion is that the mapping of soybean by MODIS is feasible, with the advantage to have better temporal resolution than Landsat, and to be available on the internet, free of charge.

Modelos de regressão lineares para estimativa de produtividade da soja no oeste do Paraná, utilizando dados espectrais

The main objective of this work was to evaluate the linear regression between spectral response and soybean yield in regional scale. In this study were monitored 36 municipalities from the west region of the states of Parana using five images of Landsat 5/TM during 2004/05 season. The spectral response was converted in physical values, apparent and surface reflectances, by radiometric transformation and atmospheric corrections and both used to calculate NDVI and GVI vegetation indices. Those ones were compared by multiple and simple regression with government official yield values (IBGE). Diagnostic processing method to identify influents values or collinearity was applied to the data too. The results showed that the mean surface reflectance value from all images was more correlated with yield than individual dates. Further, the multiple regressions using all dates and both vegetation indices gave better results than simple regression.

A metalinguagem como lugar da interpretação: terminologia e bases de dados informatizadas

The main objective of this work is to discuss the notion of metalanguage concerning the use of thesaurus (symbols systems, functions indicators, descriptors) utilized by indexers for article representation in computerized bibliographical databases. Our corpus comprises article abstracts and bibliographical database descriptors LILACS (Literatura Latino-Americana em Ciências da Saúde) and SOCIOFILE Sociological Abstracts. We aim at clarifying the effects of subjectivity in the functioning of indexing taking account the grounds for interpretation that allow different meanings.

Metodologia para a suavização de dados biomecanicos por função não parametrica ponderada local robusta

Universidade Estadual de Campinas. Faculdade de Educação Física

Protocolo de lesão esportiva no esporte paralímpico (PLEEP) : proposta para a coleta de dados

Universidade Estadual de Campinas . Faculdade de Educação Física

Detecção de contaminação de solo por vinhaça através de análise de dados de eletrorresistividade

The vinasse, awaste produced in the proportion of 13 liters for each liter of alcohol. It has a high potential of polluting groundwater and superficial water resources, changes the soil behaviour and can also develop sanilization problems. This work aims to evaluate the efficiency of the DC-resistivity method in detecting and mapping anomalies caused by inappropriate disposal of vinasse in an inactive infiltration tank located at Sepé-Tiarajú settlement of landless agricultural laborers in the Ribeirão Preto region. Besides, as secondary goals, this work aims to characterize the type of anomaly residue as well as to diagnose its influence inside and outside of the limits of the tank. Eleven electrical resistivity tomography profiles were carried out with the dipole-dipole array, 10m of dipoles length and 5 leveis of investigation The geophysical survey enabled us to conclude that the DC-resistivity method is appropriate for mapping the contamination plume caused by intense vinasse disposal and its influence. It enabled also to conclude that the contamination exceeds the tank limits. The vinasse influence can be characterized by low resistivity values between 10 Ohm.m and 90 Ohm.m and its behavior can be compared with the one of the chorume, which is also conductive.

As técnicas NASVD e MNF e sua aplicação na redução de ruídos em dados gamaespectrométricos

A desintegração radioativa é um processo aleatório e a estimativa de todas as medidas associadas é governada por leis estatísticas. Os perfis de taxas de contagem são sempre "ruidosos" quando utilizados períodos curtos como um segundo para cada medida. Os filtros utilizados e posteriormente as correções feitas no processamento atual de dados gamaespectrométricos não são suficientes para remover ou diminuir, consideravelmente, o ruído oriundo do espectro. Dois métodos estatísticos que atuam diretamente nos dados coletados, isto é, nos espectros, vêm sendo sugeridos na literatura para remover e minimizar estes ruídos remanescentes o Noise-Adjusted Singular Value Decomposition - NASVD e Maximum Noise Fraction - MNF. Estes métodos produzem uma redução no ruído de forma significativa. Neste trabalho eles foram implementados dentro do ambiente de processamento do software Oasis Montaj e aplicados na área compreendida pelos blocos I e II do levantamento aerogeofísico que recobre a porção oeste da Província Mineral do Tapajós, entre os Estados do Pará e Amazonas. Os dados filtrados e não-filtrados com as técnicas de NASVD e MNF foram processados com os parâmetros e constantes fornecidos pela empresa Lasa Engenharia e Prospecções S.A., sendo estes comparados. Os resultados da comparação entre perfis e mapas apresentaram-se de forma promissora, pois houve um ganho na resolução dos produtos.

Determinação da energia de ativação em hidrogéis poliméricos a partir de dados termogravimétricos

Curvas termogravimétricas com diferentes razões de aquecimento foram utilizadas para a determinação de parâmetros cinéticos seguindo o método de Flynn-Wall. Para isso, foi utilizado um hidrogel preparado a partir da mistura de dois polissacarídeos, quitosana/xantana (QX) e outro, contendo além destes, colágeno (QXC). Os resultados mostraram que o valor de energia de ativação para o hidrogel QX foi de 3,44 kJ.mol-1, enquanto que para o QXC foi de 14,84 kJ.mol-1, sugerindo que a água presente no hidrogel contendo colágeno está mais fortemente ligada aos biopolímeros. Isto pode ter ocorrido devido à presença de grupos carboxílicos na estrutura colagênica.

O impacto da osteoporose no Brasil: dados regionais das fraturas em homens e mulheres adultos - The Brazilian Osteoporosis Study (BRAZOS)

INTRODUÇÃO/OBJETIVOS: O BRAZOS (The Brazilian Osteoporosis Study) é um estudo epidemiológico, de base populacional, realizado em amostra representativa de mulheres e homens brasileiros, de idade superior a 40 anos, com o objetivo de identificar os principais fatores clínicos de risco associados com fratura por baixo impacto. Nesse artigo são apresentados os principais resultados do estudo, de acordo com cada região do país. PACIENTES E MÉTODOS: Um total de 2.420 indivíduos, provenientes das cinco regiões do país e de todas as classes socioeconômicas foram incluídos no estudo. Foram avaliados dados antropométricos, bem como aspectos relacionados aos hábitos de vida, fraturas, ingestão alimentar, atividade física, quedas e qualidade de vida por meio de entrevista individual e quantitativa. Fratura por baixo impacto foi definida como aquela decorrente de queda da própria altura ou menos. Valor de P < 0,05 foi considerado como estatisticamente significante. RESULTADOS: Não houve diferença estatisticamente significativa da prevalência de fratura nas cinco regiões do Brasil, de acordo com o sexo ou classe social. No entanto, nas mulheres, houve maior ocorrência de fraturas na região metropolitana do que nos municípios do interior dos estados e tendência a maior frequência de fraturas em homens da região nordeste. Não foi verificada diferença estatisticamente significativa de fraturas se os homens eram provenientes das capitais ou do interior dos estados. CONCLUSÕES: De acordo com os nossos resultados, não foi observada diferença significativa da prevalência de fraturas por baixo impacto nem da frequência ou relevância de fatores de risco entre as cinco regiões do Brasil.