Armazéns de dados em bases de dados NoSQL

Na atualidade, existe uma quantidade de dados criados diariamente que ultrapassam em muito as mais otimistas espectativas estabelecidas na década anterior. Estes dados têm origens bastante diversas e apresentam-se sobre várias formas. Este novo conceito que dá pelo nome de Big Data está a colocar novos e rebuscados desafios ao seu armazenamento, tratamento e manipulação. Os tradicionais sistemas de armazenamento não se apresentam como a solução indicada para este problema. Estes desafios são alguns dos mais analisados e dissertados temas informáticos do momento. Várias tecnologias têm emergido com esta nova era, das quais se salienta um novo paradigma de armazenamento, o movimento NoSQL. Esta nova filosofia de armazenamento visa responder às necessidades de armazenamento e processamento destes volumosos e heterogéneos dados. Os armazéns de dados são um dos componentes mais importantes do âmbito Business Intelligence e são, maioritariamente, utilizados como uma ferramenta de apoio aos processos de tomada decisão, levados a cabo no dia-a-dia de uma organização. A sua componente histórica implica que grandes volumes de dados sejam armazenados, tratados e analisados tendo por base os seus repositórios. Algumas organizações começam a ter problemas para gerir e armazenar estes grandes volumes de informação. Esse facto deve-se, em grande parte, à estrutura de armazenamento que lhes serve de base. Os sistemas de gestão de bases de dados relacionais são, há algumas décadas, considerados como o método primordial de armazenamento de informação num armazém de dados. De facto, estes sistemas começam a não se mostrar capazes de armazenar e gerir os dados operacionais das organizações, sendo consequentemente cada vez menos recomendada a sua utilização em armazéns de dados. É intrinsecamente interessante o pensamento de que as bases de dados relacionais começam a perder a luta contra o volume de dados, numa altura em que um novo paradigma de armazenamento surge, exatamente com o intuito de dominar o grande volume inerente aos dados Big Data. Ainda é mais interessante o pensamento de que, possivelmente, estes novos sistemas NoSQL podem trazer vantagens para o mundo dos armazéns de dados. Assim, neste trabalho de mestrado, irá ser estudada a viabilidade e as implicações da adoção de bases de dados NoSQL, no contexto de armazéns de dados, em comparação com a abordagem tradicional, implementada sobre sistemas relacionais. Para alcançar esta tarefa, vários estudos foram operados tendo por base o sistema relacional SQL Server 2014 e os sistemas NoSQL, MongoDB e Cassandra. Várias etapas do processo de desenho e implementação de um armazém de dados foram comparadas entre os três sistemas, sendo que três armazéns de dados distintos foram criados tendo por base cada um dos sistemas. Toda a investigação realizada neste trabalho culmina no confronto da performance de consultas, realizadas nos três sistemas.

Byzantium: Contribuições para o desenvolvimento de um sistema de replicação de bases de dados tolerante a falhas bizantinas

Trabalho apresentado no âmbito do Mestrado em Engenharia Informática, como requisito parcial para obtenção do grau de Mestre em Engenharia Informática

Usando bases de dados relacionais para geração semi-automática de ontologias destinadas à extração de dados

Extração de dados é o processo utilizado para obter e estruturar informações disponibilizaadas em documentos semi-estruturados (ex.: páginas da Web). A importâmncia da extrtação de dados vem do fato que, uma vez extraídos, os dados podem ser armazenados e manipulados em uma forma estruturada. Dentre as abordagens existentes para extração de dados, existe a abordagem de extração baseada em ontologias. Nesta abordagem, ontologias são preciamente criadas para descrever um domínio de interesse, gerando um modelo conceitual enriquecido com informações necessárias para extração de dados das fontes semi-estruturadas. A ontologia é utilizada como guia ara um programa (¨parser¨) que executa a extração de dados dos documentos ou páginas fornecidos como enetrada. Oprocesso de criação da ontologia não é uma tarefa trtivial e requer um cuidado trabalho ee análise dos documentos ou páginas fontes dos dados. Este trabalho é feito manualmente por usuários especialistas no domínio de interesse da ontologia. Entretanto, em algumas situações os dados que se desejam extrair estão modelados em bancos de dados relacionais. Neste caso, o modelo realcional do banco de dados por ser utilizado para constrtução do modelo conceitual na ontologia. As instâncias dos dados armazenados neste mesmo banco podem ajudar a gerar as informações sobre conteúdo e formato dos dados a serem extraídos. Estas informações sobre conteúdo e formato de dados, na ontologia, são representadas por expressões regulares e estão inseridas nos chamados "data frames". O objetivo deste trabalho é apresentar um método para criação semi-automática de ontologias de extração a partir das informações em um banco de dados já existente. O processo é baseado na engenharia reversa do modelo relacional para o modelo conceitual da ontologia combinada com a análise das instâncias dos dados para geração das expressões regulares nos "data frames".

Application de connaissances terminologiques dans le cadre de l'enseignement du Français langue etrangère I et II

Dissertação apresentada para cumprimento dos requisitos necessários à obtenção do grau de Mestre em Terminologia

Sistema de programação e controle de estações robóticas: uma arquitectura baseada em conhecimento

Dissertação apresentada para obtenção do Grau de Doutor em Informática pela Universidade Nova de Lisboa,Faculdade de Ciências e Tecnologia

Bases de Dados NoSQL

Com o advento da invenção do modelo relacional em 1970 por E.F.Codd, a forma como a informação era gerida numa base de dados foi totalmente revolucionada. Migrou‐se de sistemas hierárquicos baseados em ficheiros para uma base de dados relacional com tabelas relações e registos que simplificou em muito a gestão da informação e levou muitas empresas a adotarem este modelo. O que E.F.Codd não previu foi o facto de que cada vez mais a informação que uma base de dados teria de armazenar fosse de proporções gigantescas, nem que as solicitações às bases de dados fossem da mesma ordem. Tudo isto veio a acontecer com a difusão da internet que veio ligar todas as pessoas de qualquer parte do mundo que tivessem um computador. Com o número de adesões à internet a crescer, o número de sites que nela eram criados também cresceu (e ainda cresce exponencialmente). Os motores de busca que antigamente indexavam alguns sites por dia, atualmente indexam uns milhões de sites por segundo e, mais recentemente as redes sociais também estão a lidar com quantidades gigantescas de informação. Tanto os motores de busca como as redes sociais chegaram à conclusão que uma base de dados relacional não chega para gerir a enorme quantidade de informação que ambos produzem e como tal, foi necessário encontrar uma solução. Essa solução é NoSQL e é o assunto que esta tese vai tratar. O presente documento visa definir e apresentar o problema que as bases de dados relacionais têm quando lidam com grandes volumes de dados, introduzir os limites do modelo relacional que só até há bem pouco tempo começaram a ser evidenciados com o surgimento de movimentos, como o BigData, com o crescente número de sites que surgem por dia e com o elevado número de utilizadores das redes sociais. Será também ilustrada a solução adotada até ao momento pelos grandes consumidores de dados de elevado volume, como o Google e o Facebook, enunciando as suas características vantagens, desvantagens e os demais conceitos ligados ao modelo NoSQL. A presente tese tenciona ainda demonstrar que o modelo NoSQL é uma realidade usada em algumas empresas e quais as principias mudanças a nível programático e as boas práticas delas resultantes que o modelo NoSQL traz. Por fim esta tese termina com a explicação de que NoSQL é uma forma de implementar a persistência de uma aplicação que se inclui no novo modelo de persistência da informação.

Document-based databases: estudo comparativo no âmbito das bases de dados NoSql

Dissertação de mestrado integrado em Engenharia e Gestão de Sistemas de Informação

Sistema informático de gestão e análise de genealogias

A selecção do tema e consequente trabalho de que emerge o titulo desta dissertação decorreu do facto de se ter tomado conhecimento da necessidade que os membros do projecto FCOMP-01-0124-FEDER-007360 - Inquirir da Honra: Comissários do Santo Oficio e das Ordens Militares em Portugal (1570 - 1773) tiveram para satisfazer alguns objectivos em particular relacionados com a Genealogia da rede de Comissários. O sistema de trabalho manual que até aqui era utilizado, continha uma quantidade considerável de informação complexa, descrevendo ao pormenor as características não só dos indivíduos, mas também do que estava associado ao mesmo, incluindo quem e como se relacionava com as demais figuras. O principal objectivo consistiu assim em responder à pergunta: "Como será possível efectuar uma gestão de toda a informação genealógica recolhida no papel e permitir a sua análise no computador, recorrendo a tecnologias que, por um lado sejam eficientes, e por outro, fáceis de aprender pelos utilizadores?". Para conseguir responder à questão, foi necessário conhecer em primeira mão, o universo da Genealogia e a forma como opera, para que posteriormente, se desenhasse e moldasse toda uma aplicação às necessidades do utilizador. No entanto, a aplicação não se centra apenas em permitir ao utilizador efectuar uma gestão, recorrendo a um sistema de gestão de bases de dados MySQL e permitir a análise genealógica "tradicional" em programas como o Personal Ancestral File. Pretende-se sobretudo, que o utilizador faça uso e responda às perguntas "do presente" esperando que a própria aplicação sirva de motivação para novas perguntas, com a integração da tecnologia XML e do Sistema de Informação Geográfico, Google Earth, permitindo assim a análise de informação genealógica no mapa-mundo. ABSTRACT: The choice of this essay's work subject is set on the need to accomplish determinate goals related with the Genealogy of the network lnquisition Commissioners on behalf of the project FCOMP-01-0124-FEDER-007360 members - Inquirir da Honra: Comissários do Santo Ofício e das Ordens Militares em Portugal (1570 - 1773)- To Inquire Honor: Inquisition Commissioners and the Military Orders in Portugal. The manual work system used till now presented a considerable amount of complex information, describing in detail characteristics not only of individuals but also of what is associated to it, including whoandhow. The main goal aimed at thus responding to: «How could it be possible to select and examine all the genealogical data registered on paper and allow it to be analyzed on computer, by means of technology that on one hand are efficient and on other hand easy to learn by its users? ». ln order to get to the answer to that matter, it was necessary to acknowledge firstly the Genealogy's universe so afterwards it could be possible to outline and shape an entire application to user needs. Nevertheless, the application does not only focus on allowing the user to carry out the system’s management, using MySQL database management system and allowing the "traditional" genealogical management in programs such as the Personal Ancestral File. Above all the user should get involved with it and answer the key questions of 'the present’ hoping that the application serves by itself as motivation to arouse new questions with the integration of XML technology and Geographic Information System, Google Earth, thus allowing the analysis of genealogical information worldwide.

Mineração multirrelacional de regras de associação em grandes bases de dados

Pós-graduação em Ciência da Computação - IBILCE

An Approach To Publish a Data Warehouse Content as Linked Data

Mestrado em Engenharia Informática - Área de Especialização em Tecnologias do Conhecimento e Decisão

Contribuições para desenvolvimento da pesquisa e da avaliação em política e gestão educacional com uso de novas tecnologias: desenvolvimento de bases de dados

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)

Bases de dados orçamentários e qualidade da informação: uma avaliação do Finanças do Brasil (Finbra) e do Sistema de Informações sobre Orçamentos Públicos em Saúde (Siops)

O artigo caracteriza e avalia o sistema Finanças do Brasil (Finbra) e o Sistema de Informações sobre Orçamentos Públicos em Saúde (Siops) nas dimensões de qualidade de acessibilidade, oportunidade e clareza metodológica. Fez-se uma pesquisa descritiva com abordagem quantitativa e qualitativa mediante fontes bibliográficas e documentais. Constatou-se que o Finbra e o Siops surgiram no contexto de descentralização das políticas públicas brasileiras, que exigiu, além do acesso às informações, maior controle das contas públicas. Os sistemas apresentam semelhantes vantagens quanto à acessibilidade e oportunidade, mas o Siops revelou-se com melhor clareza metodológica. Aponta-se que há necessidade de ampliar o conhecimento sobre essas importantes fontes de registro contábil dos entes subnacionais, com vista a seu melhoramento e aperfeiçoamento.

Inspeção a sistemas de climatização e conceção de um sistema de gestão da manutenção aplicado em edifícios universitários

Os requisitos legais impostos ao processo de manutenção das instalações de AVAC em edifícios evoluíram nos últimos 10 anos no sentido de uma crescente exigência, obrigando à existência de planos de manutenção preventiva, livros de ocorrências, inspeções obrigatórias a equipamentos, auditorias ou certi cações energéticas. Para os responsáveis da gestão da manutenção de edifícios, em particular para os que gerem uma quantidade signi cativa de equipamentos e instalações, fazê-lo sem o auxílio de uma ferramenta informática é um desa o considerável. Este trabalho visou a arquitetura de um sistema de gestão da manutenção de edifícios que foi aplicado a um caso real, nomeadamente o campus de Azurém da Universidade do Minho. Foi desenvolvida uma metodologia de inspeção, recolha e tratamento da informação para os sistemas técnicos de AVAC existentes nos edifícios. Esta metodologia foi implementada numa aplicação informática que permite aos técnicos responsáveis pela manutenção uma agilização de tarefas, resultado de um vasto conjunto de informações e de ferramentas desenvolvidas propositadamente, facilmente acessíveis através da rede Wi-Fi universitária. A integração das tarefas de manutenção na aplicação informática permitirá aumentar o grau de e ciência e e cácia nas atividades inerentes à manutenção, aumentando o grau de satisfação dos técnicos envolvidos no processo e dos utentes dos edifícios. O registo das tarefas de manutenção realizadas e dos respetivos custos em bases de dados, tornará também possível a geração de relatórios que sustentarão decisões mais assertivas. A implementação na aplicação informática dos seis módulos estruturais do Sistema de Gestão da Manutenção e Consumos Energéticos, SGMCE, permitirá atingir um nível de gestão da manutenção mais elevado, criando condições para o efetuar o comissionamento. O comissionamento prolonga-se por toda a vida do edifício, permitindo atingir os objetivos designados pelo seu promotor, dentro de patamares de custos de exploração energéticos e de custos optimizados de manutenção.

Harmonização de bases de dados com informação geográfica de fontes distintas

Relatório de Estágio apresentado para cumprimento dos requisitos necessários à obtenção do grau de Mestre em Gestão do Território especialização em Detecção Remota e Sistemas de Informação Geográfica

Column-based databases: estudo exploratório no âmbito das bases de dados NoSQL

Dissertação de mestrado integrado em Engenharia e Gestão de Sistemas de Informação