Armazéns de dados em bases de dados NoSQL

Na atualidade, existe uma quantidade de dados criados diariamente que ultrapassam em muito as mais otimistas espectativas estabelecidas na década anterior. Estes dados têm origens bastante diversas e apresentam-se sobre várias formas. Este novo conceito que dá pelo nome de Big Data está a colocar novos e rebuscados desafios ao seu armazenamento, tratamento e manipulação. Os tradicionais sistemas de armazenamento não se apresentam como a solução indicada para este problema. Estes desafios são alguns dos mais analisados e dissertados temas informáticos do momento. Várias tecnologias têm emergido com esta nova era, das quais se salienta um novo paradigma de armazenamento, o movimento NoSQL. Esta nova filosofia de armazenamento visa responder às necessidades de armazenamento e processamento destes volumosos e heterogéneos dados. Os armazéns de dados são um dos componentes mais importantes do âmbito Business Intelligence e são, maioritariamente, utilizados como uma ferramenta de apoio aos processos de tomada decisão, levados a cabo no dia-a-dia de uma organização. A sua componente histórica implica que grandes volumes de dados sejam armazenados, tratados e analisados tendo por base os seus repositórios. Algumas organizações começam a ter problemas para gerir e armazenar estes grandes volumes de informação. Esse facto deve-se, em grande parte, à estrutura de armazenamento que lhes serve de base. Os sistemas de gestão de bases de dados relacionais são, há algumas décadas, considerados como o método primordial de armazenamento de informação num armazém de dados. De facto, estes sistemas começam a não se mostrar capazes de armazenar e gerir os dados operacionais das organizações, sendo consequentemente cada vez menos recomendada a sua utilização em armazéns de dados. É intrinsecamente interessante o pensamento de que as bases de dados relacionais começam a perder a luta contra o volume de dados, numa altura em que um novo paradigma de armazenamento surge, exatamente com o intuito de dominar o grande volume inerente aos dados Big Data. Ainda é mais interessante o pensamento de que, possivelmente, estes novos sistemas NoSQL podem trazer vantagens para o mundo dos armazéns de dados. Assim, neste trabalho de mestrado, irá ser estudada a viabilidade e as implicações da adoção de bases de dados NoSQL, no contexto de armazéns de dados, em comparação com a abordagem tradicional, implementada sobre sistemas relacionais. Para alcançar esta tarefa, vários estudos foram operados tendo por base o sistema relacional SQL Server 2014 e os sistemas NoSQL, MongoDB e Cassandra. Várias etapas do processo de desenho e implementação de um armazém de dados foram comparadas entre os três sistemas, sendo que três armazéns de dados distintos foram criados tendo por base cada um dos sistemas. Toda a investigação realizada neste trabalho culmina no confronto da performance de consultas, realizadas nos três sistemas.

A comunicação on-line das ONGs e a angariação de fundos

Dissertação de Mestrado apresentado ao Instituto de Contabilidade e Administração do Porto para a obtenção do grau de Mestre em Marketing Digital, sob orientação da Mestre Inês Veiga Pereira “Esta versão contém as críticas e sugestões dos elementos do júri”

Development of web services to help risk management of construction projects

Dissertação apresentada na Faculdade de Ciências e Tecnologia da Universidade Nova de Lisboa para obtenção do grau de Mestre em Engenharia Electrotécnica e de Computadores

População e Enriquecimento de Ontologias através de Web Scraping

O surgir da World Wide Web providenciou aos utilizadores uma série de oportunidades no que diz respeito ao acesso a dados e informação. Este acesso tornou-se um ato banal para qualquer utilizador da Web, tanto pelo utilizador comum como por outros mais experientes, tanto para obter informações básicas, como outras informações mais complexas. Todo este avanço tecnológico permitiu que os utilizadores tivessem acesso a uma vasta quantidade de informação, dispersa pelo globo, não tendo, na maior parte das vezes, a informação qualquer tipo de ligação entre si. A necessidade de se obter informação de interesse relativamente a determinado tema, mas tendo que recorrer a diversas fontes para obter toda a informação que pretende obter e comparar, torna-se um processo moroso para o utilizador. Pretende-se que este processo de recolha de informação de páginas web seja o mais automatizado possível, dando ao utilizador a possibilidade de utilizar algoritmos e ferramentas de análise e processamento automáticas, reduzindo desta forma o tempo e esforço de realização de tarefas sobre páginas web. Este processo é denominado Web Scraping. Neste trabalho é descrita uma arquitetura de sistema de web scraping automático e configurável baseado em tecnologias existentes, nomeadamente no contexto da web semântica. Para tal o trabalho desenvolvido analisa os efeitos da aplicação do Web Scraping percorrendo os seguintes pontos: • Identificação e análise de diversas ferramentas de web scraping; • Identificação do processo desenvolvido pelo ser humano complementar às atuais ferramentas de web scraping; • Design duma arquitetura complementar às ferramentas de web scraping que dê apoio ao processo de web scraping do utilizador; • Desenvolvimento dum protótipo baseado em ferramentas e tecnologias existentes; • Realização de experiências no domínio de aplicação de páginas de super-mercados portugueses; • Analisar resultados obtidos a partir destas.

Spatial metrics and Landsat data for urban landuse change detection: case of Addis Ababa, Ethiopia.

Dissertation submitted in partial fulfilment of the requirements for the Degree of Master of Science in Geospatial Technologies.

SIIG - Sistemas de Identificação e Informação Geográfica: proposta de sistema de gestão portuária para o Porto de Sines.

Dissertação apresentada como requisito parcial para obtenção do grau de Mestre em Ciência e Sistemas de Informação Geográfica.

Media Brokerage: Agent-Based SLA Negotiation

Media content personalisation is a major challenge involving viewers as well as media content producer and distributor businesses. The goal is to provide viewers with media items aligned with their interests. Producers and distributors engage in item negotiations to establish the corresponding service level agreements (SLA). In order to address automated partner lookup and item SLA negotiation, this paper proposes the MultiMedia Brokerage (MMB) platform, which is a multiagent system that negotiates SLA regarding media items on behalf of media content producer and distributor businesses. The MMB platform is structured in four service layers: interface, agreement management, business modelling and market. In this context, there are: (i) brokerage SLA (bSLA), which are established between individual businesses and the platform regarding the provision of brokerage services; and (ii) item SLA (iSLA), which are established between producer and distributor businesses about the provision of media items. In particular, this paper describes the negotiation, establishment and enforcement of bSLA and iSLA, which occurs at the agreement and negotiation layers, respectively. The platform adopts a pay-per-use business model where the bSLA define the general conditions that apply to the related iSLA. To illustrate this process, we present a case study describing the negotiation of a bSLA instance and several related iSLA instances. The latter correspond to the negotiation of the Electronic Program Guide (EPG) for a specific end viewer.

Sigla WEBGIS portal: an open source Web-based GIS application for the portuguese bluetongue Entomologiacal surveillance program.

Dissertação apresentada como requisito parcial para obtenção do grau de Mestre em Ciência e Sistemas de Informação Geográfica

The need for information literacy skills among users of European Union information

The aim of this paper is the assessment of information literacy skills related to European topics, among a group of 234 users of 55 European Documentation Centres (EDCs), from 21 European Union Member- States. We will present the results of a survey European information. So we will analyse the answers given by the users of the EDCs relating to aspects like the best sources to access trustworthy and impartial Europe information. The factors determining access to information on the EU and the frequency of this access will equally be analysed. The reasons the users gave for the ease or difficulty in accessing European information are also included and pondered on. Parallel to this, we will evaluate the aspects most valued by the users of this kind of information. Our findings on the use of European information available on the Internet, especially the knowledge and making use of databases will be presented. Based on this analysis the paper will demonstrate the need to develop information literacy competencies to identify, use and access European information. Doing so, some potential components of information literacy skills adapted to European information will be introduced.

Information literacy skills of portuguese LIS students: some topics on evaluation of resources credibility

This paper focuses on the Portuguese results from an international survey on LIS students’ information literacy skills. The results’ analysis will be grounded on a literature review on the criteria application to evaluate information and determine the credibility by undergraduate students. The guidelines for the information evaluation, especially regarding credibility aspect, on three main information literacy frameworks will be presented. After an overall presentation of the main results, the analysis of the Portuguese survey results will focus on issues related to information evaluation skills, namely on criteria to assess information credibility and on difficulties to apply them.

European institutions at your fingertips: EUROPA gateway tools for dissemination and access to information

This paper intends to present the legal background that support dissemination and access to documents from European institutions, namely the Parliament, the Council and the European Commission. Currently, this legal framework is accomplished with a set of Internet tools that are analyzed regarding official documents types and options searches available. Some statistical data on access to European information published in annual reports from the institutions are also evaluated. The relationship between shadow and light in transparency to access administrative documents and marketing issues of a political communication are underlined. Neo-institutional approach, reputational concept in public organizations and systemic perspective are used as theoretical background.

Information professionals in business context: new professionals, old skills

This communication aims to present some reflections regarding the importance of information in organizational context, especially in business context. The ability to produce and to share expertise and knowledge among its employees is now a key factor in the success of any organization. However, it’s also true that workers are increasingly feeling that too much information can hurt their performance. The existence of skilled professionals able to organize, evaluate, select and disseminate information in organizations appears to be a prerequisite for success. The skills necessary for the formation of a professional devoted to the management of information and knowledge in the context of business organizations will be analysed. Then data collected in two focus group discussion with students from a graduate course in Business Information, from Polytechnic Institute of Porto, Portugal, a will be examined.

Pré-processamento e Tag automático de imagens em ambiente móvel e web, aplicado a um sistema de informação geográfica

No panorama socioeconómico atual, a contenção de despesas e o corte no financiamento de serviços secundários consumidores de recursos conduzem à reformulação de processos e métodos das instituições públicas, que procuram manter a qualidade de vida dos seus cidadãos através de programas que se mostrem mais eficientes e económicos. O crescimento sustentado das tecnologias móveis, em conjunção com o aparecimento de novos paradigmas de interação pessoa-máquina com recurso a sensores e sistemas conscientes do contexto, criaram oportunidades de negócio na área do desenvolvimento de aplicações com vertente cívica para indivíduos e empresas, sensibilizando-os para a disponibilização de serviços orientados ao cidadão. Estas oportunidades de negócio incitaram a equipa do projeto a desenvolver uma plataforma de notificação de problemas urbanos baseada no seu sistema de informação geográfico para entidades municipais. O objetivo principal desta investigação foca a idealização, conceção e implementação de uma solução completa de notificação de problemas urbanos de caráter não urgente, distinta da concorrência pela facilidade com que os cidadãos são capazes de reportar situações que condicionam o seu dia-a-dia. Para alcançar esta distinção da restante oferta, foram realizados diversos estudos para determinar características inovadoras a implementar, assim como todas as funcionalidades base expectáveis neste tipo de sistemas. Esses estudos determinaram a implementação de técnicas de demarcação manual das zonas problemáticas e reconhecimento automático do tipo de problema reportado nas imagens, ambas desenvolvidas no âmbito deste projeto. Para a correta implementação dos módulos de demarcação e reconhecimento de imagem, foram feitos levantamentos do estado da arte destas áreas, fundamentando a escolha de métodos e tecnologias a integrar no projeto. Neste contexto, serão apresentadas em detalhe as várias fases que constituíram o processo de desenvolvimento da plataforma, desde a fase de estudo e comparação de ferramentas, metodologias, e técnicas para cada um dos conceitos abordados, passando pela proposta de um modelo de resolução, até à descrição pormenorizada dos algoritmos implementados. Por último, é realizada uma avaliação de desempenho ao par algoritmo/classificador desenvolvido, através da definição de métricas que estimam o sucesso ou insucesso do classificador de objetos. A avaliação é feita com base num conjunto de imagens de teste, recolhidas manualmente em plataformas públicas de notificação de problemas, confrontando os resultados obtidos pelo algoritmo com os resultados esperados.

Smart Grid Communication Technologies in the Brazilian Electrical Sector

Intelligent electrical grids can be considered as the next generation of electrical energy transportation. The enormous potential leads to worldwide focus of research on the technology of smart grids. This paper aims to present a review of the Brazilian electricity sector in context with the integration of communication technologies for smart grids. The work gives an overview of the generation, transmission and distribution of electrical energy in the Brazil and a brief summary of the current electricity market. Smart grid technologies are introduced and the requirements for the Brazilian power system are pointed out. Various technologies for communication within an intelligent network are presented and their characteristics, advantages and disadvantages are compared to the Brazilian conditions. In addition, a summary is given of current pilot projects for Smart Grid technologies within Brazil, as well as a presentation of individual selected projects.

Contribution towards understanding the categorisation of landforms.

Dissertation submitted in partial fulfilment of the requirements for the Degree of Master of Science in Geospatial Technologies.