Big Data NoSQL-järjestelmissä

Relaatiotietokannat ovat olleet vallitseva suunta suurissa tietokantajärjestelmissä jo 80-luvulta lähtien. Viimeisen vuosikymmenen aikana lähes kaikki teollinen ja henkilökohtainen tiedonvaihto on siirtynyt sähköiseen maailmaan. Tämä on aiheuttanut valtaisan kasvun datamäärissä. Sama kasvu jatkuu edelleen eksponentiaalisesti. Samalla ei-relaatiotietokannat eli NoSQL-tietokannat ovat nousseet huomattavaan asemaan. Monet organisaatiot käsittelevät suuria määriä järjestämätöntä dataa, jolloin perinteisen relaatiotietokannan käyttö yksin ei välttämättä ole paras, tai edes riittävä vaihtoehto. Web 2.0 -termin takana oleva internet-kulttuurin muutos tukee mukautuvampia ja skaalautuvia NoSQL-järjestelmiä. Internetin käyttäjät, erityisesti sosiaalisessa mediassa tuottavat valtavia määriä järjestymätöntä dataa. Kerättävä tieto ei ole enää tietyn mallin mukaan muotoiltua, vaan yksittäiseen tietueeseen saattaa liittyä esimerkiksi kuvia, videoita, viittauksia muiden käyttäjien luomiin instansseihin tai osoitetietoja. Tässä tutkielmassa käsitellään NoSQL-järjestelmien rakennetta sekä asemaa erityisesti suurissa tietojärjestelmissä ja vertaillaan niiden hyötyjä ja haittoja relaatiotietokantojen suhteen.

Endowing NoSQL DBMS with SQL features through standard Call Level Interfaces

To store, update and retrieve data from database management systems (DBMS), software architects use tools, like call-level interfaces (CLI), which provide standard functionalities to interact with DBMS. However, the emerging of NoSQL paradigm, and particularly new NoSQL DBMS providers, lead to situations where some of the standard functionalities provided by CLI are not supported, very often due to their distance from the relational model or due to design constraints. As such, when a system architect needs to evolve, namely from a relational DBMS to a NoSQL DBMS, he must overcome the difficulties conveyed by the features not provided by NoSQL DBMS. Choosing the wrong NoSQL DBMS risks major issues with components requesting non-supported features. This paper focuses on how to deploy features that are not so commonly supported by NoSQL DBMS (like Stored Procedures, Transactions, Save Points and interactions with local memory structures) by implementing them in standard CLI.

Modernizing Secure OLAP Applications with a Model-Driven Approach

The majority of the organizations store their historical business information in data warehouses which are queried to make strategic decisions by using online analytical processing (OLAP) tools. This information has to be correctly assured against unauthorized accesses, but nevertheless there are a great amount of legacy OLAP applications that have been developed without considering security aspects or these have been incorporated once the system was implemented. This work defines a reverse engineering process that allows us to obtain the conceptual model corresponding to a legacy OLAP application, and also analyses and represents the security aspects that could have established. This process has been aligned with a model-driven architecture for developing secure OLAP applications by defining the transformations needed to automatically apply it. Once the conceptual model has been extracted, it can be easily modified and improved with security, and automatically transformed to generate the new implementation.

Avaliação do desempenho relativo de bancos de dados NoSQL para arquivos de genótipos.

A bioinformática e a genômica trabalham com bases de dados fora do padrão tradicional ou clássico que, por sua vez, caracterizam-se pela organizacão tabular e pelo tratamento destas em SGBDRs. Arquivos de genótipos são exemplos de bases de dados não clássicas e são caracterizados por serem gerados como arquivos textos, com dados desbalanceados, com alta dimensionalidade e por ocuparem muito espaço, entre outros aspectos. Os SGBDRs não têm se mostrado uma boa solucão para o tratamento de tais bases e, portanto, o presente trabalho busca avaliar o desempenho relativo entre bancos de dados NoSQL que representam duas famílias de diferentes modelo de dados, a partir de cenários de teste para a manipulação de arquivos de genótipo.

Sistema de apoio à decisão escolar

Especialmente em tempos de crise, como os que se têm vindo a viver atualmente, sobressai ainda mais a necessidade das nossas organizações serem bem geridas, e para que tal aconteça, torna-se importante medir indicadores que ajudem a acompanhar e compreender a evolução, nas diversas áreas. Para além desta conjuntura, nas últimas décadas o setor da Educação em Portugal tem-se deparado com enormes problemas e desa os, como por exemplo o nanciamento ou mais recentemente a (in)disciplina. Com este trabalho pretende-se contribuir com uma solução tecnológica, que visa em último caso a qualidade geral do ensino. Assim, na área da Educação torna-se importante, senão imperioso, dotar os decisores, com Sistemas de Apoio à Decisão que meçam indicadores de desempenho, e aumentem o grau de qualidade da informação disponibilizada a esses decisores, para que a gestão seja o mais pro ssional e rigorosa possível nas diversas vertentes, quer sejam no domínio escolar, nanceiro ou outro. A empresa Codevision tem vindo a implementar em diversas instituições de ensino e formação, o sistema de gestão escolar E-Schooling Server, um sistema de informação que dá suporte aos diversos processos de negócio dessas instituições. Com o objetivo de elevar a fasquia da qualidade na entrega de informação aos decisores da área escolar, decidiu apoiar o desenvolvimento de um sistema que complemente o E-Schooling Server. Nesse âmbito este trabalho aborda o desenvolvimento de um Sistema de Apoio à Decisão Escolar e na primeira fase subdivide-se: no desenvolvimento de um projeto de ETL automatizado, na criação de um DW, e na análise dos dados com ferramentas de BI. Na segunda fase é desenvolvida uma aplicação web, que permite ao utilizador nal a consulta de informação previamente tratada, através de grá cos. Um aspeto importante é o facto de a informação, tratada na primeira fase do trabalho, poder ser acedida e analisada através de qualquer aplicação com acesso a sistemas OLAP, não cando desta forma dependente da aplicação web. Por m, são apresentados e discutidos resultados, através de uma simulação com dados carregados no sistema desenvolvido, e que permite demonstrar a mais-valia que sistemas deste género representam, para os decisores de instituições de ensino e formação.

Framework genérica de business intelligence para suporte financeiro

Actualmente, não existem ferramentas open source de Business Intelligence (BI) para suporte à gestão e análise financeira nas empresas, de acordo com o sistema de normalização contabilística (SNC). As diferentes características de cada negócio, juntamente com os requisitos impostos pelo SNC, tornam complexa a criação de uma Framework financeira genérica, que satisfaça, de forma eficiente, as análises financeiras necessárias à gestão das empresas. O objectivo deste projecto é propor uma framework baseada em OLAP, capaz de dar suporte à gestão contabilística e análise financeira, recorrendo exclusivamente a software open source na sua implementação, especificamente, a plataforma Pentaho. Toda a informação contabilística, obtida através da contabilidade geral, da contabilidade analítica, da gestão orçamental e da análise financeira é armazenada num Data mart. Este Data mart suportará toda a análise financeira, incluindo a análise de desvios orçamentais e de fluxo de capitais, permitindo às empresas ter uma ferramenta de BI, compatível com o SNC, que as ajude na tomada de decisões.

SGBD de alta escalabilidade com suporte a dados georreferenciados

Trabalho Final de Mestrado para obtenção do grau de Mestre em Engenharia Informática e de Computadores

Sistemas de informação para executivos (EIS). Uma experiência de aplicação

Tese submetida à Universidade Portucalense para obtenção do grau de Mestre em Informática, elaborada sob a orientação de Prof. Doutor Reis Lima e Eng. Jorge S. Coelho.

Sistemas de informação para executivos (EIS). Uma experiência de aplicação

Dissertação de Mestrado

ALSMon: sistema para monitorizar ALS

Trabalho Final de Mestrado para obtenção do grau de Mestre em Engenharia Informática e de Computadores

Business Intelligence – Aplicação prática no sector financeiro

Trabalho de Projecto apresentado como requisito parcial para obtenção do grau de Mestre em Estatística e Gestão de Informação

The impact of driving styles on fuel consumption: a data-warehouse-and-data-mining-based discovery process

This paper discusses the results of applied research on the eco-driving domain based on a huge data set produced from a fleet of Lisbon's public transportation buses for a three-year period. This data set is based on events automatically extracted from the control area network bus and enriched with GPS coordinates, weather conditions, and road information. We apply online analytical processing (OLAP) and knowledge discovery (KD) techniques to deal with the high volume of this data set and to determine the major factors that influence the average fuel consumption, and then classify the drivers involved according to their driving efficiency. Consequently, we identify the most appropriate driving practices and styles. Our findings show that introducing simple practices, such as optimal clutch, engine rotation, and engine running in idle, can reduce fuel consumption on average from 3 to 5l/100 km, meaning a saving of 30 l per bus on one day. These findings have been strongly considered in the drivers' training sessions.

SOLAP+

Trabalho apresentado no âmbito do Mestrado em Engenharia Informática,como requisito parcial para obtenção do grau de Mestre em Engenharia Informática

SOLAP+: extending the interaction model

Thesis submitted to Faculdade de Ciências e Tecnologia of the Universidade Nova de Lisboa, in partial fulfillment of the requirements for the degree of Master in Computer Science

Sistema para a monitorização ativa com recurso ao cloud computing

O desenvolvimento de aplicações para dispositivos móveis já não é uma área recente, contudo continua a crescer a um ritmo veloz. É notório o avanço tecnológico dos últimos anos e a crescente popularidade destes dispositivos. Este avanço deve-se não só à grande evolução no que diz respeito às características destes dispositivos, mas também à possibilidade de criar aplicações inovadoras, práticas e passíveis de solucionar os problemas dos utilizadores em geral. Nesse sentido, as necessidades do quotidiano obrigam à implementação de soluções que satisfaçam os utilizadores, e nos dias de hoje, essa satisfação muitas vezes passa pelos dispositivos móveis, que já tem um papel fundamental na vida das pessoas. Atendendo ao aumento do número de raptos de crianças e à insegurança que se verifica nos dias de hoje, as quais dificultam a tarefa de todos os pais/cuidadores que procuraram manter as suas crianças a salvo, é relevante criar uma nova ferramenta capaz de os auxiliar nesta árdua tarefa. A partir desta realidade, e com vista a cumprir os aspetos acima mencionados, surge assim esta dissertação de mestrado. Esta aborda o estudo e implementação efetuados no sentido de desenvolver um sistema de monitorização de crianças. Assim, o objetivo deste projeto passa por desenvolver uma aplicação nativa para Android e um back-end, utilizando um servidor de base de dados NoSQL para o armazenamento da informação, aplicando os conceitos estudados e as tecnologias existentes. A solução tem como principais premissas: ser o mais user-friendly possível, a otimização, a escalabilidade para outras situações (outros tipos de monitorizações) e a aplicação das mais recentes tecnologias. Assim sendo, um dos estudos mais aprofundados nesta dissertação de mestrado está relacionado com as bases de dados NoSQL, dada a sua importância no projeto.