Armazéns de dados em bases de dados NoSQL

Na atualidade, existe uma quantidade de dados criados diariamente que ultrapassam em muito as mais otimistas espectativas estabelecidas na década anterior. Estes dados têm origens bastante diversas e apresentam-se sobre várias formas. Este novo conceito que dá pelo nome de Big Data está a colocar novos e rebuscados desafios ao seu armazenamento, tratamento e manipulação. Os tradicionais sistemas de armazenamento não se apresentam como a solução indicada para este problema. Estes desafios são alguns dos mais analisados e dissertados temas informáticos do momento. Várias tecnologias têm emergido com esta nova era, das quais se salienta um novo paradigma de armazenamento, o movimento NoSQL. Esta nova filosofia de armazenamento visa responder às necessidades de armazenamento e processamento destes volumosos e heterogéneos dados. Os armazéns de dados são um dos componentes mais importantes do âmbito Business Intelligence e são, maioritariamente, utilizados como uma ferramenta de apoio aos processos de tomada decisão, levados a cabo no dia-a-dia de uma organização. A sua componente histórica implica que grandes volumes de dados sejam armazenados, tratados e analisados tendo por base os seus repositórios. Algumas organizações começam a ter problemas para gerir e armazenar estes grandes volumes de informação. Esse facto deve-se, em grande parte, à estrutura de armazenamento que lhes serve de base. Os sistemas de gestão de bases de dados relacionais são, há algumas décadas, considerados como o método primordial de armazenamento de informação num armazém de dados. De facto, estes sistemas começam a não se mostrar capazes de armazenar e gerir os dados operacionais das organizações, sendo consequentemente cada vez menos recomendada a sua utilização em armazéns de dados. É intrinsecamente interessante o pensamento de que as bases de dados relacionais começam a perder a luta contra o volume de dados, numa altura em que um novo paradigma de armazenamento surge, exatamente com o intuito de dominar o grande volume inerente aos dados Big Data. Ainda é mais interessante o pensamento de que, possivelmente, estes novos sistemas NoSQL podem trazer vantagens para o mundo dos armazéns de dados. Assim, neste trabalho de mestrado, irá ser estudada a viabilidade e as implicações da adoção de bases de dados NoSQL, no contexto de armazéns de dados, em comparação com a abordagem tradicional, implementada sobre sistemas relacionais. Para alcançar esta tarefa, vários estudos foram operados tendo por base o sistema relacional SQL Server 2014 e os sistemas NoSQL, MongoDB e Cassandra. Várias etapas do processo de desenho e implementação de um armazém de dados foram comparadas entre os três sistemas, sendo que três armazéns de dados distintos foram criados tendo por base cada um dos sistemas. Toda a investigação realizada neste trabalho culmina no confronto da performance de consultas, realizadas nos três sistemas.

An Approach To Publish a Data Warehouse Content as Linked Data

Mestrado em Engenharia Informática - Área de Especialização em Tecnologias do Conhecimento e Decisão

An Open Source BI Approach: Concept Proof Tracking Fleet

É possível assistir nos dias de hoje, a um processo tecnológico evolutivo acentuado por toda a parte do globo. No caso das empresas, quer as pequenas, médias ou de grandes dimensões, estão cada vez mais dependentes dos sistemas informatizados para realizar os seus processos de negócio, e consequentemente à geração de informação referente aos negócios e onde, muitas das vezes, os dados não têm qualquer relacionamento entre si. A maioria dos sistemas convencionais informáticos não são projetados para gerir e armazenar informações estratégicas, impossibilitando assim que esta sirva de apoio como recurso estratégico. Portanto, as decisões são tomadas com base na experiência dos administradores, quando poderiam serem baseadas em factos históricos armazenados pelos diversos sistemas. Genericamente, as organizações possuem muitos dados, mas na maioria dos casos extraem pouca informação, o que é um problema em termos de mercados competitivos. Como as organizações procuram evoluir e superar a concorrência nas tomadas de decisão, surge neste contexto o termo Business Intelligence(BI). A GisGeo Information Systems é uma empresa que desenvolve software baseado em SIG (sistemas de informação geográfica) recorrendo a uma filosofia de ferramentas open-source. O seu principal produto baseia-se na localização geográfica dos vários tipos de viaturas, na recolha de dados, e consequentemente a sua análise (quilómetros percorridos, duração de uma viagem entre dois pontos definidos, consumo de combustível, etc.). Neste âmbito surge o tema deste projeto que tem objetivo de dar uma perspetiva diferente aos dados existentes, cruzando os conceitos BI com o sistema implementado na empresa de acordo com a sua filosofia. Neste projeto são abordados alguns dos conceitos mais importantes adjacentes a BI como, por exemplo, modelo dimensional, data Warehouse, o processo ETL e OLAP, seguindo a metodologia de Ralph Kimball. São também estudadas algumas das principais ferramentas open-source existentes no mercado, assim como quais as suas vantagens/desvantagens relativamente entre elas. Em conclusão, é então apresentada a solução desenvolvida de acordo com os critérios enumerados pela empresa como prova de conceito da aplicabilidade da área Business Intelligence ao ramo de Sistemas de informação Geográfica (SIG), recorrendo a uma ferramenta open-source que suporte visualização dos dados através de dashboards.

Otimização da operação de picking em armazéns

A Logística, vista como uma perspetiva integradora entre os parceiros de negócio, com objetivos comuns de proporcionar ao cliente mais-valias e aspetos diferenciadores perante os outros concorrentes, contribui em muito na manutenção das empresas na globalização atual, que se torna cada vez mais flexível. Através de uma boa gestão de processos críticos de negócio, boa localização dos materiais, sejam eles quais forem, produtos finais, matérias-primas ou produtos em vias de fabrico e através do transporte a logística cria utilidade temporal e diferenciadora. De facto, a logística poderá assumir um papel fundamental em proporcionar valor acrescentado ao disponibilizar, a tempo, os serviços que os clientes necessitam ou esperam. Enquadrando-se na temática de gestão dos armazéns, o presente projeto consistiu no estudo de operações de picking com a finalidade de otimização dos processos de picking no armazém do operador logístico AR – Serviços de Logística, localizado em Ribeirão, Vila Nova de Famalicão. O trabalho inicial passou pelo levantamento do funcionamento das operações do processo de picking na empresa e posteriormente confrontá-los com as tecnologias e procedimentos atuais no mercado. Com base nos resultados obtidos, foi possível definir e implementar métricas enquadradas nas finalidades estratégicas e operacionais do operador logístico. As soluções passaram também pela melhoria da aplicação de gestão de armazéns (WMS), reavaliação dos indicadores previamente estabelecidos e na aquisição de equipamentos para automatização das operações picking e localizações. Os registos e informações relacionadas com os módulos fulcrais são armazenados e tratados na base de dados de suporte à aplicação com contributo de melhoria contínua aos procedimentos logístico da empresa e sua relação com os stakeholders na estratégia global de negócio com o operador logístico. Finalmente, foi possível analisar os resultados obtidos em modo real em relação as estimativas calculadas e definidas na fase de implementação e desenvolvimento.

Gestão de dados pessoais em saúde

Na presente dissertação pretendemos averiguar da pertinência prática do actual modelo de protecção de dados clínicos, ou seja, se nele está devidamente consagrada a autonomia e a individualidade do utente; pretendemos ainda perceber a tendência evolutiva do sistema português de protecção de dados clínicos, nomeadamente a sua capacidade de inovação e adaptação aos sistemas internacionais, respeitando o nosso ordenamento jurídico. Concretamente, pretendemos perceber de que forma esta informação estará protegida, bem como até onde os utentes estarão consciencializados dos perigos que enfrentam. Embora este seja um problema mundial, o facto é que a Gestão do Sistema de Protecção de Dados Pessoais e Clínicos suscita polémica e interpretações diferentes, dada a sensibilidade ética do tema, a integridade humana. Além deste facto, estamos perante uma problemática que irá sempre envolver vários interesses e consequentemente um confronto de posições. Este trabalho procura ilustrar de que forma se lida com a gestão de dados pessoais no nosso país, de que modo se harmonizam os diferentes interesses e perspectivas, que prioridades se encontram na orientação governamental nesta matéria, quais as penalizações para os eventuais incumpridores e qual o futuro possível dos dados pessoais em saúde, tendo como objectivo comum uma eficácia e sustentabilidade dos mecanismos utilizados. Vamos encontrar interesses divergentes, compromissos permissivos ou restritivos de tratamento de dados, tendências que suportam interesses privados e públicos que se vão concretizar em escolhas eficientes de gestão de dados. Esta diversidade de comportamentos vai ser objecto de estudo e análise neste trabalho, procurando aferir das vantagens e desvantagens de um sistema de informação em saúde: universal com a população coberta, e integrado a fim de compartilhar informações de todos os pacientes, de todas as unidades de prestação de cuidados de saúde.

SmartClean: uma ferramenta para a limpeza incremental de dados

Neste artigo apresenta-se a ferramenta SmartClean, destinada à detecção e correcção de problemas de qualidade dos dados. Comparativamente às ferramentas actualmente existentes, o SmartClean possui a mais-valia de não obrigar a que a sequência de execução das operações seja especificada pelo utilizador. Para tal, foi concebida uma sequência segundo a qual os problemas são manipulados (i.e., detectados e corrigidos). A existência da sequência suporta ainda a execução incremental das operações. No artigo, a arquitectura subjacente à ferramenta é exposta, sendo detalhados os seus componentes. A validade da ferramenta e, consequentemente, da arquitectura é comprovada através da apresentação do caso de estudo efectuado. Apesar do SmartClean possuir potencialidades de limpeza de dados noutros níveis (e.g., relação), no artigo apenas são descritas as relativas ao nível do valor individual do atributo.

Interoperabilidade de operações de limpeza de dados recorrendo a ontologias

O surgimento de novos modelos de negócio, nomeadamente o estabelecimento de parcerias entre organizações, a possibilidade de as empresas poderem adicionar informação existente na web, em especial na web semânjtica, à informação de que dispõem, levou ao acentuar de alguns problemas já existentes nas bases de dados, nomeadamente no que respeita a problemas de qualidade de dados. Dados de má qualidade podem levar à perda de competitividade das organizações que os detêm, podendo inclusive levar ao seu desaparecimento, uma vez que muitas das suas tomadas de decisão são baseadas nestes dados. Por este motivo torna-se relevante a limpeza de dados que é um processo automático de detecção e eventual correção dos problemas de qualidade de dados, tais como registos duplicados, dados incompletos, e/ou inconsistentes. As abordagens atualmente existentes para solucionar estes problemas, encontram-se muito ligadas ao esquema das bases de dados e a domínios específicos. Para que as operações de limpeza de dados possam ser utilizadas em diferentes repositórios, torna-se necessário o entendimento, por parte dos sistemas computacionais, desses mesmos dados, ou seja, é necessária uma semântica associada. A solução apresentada passa pelo uso de ontologias, como forma de representação das operações de limpeza, para solucionar os problemas de heterogeneidade semântica, quer ao nível dos dados existentes nos diversos repositórios, quer ao nível da especificação das operações de limpeza. Estando as operações de limpeza definidas ao nível conceptual e existindo mapeamentos entre as ontologias de domínio e a ontologia associada a uma qualquer base de dados, aquelas poderão ser instanciadas e propostas ao utilizador para serem executadas sobre essa base de dados, permitindo assim a sua interoperabilidade.

Problemas de qualidade de dados em internamentos hospitalares e possíveis implicações

Nos dias de hoje, com a informatização dos sistemas de informação, as organizações, a nível mundial, são capazes de armazenar todo o tipo de informação por elas gerada. Esta informação é cada vez mais complexa, podendo conter dados de produção, de consumo, de facturação, etc. Sem desprezar o resto da informação produzida, pode dizer-se que os dados administrativos assumem uma relevância especial na gestão dessas organizações. É sobre estes dados que as organizações baseiam todas as tomadas de decisão que definem o seu futuro num ambiente competitivo. Associados a toda a complexidade da informação gerada, estão os problemas de qualidade de dados, muitas vezes desprezados, mas que podem influenciar negativamente as medidas adoptadas e os objectivos traçados. Este capítulo procura, acima de tudo, chamar a atenção para este tipo de problemas, referenciando algumas das suas implicações no âmbito hospitalar. Como resultado, este capítulo apresenta uma sistematização dos vários erros possíveis de constar neste tipo de bases de dados administrativas, contribuindo com alguns exemplos encontrados durante um estudo de qualidade de dados.

Agrupamento de dados com restrições

Mestrado em Engenharia Informática

Aplicação web para tratamento estatístico de dados de teste

Mestrado em Engenharia Electrotécnica e de Computadores

Geotecnia urbana da zona ribeirinha de Vila Nova de Gaia: criação de uma base de dados SIG geotécnica

O presente trabalho apresenta os resultados dos estudos geotécnicos e de uma base de dados da zona ribeirinha de Vila Nova de Gaia, com o objectivo de compreender melhor os aspectos geotécnicos em ambiente urbano numa área sensível com um registo histórico de instabilidade de taludes rochosos. Além disso, os escassos estudos científicos recentes de natureza geológica e geotécnica em Vila Nova de Gaia justificam o estudo exploratório da geotecnia urbana da zona ribeirinha de Vila Nova de Gaia. A importância de Vila Nova de Gaia como a terceira maior cidade portuguesa e como centro de intensa actividade económica e cultural despoleta uma constante necessidade de expansão. O aumento da densidade populacional acarreta a realização de projectos complexos de engenharia, utilizando o subsolo para a construção e, com frequência, em terrenos com características geotécnicas desfavoráveis. As cidades de Vila Nova de Gaia e do Porto foram sendo edificadas ao longo de encostas numa plataforma litoral caracterizada por uma vasta área aplanada, inclinando ligeiramente para Oeste. Esta plataforma foi cortada pelo Rio Douro num vale encaixado de vertentes abruptas, nas quais se localizam as zonas ribeirinhas das duas cidades. Este trabalho envolveu, inicialmente, uma caracterização topográfica, morfoestrutural, geotectónica e geomecânica da área de estudo e, numa fase posterior, o desenvolvimento duma base de dados geotécnica. Todos os dados geológicos e geotécnicos locais e os estudos geotécnicos levados a cabo in situ pelas diversas empresas e instituições foram representados cartograficamente numa base apoiada pelos Sistemas de Informação Geográfica (SIG). Esta metodologia inter‐disciplinar foi de grande valor para um melhor conhecimento dos riscos geológico‐geotécnicos ao longo das margens do Rio Douro. De facto, a cartografia geotécnica da zona ribeirinha de Vila Nova de Gaia deve constituir uma ferramenta importante para uma previsão mais rigorosa de futuras instabilidades de taludes e um bom instrumento para a gestão do espaço urbano.

Sistema de aquisição de dados em tempo real

Neste trabalho propus-me realizar um Sistema de Aquisição de Dados em Tempo Real via Porta Paralela. Para atingir com sucesso este objectivo, foi realizado um levantamento bibliográfico sobre sistemas operativos de tempo real, salientando e exemplificando quais foram marcos mais importantes ao longo da sua evolução. Este levantamento permitiu perceber o porquê da proliferação destes sistemas face aos custos que envolvem, em função da sua aplicação, bem como as dificuldades, científicas e tecnológicas, que os investigadores foram tendo, e que foram ultrapassando com sucesso. Para que Linux se comporte como um sistema de tempo real, é necessário configura-lo e adicionar um patch, como por exemplo o RTAI ou ADEOS. Como existem vários tipos de soluções que permitem aplicar as características inerentes aos sistemas de tempo real ao Linux, foi realizado um estudo, acompanhado de exemplos, sobre o tipo de arquitecturas de kernel mais utilizadas para o fazer. Nos sistemas operativos de tempo real existem determinados serviços, funcionalidades e restrições que os distinguem dos sistemas operativos de uso comum. Tendo em conta o objectivo do trabalho, e apoiado em exemplos, fizemos um pequeno estudo onde descrevemos, entre outros, o funcionamento escalonador, e os conceitos de latência e tempo de resposta. Mostramos que há apenas dois tipos de sistemas de tempo real o ‘hard’ que tem restrições temporais rígidas e o ‘soft’ que engloba as restrições temporais firmes e suaves. As tarefas foram classificadas em função dos tipos de eventos que as despoletam, e evidenciando as suas principais características. O sistema de tempo real eleito para criar o sistema de aquisição de dados via porta paralela foi o RTAI/Linux. Para melhor percebermos o seu comportamento, estudamos os serviços e funções do RTAI. Foi dada especial atenção, aos serviços de comunicação entre tarefas e processos (memória partilhada e FIFOs), aos serviços de escalonamento (tipos de escalonadores e tarefas) e atendimento de interrupções (serviço de rotina de interrupção - ISR). O estudo destes serviços levou às opções tomadas quanto ao método de comunicação entre tarefas e serviços, bem como ao tipo de tarefa a utilizar (esporádica ou periódica). Como neste trabalho, o meio físico de comunicação entre o meio ambiente externo e o hardware utilizado é a porta paralela, também tivemos necessidade de perceber como funciona este interface. Nomeadamente os registos de configuração da porta paralela. Assim, foi possível configura-lo ao nível de hardware (BIOS) e software (módulo do kernel) atendendo aos objectivos do presente trabalho, e optimizando a utilização da porta paralela, nomeadamente, aumentando o número de bits disponíveis para a leitura de dados. No desenvolvimento da tarefa de hard real-time, foram tidas em atenção as várias considerações atrás referenciadas. Foi desenvolvida uma tarefa do tipo esporádica, pois era pretendido, ler dados pela porta paralela apenas quando houvesse necessidade (interrupção), ou seja, quando houvesse dados disponíveis para ler. Desenvolvemos também uma aplicação para permitir visualizar os dados recolhidos via porta paralela. A comunicação entre a tarefa e a aplicação é assegurada através de memória partilhada, pois garantindo a consistência de dados, a comunicação entre processos do Linux e as tarefas de tempo real (RTAI) que correm ao nível do kernel torna-se muito simples. Para puder avaliar o desempenho do sistema desenvolvido, foi criada uma tarefa de soft real-time cujos tempos de resposta foram comparados com os da tarefa de hard real-time. As respostas temporais obtidas através do analisador lógico em conjunto com gráficos elaborados a partir destes dados, mostram e comprovam, os benefícios do sistema de aquisição de dados em tempo real via porta paralela, usando uma tarefa de hard real-time.

Modelo de otimização do espaço livre de armazenagem num silo de cereais

Este trabalho baseia-se num caso de estudo real de planeamento de operações de armazenagem num silo rural de cereais, e enquadra-se nos problemas de planeamento e programação de armazéns. Os programadores deparam-se diariamente com o problema de arranjar a melhor solução de transferência entre células de armazenagem, tentando maximizar o número de células vazias, por forma a ter maior capacidade para receber novos lotes, respeitando as restrições de receção e expedição, e as restrições de capacidade das linhas de transporte. Foi desenvolvido um modelo matemático de programação linear inteira mista e uma aplicação em Excel, com recurso ao VBA, para a sua implementação. Esta implementação abrangeu todo o processo relativo à atividade em causa, isto é, vai desde a recolha de dados, seu tratamento e análise, até à solução final de distribuição dos vários produtos pelas várias células. Os resultados obtidos mostram que o modelo otimiza o número de células vazias, tendo em conta os produtos que estão armazenados mais os que estão para ser rececionados e expedidos, em tempo computacional inferior a 60 segundos, constituindo, assim, uma importante mais valia para a empresa em causa.

Agrupamento de dados visual interactivo

Com a crescente geração, armazenamento e disseminação da informação nos últimos anos, o anterior problema de falta de informação transformou-se num problema de extracção do conhecimento útil a partir da informação disponível. As representações visuais da informação abstracta têm sido utilizadas para auxiliar a interpretação os dados e para revelar padrões de outra forma escondidos. A visualização de informação procura aumentar a cognição humana aproveitando as capacidades visuais humanas, de forma a tornar perceptível a informação abstracta, fornecendo os meios necessários para que um humano possa absorver quantidades crescentes de informação, com as suas capacidades de percepção. O objectivo das técnicas de agrupamento de dados consiste na divisão de um conjunto de dados em vários grupos, em que dados semelhantes são colocados no mesmo grupo e dados dissemelhantes em grupos diferentes. Mais especificamente, o agrupamento de dados com restrições tem o intuito de incorporar conhecimento a priori no processo de agrupamento de dados, com o objectivo de aumentar a qualidade do agrupamento de dados e, simultaneamente, encontrar soluções apropriadas a tarefas e interesses específicos. Nesta dissertação é estudado a abordagem de Agrupamento de Dados Visual Interactivo que permite ao utilizador, através da interacção com uma representação visual da informação, incorporar o seu conhecimento prévio acerca do domínio de dados, de forma a influenciar o agrupamento resultante para satisfazer os seus objectivos. Esta abordagem combina e estende técnicas de visualização interactiva de informação, desenho de grafos de forças direccionadas e agrupamento de dados com restrições. Com o propósito de avaliar o desempenho de diferentes estratégias de interacção com o utilizador, são efectuados estudos comparativos utilizando conjuntos de dados sintéticos e reais.

Exploração de dados de uma solução mobile wallet usando as técnicas de data mining

A descoberta de conhecimento em dados hoje em dia é um ponto forte para as empresas. Atualmente a CardMobili não dispõe de qualquer sistema de mineração de dados, sendo a existência deste uma mais-valia para as suas operações de marketing diárias, nomeadamente no lançamento de cupões a um grupo restrito de clientes com uma elevada probabilidade que os mesmos os utilizem. Para isso foi analisada a base de dados da aplicação tentando extrair o maior número de dados e aplicadas as transformações necessárias para posteriormente serem processados pelos algoritmos de mineração de dados. Durante a etapa de mineração de dados foram aplicadas as técnicas de associação e classificação, sendo que os melhores resultados foram obtidos com técnicas de associação. Desta maneira pretende-se que os resultados obtidos auxiliem o decisor na sua tomada de decisões.