Armazéns de dados em bases de dados NoSQL

Na atualidade, existe uma quantidade de dados criados diariamente que ultrapassam em muito as mais otimistas espectativas estabelecidas na década anterior. Estes dados têm origens bastante diversas e apresentam-se sobre várias formas. Este novo conceito que dá pelo nome de Big Data está a colocar novos e rebuscados desafios ao seu armazenamento, tratamento e manipulação. Os tradicionais sistemas de armazenamento não se apresentam como a solução indicada para este problema. Estes desafios são alguns dos mais analisados e dissertados temas informáticos do momento. Várias tecnologias têm emergido com esta nova era, das quais se salienta um novo paradigma de armazenamento, o movimento NoSQL. Esta nova filosofia de armazenamento visa responder às necessidades de armazenamento e processamento destes volumosos e heterogéneos dados. Os armazéns de dados são um dos componentes mais importantes do âmbito Business Intelligence e são, maioritariamente, utilizados como uma ferramenta de apoio aos processos de tomada decisão, levados a cabo no dia-a-dia de uma organização. A sua componente histórica implica que grandes volumes de dados sejam armazenados, tratados e analisados tendo por base os seus repositórios. Algumas organizações começam a ter problemas para gerir e armazenar estes grandes volumes de informação. Esse facto deve-se, em grande parte, à estrutura de armazenamento que lhes serve de base. Os sistemas de gestão de bases de dados relacionais são, há algumas décadas, considerados como o método primordial de armazenamento de informação num armazém de dados. De facto, estes sistemas começam a não se mostrar capazes de armazenar e gerir os dados operacionais das organizações, sendo consequentemente cada vez menos recomendada a sua utilização em armazéns de dados. É intrinsecamente interessante o pensamento de que as bases de dados relacionais começam a perder a luta contra o volume de dados, numa altura em que um novo paradigma de armazenamento surge, exatamente com o intuito de dominar o grande volume inerente aos dados Big Data. Ainda é mais interessante o pensamento de que, possivelmente, estes novos sistemas NoSQL podem trazer vantagens para o mundo dos armazéns de dados. Assim, neste trabalho de mestrado, irá ser estudada a viabilidade e as implicações da adoção de bases de dados NoSQL, no contexto de armazéns de dados, em comparação com a abordagem tradicional, implementada sobre sistemas relacionais. Para alcançar esta tarefa, vários estudos foram operados tendo por base o sistema relacional SQL Server 2014 e os sistemas NoSQL, MongoDB e Cassandra. Várias etapas do processo de desenho e implementação de um armazém de dados foram comparadas entre os três sistemas, sendo que três armazéns de dados distintos foram criados tendo por base cada um dos sistemas. Toda a investigação realizada neste trabalho culmina no confronto da performance de consultas, realizadas nos três sistemas.

Transporte marítimo de curta distância na União Europeia e em Portugal

O transporte marítimo sempre assumiu uma importância primordial no transporte, quer de pessoas como de mercadorias. O uso das vias marítimas para o transporte de mercadorias é uma prática utilizada desde os tempos antigos. O transporte marítimo na Europa sempre foi uma forma eficaz e de baixo custo de transportar passageiros e mercadorias de um local para outro. Atualmente, todos os modos de transporte necessitam de melhorar a sua eficiência e reduzir o montante de poluentes que libertam para o meio-ambiente. O transporte marítimo de curta distância (TMCD) é parte essencial no sistema de transporte multimodal Europeu representando cerca de 37% das transações intracomunitárias (tkm). Os resultados alcançados advêm desde que, em 2001, a European Shortsea Network (ESN) em parceria com os Shortsea Promotion Centres (SPC) de cada Estado-Membro da União Europeia (EU) conseguiram efetuar progressos significativos na promoção e desenvolvimento do transporte por esta via. Esta tese de mestrado pretende caraterizar o TMCD na EU e em Portugal e a sua articulação com os outros meios de transporte de mercadorias. Será também analisada a situação Portuguesa ao nível do transporte marítimo de mercadorias fazendo especial relevância à mercadoria contentorizada, às infraestruturas atualmente existentes em Portugal assim como às perspetivas futuras para o setor. A metodologia utilizada inclui a revisão de literatura da investigação efetuada sobre o setor, a recolha de informação primária através do instrumento inquérito e a recolha de informação estatística a partir de fontes secundárias, permitindo a caraterização do setor. O inquérito foi desenvolvido e partilhado com mais de um milhar de empresas a operar em Portugal, nas que se incluem as empresas transportadoras, operadores logísticos, agentes de navegação e as principais empresas exportadoras/importadoras a operar em Portugal, tendo-se obtido 106 respostas válidas. A nível nacional, o inquérito realizado permitiu confirmar que os principais portos logísticos para a movimentação internacional de mercadorias são os portos de Leixões, Lisboa, Sines e Setúbal, estando a maioria das empresas inquiridas localizadas no hinterland destes portos. O inquérito permitiu também concluir que o facto de o transporte rodoviário ser um meio de transporte rápido, de baixo custo para curtas e médias distâncias, de elevada frequência de transporte, de oferecer elevada capacidade e diversos tipos de carga transportada, de oferecer serviços Porta-a-Porta, da elevada flexibilidade e mobilidade oferecida, assim como a rapidez das operações de carga e descarga continuam a contribuir para a elevada competitividade deste modo de transporte de mercadorias, sendo as razões pelo qual este modo é escolhido, pese embora, ser o modo mais poluente por tonelada transportada. Os modos de transporte TMCD e ferroviário apenas são alvo de escolha, como modo de transporte de mercadorias, por parte das empresas mais responsáveis socialmente e ambiental. O inquérito permitiu ainda concluir que, para haver uma melhor articulação entre o TMCD com outros meios de transporte, é necessário que sejam disponibilizados novos serviços, portos e terminais logísticos com serviços privatizados, assim como a redução das tarifas aplicáveis TMCD.

Estudo da importância do transporte ferroviário de mercadorias no Eixo Leixões- Salamanca

A evolução dos transportes de mercadorias, em Portugal e na União Europeia, assume uma enorme repercussão na economia global, de modo que a combinação dos vários modos de transporte, com vista à obtenção de ganhos ao nível da eficiência, adquire extrema importância. Os programas europeus de apoio aos transportes, enquadrados na rede transeuropeia de transportes e plataformas logísticas, também contribuem para a otimização do transporte de mercadorias. A importância do transporte ferroviário de mercadorias no eixo Leixões- Salamanca, nomeadamente para as empresas exportadoras e importadoras da região norte e centro, que utilizam meios alternativos ao ferroviário, constitui o principal objetivo desta dissertação. A revisão bibliográfica inclui uma abordagem aos transportes de mercadorias em geral e de forma mais aprofundada aos modos ferroviário e rodoviário na península ibérica, passando pela logística, bem como pela integração de modos: intermodalidade e multimodalidade na rede europeia de transportes e ainda a referência aos portos secos e às plataformas logísticas. Isto permite caraterizar as diferentes empresas operadoras do setor dos transportes de mercadorias e os produtos transacionados, assim como enumerar vantagens e/ou desvantagens do meio de transporte ferroviário face a outros meios, mais concretamente no eixo alvo deste estudo. A metodologia utilizada consiste na análise de informação proveniente de fontes secundárias havendo lugar a uma referência mais detalhada sobre as plataformas logísticas de Leixões e Salamanca, o eixo E-80, o corredor ferroviário nº4 e os programas europeus promotores da eficiência no transporte ferroviário de mercadorias: Marathon, Ferremed e Marco Polo. Para a recolha de informação primária o instrumento adotado foi a entrevista semiestruturada, efetuada a dois representantes da empresa CP-Carga e a um representante da empresa KLog, ambas as empresas ligadas ao setor dos transportes e logística. A análise e tratamento de toda a informação recolhida possibilitam, desde logo, evidenciar as potencialidades do eixo Leixões-Salamanca no que se refere ao transporte ferroviário de mercadorias, delinear recomendações para a sua otimização, bem como efetuar uma análise SWOT. As considerações finais revelam que é imperativo adotar medidas, de forma integrada, para que o seu efeito na potenciação do transporte ferroviário de mercadorias, não só no eixo Leixões-Salamanca, mas também a nível europeu, se afirme como uma verdadeira alternativa a outros modos, particularmente ao domínio rodoviário.

Análise e optimização de processos numa empresa do sector automóvel

Trabalho de Projeto

A middleware for service oriented computing in dynamic environments

Dissertação apresentada na Faculdade de Ciências e Tecnologia da Universidade Nova de Lisboa para a obtenção do Grau de Mestre em Engenharia Informática

Transporte internacional rodoviário de mercadorias: projecto de optimização operacional

No âmbito do estágio curricular realizado na DSV Transitários, surgiu a oportunidade de estar inserida em duas das áreas funcionais da empresa: durante o primeiro mês, no departamento comercial e nos restantes meses no departamento ROAD (rodoviário Internacional) no qual me foi proporcionado a oportunidade de desempenhar funções de Operacional de Tráfego Rodoviário Internacional. Desta forma, surge o desafio de integrar na equipa de operacionais ROAD da DSV, por forma a contribuir ativamente para a rotina da empresa e paralelamente analisar os processos operacionais do departamento, bem como, identificar todos os pontos que necessitem de melhoria. Após estar inserida neste sector, compreendi que a grupagem de mercadorias desempenha um papel fundamental neste departamento, na medida em que, quando desenvolvida de uma forma eficiente, pode traduzir-se numa atividade de extremo valor. A dinâmica diária desta atividade exige que os operadores de tráfego respondam de uma forma rápida e flexível aos problemas, apresentando soluções eficazes às solicitações do mercado. Para isso, é importante encontrar mecanismos capazes de os auxiliar na tomada decisões operacionais.

Sequencing cutting patterns with colored interval graphs

The problem addressed here originates in the industry of flat glass cutting and wood panel sawing, where smaller items are cut from larger items accordingly to predefined cutting patterns. In this type of industry the smaller pieces that are cut from the patterns are piled around the machine in stacks according to the size of the pieces, which are moved to the warehouse only when all items of the same size have been cut. If the cutting machine can process only one pattern at a time, and the workspace is limited, it is desirable to set the sequence in which the cutting patterns are processed in a way to minimize the maximum number of open stacks around the machine. This problem is known in literature as the minimization of open stacks (MOSP). To find the best sequence of the cutting patterns, we propose an integer programming model, based on interval graphs, that searches for an appropriate edge completion of the given graph of the problem, while defining a suitable coloring of its vertices.

A mathematical model for supermarket order picking

Order picking consists in retrieving products from storage locations to satisfy independent orders from multiple customers. It is generally recognized as one of the most significant activities in a warehouse (Koster et al, 2007). In fact, order picking accounts up to 50% (Frazelle, 2001) or even 80% (Van den Berg, 1999) of the total warehouse operating costs. The critical issue in today’s business environment is to simultaneously reduce the cost and increase the speed of order picking. In this paper, we address the order picking process in one of the Portuguese largest companies in the grocery business. This problem was proposed at the 92nd European Study Group with Industry (ESGI92). In this setting, each operator steers a trolley on the shop floor in order to select items for multiple customers. The objective is to improve their grocery e-commerce and bring it up to the level of the best international practices. In particular, the company wants to improve the routing tasks in order to decrease distances. For this purpose, a mathematical model for a faster open shop picking was developed. In this paper, we describe the problem, our proposed solution as well as some preliminary results and conclusions.

An Exercise Program Improves Health-Related Quality of Life of Workers

Low back problems are associated with decreased quality of life. Specific exercises can improve quality of life, resulting in better professional performance and functionality. The purpose of this study was to evaluate the effect of following a 21-month exercise program on the quality of life of warehouse workers. The population included 557 male warehouse workers from a food distribution company in Oporto, Portugal. Upon application of the selection criteria, 249 workers were deemed eligible, which were randomized into two groups (125 in the intervention group and 124 in the control group). Then, subjects were asked to volunteer for the study, the sample being formed by 229 workers (112 in the intervention group and 117 in the control group). All subjects completed the SF-36 questionnaire prior to beginning the program and on the 11th and 21st months following it. The exercises were executed in the company facilities once a day for 8 min. Data were analyzed using SPSS® 17.0 for Windows®. After 11 months of following the exercise program, there was an increase in all scores for the experimental group, with statistically significant differences in the dimensions physical functioning (0.019), bodily pain (0.010), general health (0.004), and rolephysical (0.037). The results obtained at the end of the study (21 months) showed significant improvements in the dimensions physical functioning (p = 0.002), rolephysical (p = 0.007), bodily pain (p = 0.001), social functioning (p = 0.015), role-emotional (p = 0.011), and mental health (p = 0.001). In the control group all dimensions showed a decrease in mean scores. It can be concluded that the implementation of a low back specific exercise program has changed positively the quality of life of warehouse workers.

Plataforma de Dados de Saúde - Portal Institucional

O presente documento de dissertação retrata o desenvolvimento do projeto PDS-Portal Institucional cujo cerne é um sistema para recolha, armazenamento e análise de dados (plataforma de Business Intelligence). Este portal está enquadrado na área da saúde e é uma peça fundamental no sistema da Plataforma de dados da Saúde, que é constituído por quatro portais distintos. Esta plataforma tem como base um sistema totalmente centrado no utente, que agrega dados de saúde dos utentes e distribui pelos diversos intervenientes: utente, profissionais de saúde nacionais e internacionais e organizações de saúde. O objetivo principal deste projeto é o desenvolvimento do PDS-Portal Institucional, recorrendo a uma plataforma de Business Intelligence, com o intuito de potenciar os utilizadores de uma ferramenta analítica para análise de dados. Estando a informação armazenada em dois dos portais da Plataforma de dados da Saúde (PDS-Portal Utente e PDS-Portal Profissional), é necessário modular um armazém de dados que agregue a informação de ambos e, através do PDS-PI, distribua um conjunto de análises ao utilizador final. Para tal este sistema comtempla um mecanismo totalmente automatizado para extração, tratamento e carregamento de dados para o armazém central, assim como uma plataforma de BI que disponibiliza os dados armazenados sobre a forma de análises específicas. Esta plataforma permite uma evolução constante e é extremamente flexível, pois fornece um mecanismo de gestão de utilizadores e perfis, assim como capacita o utilizador de um ambiente Web para análise de dados, permitindo a partilha e acesso a partir de dispositivos móveis. Após a implementação deste sistema foi possível explorar os dados e tirar diversas conclusões que são de extrema importância tanto para a evolução da PDS como para os métodos de praticar os cuidados de saúde em Portugal. Por fim são identificados alguns pontos de melhoria do sistema atual e delineada uma perspetiva de evolução futura. É certo que a partir do momento que este projeto seja lançado para produção, novas oportunidades surgirão e o contributo dos utilizadores será útil para evoluir o sistema progressivamente.

Dados, informação, conhecimento, o business intelligence e as suas motivações

Dissertação para obtenção do Grau de Mestre em Engenharia Informática

Estágio na empresa Ângelo Coimbra & C.A.,Lda.

Relatório de estágio apresentado no Instituto Superior de Contabilidade e Administração do Porto para obtenção do Grau de Mestre em Gestão das Organizações, Ramo de Gestão de Empresas Orientado por Prof. Doutor Eduardo Manuel Lopes de Sá e Silva Co-Orientado pelo Mestre Adalmiro Álvaro Malheiro de Castro Andrade Pereira

Dados de reconhecimento facial em Business Intelligence

Vivemos cada vez mais numa era de crescentes avanços tecnológicos em diversas áreas. O que há uns anos atrás era considerado como praticamente impossível, em muitos dos casos, já se tornou realidade. Todos usamos tecnologias como, por exemplo, a Internet, Smartphones e GPSs de uma forma natural. Esta proliferação da tecnologia permitiu tanto ao cidadão comum como a organizações a sua utilização de uma forma cada vez mais criativa e simples de utilizar. Além disso, a cada dia que passa surgem novos negócios e startups, o que demonstra o dinamismo que este crescimento veio trazer para a indústria. A presente dissertação incide sobre duas áreas em forte crescimento: Reconhecimento Facial e Business Intelligence (BI), assim como a respetiva combinação das duas com o objetivo de ser criado um novo módulo para um produto já existente. Tratando-se de duas áreas distintas, é primeiramente feito um estudo sobre cada uma delas. A área de Business Intelligence é vocacionada para organizações e trata da recolha de informação sobre o negócio de determinada empresa, seguindo-se de uma posterior análise. A grande finalidade da área de Business Intelligence é servir como forma de apoio ao processo de tomada de decisão por parte dos analistas e gestores destas organizações. O Reconhecimento Facial, por sua vez, encontra-se mais presente na sociedade. Tendo surgido no passado através da ficção científica, cada vez mais empresas implementam esta tecnologia que tem evoluído ao longo dos anos, chegando mesmo a ser usada pelo consumidor final, como por exemplo em Smartphones. As suas aplicações são, portanto, bastante diversas, desde soluções de segurança até simples entretenimento. Para estas duas áreas será assim feito um estudo com base numa pesquisa de publicações de autores da respetiva área. Desde os cenários de utilização, até aspetos mais específicos de cada uma destas áreas, será assim transmitido este conhecimento para o leitor, o que permitirá uma maior compreensão por parte deste nos aspetos relativos ao desenvolvimento da solução. Com o estudo destas duas áreas efetuado, é então feita uma contextualização do problema em relação à área de atuação da empresa e quais as abordagens possíveis. É também descrito todo o processo de análise e conceção, assim como o próprio desenvolvimento numa vertente mais técnica da solução implementada. Por fim, são apresentados alguns exemplos de resultados obtidos já após a implementação da solução.

Characterization of the portuguese SSS into the Europe: a contribution

Nowadays, Short Sea Shipping (SSS) is an essential part in European multi-modal transport system, representing approximately thirty-seven per cent of intra-Community transactions in tonnes per kilometre (tkm). Since 2001, the European Shortsea Network (ESN) in partnership with the short-sea Promotion Centres (SPC) of each Member State of the European Union (EU) have managed to make significant progress in the promotion and development of this mode of transport. This paper aims to assess and analyse the SSS of containerised goods in Portugal and its articulation with other EU routes and also other transport modes. The current SSS infrastructure, how the sector is organized, as well as the future perspectives for the sector are also analysed for the case of Portugal. The analyses are based on a survey that was carried out on the logistics operators, navigation agents, freight forwarders, and the leading imports and exports manufacturers in Portugal.

Coordinated Maneuver for Gradient Search Using Multiple AUV's

OCEANS 2003. Proceedings (Volume:1 )