Elastic Computing - a novel paradigm for distributed systems

This talk, which is based on our newest findings and experiences from research and industrial projects, addresses one of the most relevant challenges for a decade to come: How to integrate the Internet of Things with software, people, and processes, considering modern Cloud Computing and Elasticity principles. Elasticity is seen as one of the main characteristics of Cloud Computing today. Is elasticity simply scalability on steroids? This talk addresses the main principles of elasticity, presents a fresh look at this problem, and examines how to integrate people, software services, and things into one composite system, which can be modeled, programmed, and deployed on a large scale in an elastic way. This novel paradigm has major consequences on how we view, build, design, and deploy ultra-large scale distributed systems.

A Novel Framework for Virtual Organization Creation on Cloud

Part 12: Collaboration Platforms

Improving surgery operations by means of cloud systems and distributed user interfaces

Surgical interventions are usually performed in an operation room; however, access to the information by the medical team members during the intervention is limited. While in conversations with the medical staff, we observed that they attach significant importance to the improvement of the information and communication direct access by queries during the process in real time. It is due to the fact that the procedure is rather slow and there is lack of interaction with the systems in the operation room. These systems can be integrated on the Cloud adding new functionalities to the existing systems the medical expedients are processed. Therefore, such a communication system needs to be built upon the information and interaction access specifically designed and developed to aid the medical specialists. Copyright 2014 ACM.

An architecture for network acceleration as a service in the cloud continuum

The pervasive availability of connected devices in any industrial and societal sector is pushing for an evolution of the well-established cloud computing model. The emerging paradigm of the cloud continuum embraces this decentralization trend and envisions virtualized computing resources physically located between traditional datacenters and data sources. By totally or partially executing closer to the network edge, applications can have quicker reactions to events, thus enabling advanced forms of automation and intelligence. However, these applications also induce new data-intensive workloads with low-latency constraints that require the adoption of specialized resources, such as high-performance communication options (e.g., RDMA, DPDK, XDP, etc.). Unfortunately, cloud providers still struggle to integrate these options into their infrastructures. That risks undermining the principle of generality that underlies the cloud computing scale economy by forcing developers to tailor their code to low-level APIs, non-standard programming models, and static execution environments. This thesis proposes a novel system architecture to empower cloud platforms across the whole cloud continuum with Network Acceleration as a Service (NAaaS). To provide commodity yet efficient access to acceleration, this architecture defines a layer of agnostic high-performance I/O APIs, exposed to applications and clearly separated from the heterogeneous protocols, interfaces, and hardware devices that implement it. A novel system component embodies this decoupling by offering a set of agnostic OS features to applications: memory management for zero-copy transfers, asynchronous I/O processing, and efficient packet scheduling. This thesis also explores the design space of the possible implementations of this architecture by proposing two reference middleware systems and by adopting them to support interactive use cases in the cloud continuum: a serverless platform and an Industry 4.0 scenario. A detailed discussion and a thorough performance evaluation demonstrate that the proposed architecture is suitable to enable the easy-to-use, flexible integration of modern network acceleration into next-generation cloud platforms.

Machine learning "as a service" for high energy physics (MLaaS4HEP): evolution of a framework for ML-based physics analyses

The scientific success of the LHC experiments at CERN highly depends on the availability of computing resources which efficiently store, process, and analyse the amount of data collected every year. This is ensured by the Worldwide LHC Computing Grid infrastructure that connect computing centres distributed all over the world with high performance network. LHC has an ambitious experimental program for the coming years, which includes large investments and improvements both for the hardware of the detectors and for the software and computing systems, in order to deal with the huge increase in the event rate expected from the High Luminosity LHC (HL-LHC) phase and consequently with the huge amount of data that will be produced. Since few years the role of Artificial Intelligence has become relevant in the High Energy Physics (HEP) world. Machine Learning (ML) and Deep Learning algorithms have been successfully used in many areas of HEP, like online and offline reconstruction programs, detector simulation, object reconstruction, identification, Monte Carlo generation, and surely they will be crucial in the HL-LHC phase. This thesis aims at contributing to a CMS R&D project, regarding a ML "as a Service" solution for HEP needs (MLaaS4HEP). It consists in a data-service able to perform an entire ML pipeline (in terms of reading data, processing data, training ML models, serving predictions) in a completely model-agnostic fashion, directly using ROOT files of arbitrary size from local or distributed data sources. This framework has been updated adding new features in the data preprocessing phase, allowing more flexibility to the user. Since the MLaaS4HEP framework is experiment agnostic, the ATLAS Higgs Boson ML challenge has been chosen as physics use case, with the aim to test MLaaS4HEP and the contribution done with this work.

Ottimizzazione di un Data Warehouse con Google Cloud Platform

I dati sono una risorsa di valore inestimabile per tutte le organizzazioni. Queste informazioni vanno da una parte gestite tramite i classici sistemi operazionali, dall’altra parte analizzate per ottenere approfondimenti che possano guidare le scelte di business. Uno degli strumenti fondamentali a supporto delle scelte di business è il data warehouse. Questo elaborato è il frutto di un percorso di tirocinio svolto con l'azienda Injenia S.r.l. Il focus del percorso era rivolto all'ottimizzazione di un data warehouse che l'azienda vende come modulo aggiuntivo di un software di nome Interacta. Questo data warehouse, Interacta Analytics, ha espresso nel tempo notevoli criticità architetturali e di performance. L’architettura attualmente usata per la creazione e la gestione dei dati all'interno di Interacta Analytics utilizza un approccio batch, pertanto, l’obiettivo cardine dello studio è quello di trovare soluzioni alternative batch che garantiscano un risparmio sia in termini economici che di tempo, esplorando anche la possibilità di una transizione ad un’architettura streaming. Gli strumenti da utilizzare in questa ricerca dovevano inoltre mantenersi in linea con le tecnologie utilizzate per Interacta, ossia i servizi della Google Cloud Platform. Dopo una breve dissertazione sul background teorico di questa area tematica, l'elaborato si concentra sul funzionamento del software principale e sulla struttura logica del modulo di analisi. Infine, si espone il lavoro sperimentale, innanzitutto proponendo un'analisi delle criticità principali del sistema as-is, dopodiché ipotizzando e valutando quattro ipotesi migliorative batch e due streaming. Queste, come viene espresso nelle conclusioni della ricerca, migliorano di molto le performance del sistema di analisi in termini di tempistiche di elaborazione, di costo totale e di semplicità dell'architettura, in particolare grazie all'utilizzo dei servizi serverless con container e FaaS della piattaforma cloud di Google.

Broker colaborativo: gestão de recursos energéticos distribuídos

Neste trabalho é apresentado um Sistema de Informação (SI) cujo objetivo é contribuir para a colaboração entre VE possibilitando a sua entrada no mercado de energia elétrica, permiitindo deste modo que o proprietário do VE seja compensado. Esta compensação incidiria em medidas de minimização do investimento inicial na compra do VE e na criação de um modelo de armazenamento de energia mais sustentável. A este SI chamou-se de Broker Colaborativo ou simplesmente Broker e deverá permitir ao proprietário do VE criar um perfil com a sua informação pessoal, com informação do VE que possui e com informação relativa à colaboração que pretende efetuar, ou seja, locais e percentagem da bateria que pretende usar na colaboração. Para assegurar a entrada no mercado de energia torna-se necessário agrupar e filtrar um número significativo de VE, sendo essa responsabilidade atribuída ao Broker. Sendo a otimização do consumo de energia um fator importante neste trabalho, a implementação do Broker foi efetuada sobre o paradigma de Cloud Computing (será utilizada a designação abreviada de Cloud) onde os recursos energéticos são partilhados. A Clod possuiu uma grande capacidade de escalonamento onde se poderão criar os recursos à medida da necessidade. A utilização da Cloud permite que as especificações iniciais das máquinas virtuais, necessárias para alojar a base de dados ou os ficheiros do Broker, possam ser configuradas conforme o número de utilizadores do sistema. Assim, não se desperdiçam recursos que não seriam utilizados. Devido a estes aspetos dinâmicos, que estão intrínsecos ao fator humano, o Broker foi implementado utilizando um módulo de integração com a rede social Facebook esperando-se desta forma, que a colaboração entre diferentes VE seja difundida através dos amigos e conhecidos de cada utilizador da colaboração. Sendo assim, este trabalho pretende criar um sistema de informação onde os proprietários de VE possam juntar-se e criar uma colaboração possibilitando a sua entrada no mercado da energia elétrica. Essa colaboração será alargada recorrendo a uma rede social e compensada através de créditos. É abordado o tema das plataformas de Cloud como uma plataforma sustentável e vantajosa para o desenvolvimento de sistemas com grande potencial de crescimento.

Estudo e planeamento de uma infraestrutura computacional

As tecnologias de informação representam um pilar fundamental nas organizações como sustento do negócio através de infraestruturas dedicadas sendo que com o evoluir do crescimento no centro de dados surgem desafios relativamente a escalabilidade, tolerância à falha, desempenho, alocação de recursos, segurança nos acessos, reposição de grandes quantidades de informação e eficiência energética. Com a adoção de tecnologias baseadas em cloud computing aplica-se um modelo de recursos partilhados de modo a consolidar a infraestrutura e endereçar os desafios anteriormente descritos. As tecnologias de virtualização têm como objetivo reduzir a infraestrutura levantando novas considerações ao nível das redes locais e de dados, segurança, backup e reposição da informação devido á dinâmica de um ambiente virtualizado. Em centros de dados esta abordagem pode representar um nível de consolidação elevado, permitindo reduzir servidores físicos, portas de rede, cablagem, armazenamento, espaço, energia e custo, assegurando os níveis de desempenho. Este trabalho permite definir uma estratégia de consolidação do centro de dados em estudo que permita a tolerância a falhas, provisionamento de novos serviços com tempo reduzido, escalabilidade para mais serviços, segurança nas redes Delimitarized Zone (DMZ), e backup e reposição de dados com impacto reduzido nos recursos, permitindo altos débitos e rácios de consolidação do armazenamento. A arquitetura proposta visa implementar a estratégia com tecnologias otimizadas para o cloud computing. Foi realizado um estudo tendo como base a análise de um centro de dados através da aplicação VMWare Capacity Planner que permitiu a análise do ambiente por um período de 8 meses com registo de métricas de acessos, utilizadas para dimensionar a arquitetura proposta. Na implementação da abordagem em cloud valida-se a redução de 85% de infraestrutura de servidores, a latência de comunicação, taxas de transferência de dados, latências de serviços, impacto de protocolos na transferência de dados, overhead da virtualização, migração de serviços na infraestrutura física, tempos de backup e restauro de informação e a segurança na DMZ.

A bilhética dos transportes de passageiros na nuvem computacional

Relatório de Projeto realizado para obtenção do grau de Mestre em Engenharia Informática e de Computadores

Computação em nuvem: avaliação do retorno do investimento: o caso do Ensino Superior Português

Em Portugal, as instituições de ensino superior dispõem de plataformas de e-learning que reflectem uma mais-valia para o processo de ensino-aprendizagem. No entanto, estas plataformas caracterizam-se por serem de âmbito privado expondo, desta forma, a tímida abertura das instituições na partilha do seu conhecimento, como também dos seus recursos. O paradigma Cloud Computing surge como uma solução, por exemplo, para a criação de uma federação de nuvens capaz de contemplar soluções heterogéneas, garantindo a interoperabilidade entre as plataformas das várias instituições de ensino, e promovendo os objectivos propostos pelo Processo de Bolonha, nomeadamente no que se refere à partilha de informação, de plataformas e serviços e promoção de projectos comuns. Neste âmbito, é necessário desenvolver ferramentas que permitam aos decisores ponderar as mais-valias deste novo paradigma. Assim, é conveniente quantificar o retorno esperado para o investimento, em recursos humanos e tecnológicos, exigido pelo modelo Cloud Computing. Este trabalho contribui para o estudo da avaliação do retorno do investimento (ROI) em infra-estruturas e serviços TIC (Tecnologias de Informação e Comunicação), resultante da análise de diferentes cenários relativos à introdução do paradigma Cloud Computing. Para tal, foi proposta uma metodologia de análise baseada num questionário, distribuído por diversas instituições de ensino superior portuguesas, contendo um conjunto de questões que permitiram identificar indicadores, e respectivas métricas, a usar na elaboração de modelos de estimação do ROI.

Partial utility-driven scheduling for flexible SLA and pricing arbitration in clouds

Cloud SLAs compensate customers with credits when average availability drops below certain levels. This is too inflexible because consumers lose non-measurable amounts of performance being only compensated later, in next charging cycles. We propose to schedule virtual machines (VMs), driven by range-based non-linear reductions of utility, different for classes of users and across different ranges of resource allocations: partial utility. This customer-defined metric, allows providers transferring resources between VMs in meaningful and economically efficient ways. We define a comprehensive cost model incorporating partial utility given by clients to a certain level of degradation, when VMs are allocated in overcommitted environments (Public, Private, Community Clouds). CloudSim was extended to support our scheduling model. Several simulation scenarios with synthetic and real workloads are presented, using datacenters with different dimensions regarding the number of servers and computational capacity. We show the partial utility-driven driven scheduling allows more VMs to be allocated. It brings benefits to providers, regarding revenue and resource utilization, allowing for more revenue per resource allocated and scaling well with the size of datacenters when comparing with an utility-oblivious redistribution of resources. Regarding clients, their workloads’ execution time is also improved, by incorporating an SLA-based redistribution of their VM’s computational power.

Plataforma de gestão e controlo de identidade digital e implementação novos modelos de governação e utilização das TIC

As estruturas orgânicas empresariais estão cada vez mais obrigadas a garantir elevados padrões de qualidade de serviços, possibilitando ao mesmo tempo a sustentabilidade das estruturas e ainda, o alinhamento dos investimentos efetuados com as estratégias de negócio. O seu desenvolvimento obriga a que na área das tecnologias de informação e comunicação exista a necessidade de repensar estratégias em vigor, procurando novos modelos, mais ágeis e mais capazes de se enquadrar nestas novas exigências. Neste âmbito, é de esperar que as plataformas de identidade digital tenham um papel determinante no desenvolvimento destes novos modelos, pois são um instrumento único para se implementarem plataformas heterogéneas, intemperáveis, com elevados níveis de segurança e de garantia de controlo no acesso à informação. O trabalho agora apresentado tem como objectivo investigar e desenvolver uma plataforma de identidade digital e uma plataforma de testes, que permitam ao Politécnico do Porto a aquisição de um infraestrutura de Tecnologias de Informação e Comunicação que se torne um instrumento fundamental para o desenvolvimento contínuo, de garantia de qualidade e de sustentabilidade de todos os serviços prestados à sua comunidade.

Support System for Rational Use of Electric Energy

This paper presents the system developed to promote the rational use of electric energy among consumers and, thus, increase the energy efficiency. The goal is to provide energy consumers with an application that displays the energy consumption/production profiles, sets up consuming ceilings, defines automatic alerts and alarms, compares anonymously consumers with identical energy usage profiles by region and predicts, in the case of non-residential installations, the expected consumption/production values. The resulting distributed system is organized in two main blocks: front-end and back-end. The front-end includes user interface applications for Android mobile devices and Web browsers. The back-end provides data storage and processing functionalities and is installed in a cloud computing platform - the Google App Engine - which provides a standard Web service interface. This option ensures interoperability, scalability and robustness to the system.

MixCloud middleware para replicação e integração de repositórios chave/valor

Dissertação para obtenção do Grau de Mestre em Engenharia Informática