Delay-Sensitive Service Request Scheduling for Cloud Computing

Cloud computing realizes the long-held dream of converting computing capability into a type of utility. It has the potential to fundamentally change the landscape of the IT industry and our way of life. However, as cloud computing expanding substantially in both scale and scope, ensuring its sustainable growth is a critical problem. Service providers have long been suffering from high operational costs. Especially the costs associated with the skyrocketing power consumption of large data centers. In the meantime, while efficient power/energy utilization is indispensable for the sustainable growth of cloud computing, service providers must also satisfy a user's quality of service (QoS) requirements. This problem becomes even more challenging considering the increasingly stringent power/energy and QoS constraints, as well as other factors such as the highly dynamic, heterogeneous, and distributed nature of the computing infrastructures, etc. In this dissertation, we study the problem of delay-sensitive cloud service scheduling for the sustainable development of cloud computing. We first focus our research on the development of scheduling methods for delay-sensitive cloud services on a single server with the goal of maximizing a service provider's profit. We then extend our study to scheduling cloud services in distributed environments. In particular, we develop a queue-based model and derive efficient request dispatching and processing decisions in a multi-electricity-market environment to improve the profits for service providers. We next study a problem of multi-tier service scheduling. By carefully assigning sub deadlines to the service tiers, our approach can significantly improve resource usage efficiencies with statistically guaranteed QoS. Finally, we study the power conscious resource provision problem for service requests with different QoS requirements. By properly sharing computing resources among different requests, our method statistically guarantees all QoS requirements with a minimized number of powered-on servers and thus the power consumptions. The significance of our research is that it is one part of the integrated effort from both industry and academia to ensure the sustainable growth of cloud computing as it continues to evolve and change our society profoundly.

A Framework for Security Transparency in Cloud Computing

Individuals and corporate users are persistently considering cloud adoption due to its significant benefits compared to traditional computing environments. The data and applications in the cloud are stored in an environment that is separated, managed and maintained externally to the organisation. Therefore, it is essential for cloud providers to demonstrate and implement adequate security practices to protect the data and processes put under their stewardship. Security transparency in the cloud is likely to become the core theme that underpins the systematic disclosure of security designs and practices that enhance customer confidence in using cloud service and deployment models. In this paper, we present a framework that enables a detailed analysis of security transparency for cloud based systems. In particular, we consider security transparency from three different levels of abstraction, i.e., conceptual, organisation and technical levels, and identify the relevant concepts within these levels. This allows us to provide an elaboration of the essential concepts at the core of transparency and analyse the means for implementing them from a technical perspective. Finally, an example from a real world migration context is given to provide a solid discussion on the applicability of the proposed framework.

BUILDING EFFICIENT AND COST-EFFECTIVE CLOUD-BASED BIG DATA MANAGEMENT SYSTEMS

In today’s big data world, data is being produced in massive volumes, at great velocity and from a variety of different sources such as mobile devices, sensors, a plethora of small devices hooked to the internet (Internet of Things), social networks, communication networks and many others. Interactive querying and large-scale analytics are being increasingly used to derive value out of this big data. A large portion of this data is being stored and processed in the Cloud due the several advantages provided by the Cloud such as scalability, elasticity, availability, low cost of ownership and the overall economies of scale. There is thus, a growing need for large-scale cloud-based data management systems that can support real-time ingest, storage and processing of large volumes of heterogeneous data. However, in the pay-as-you-go Cloud environment, the cost of analytics can grow linearly with the time and resources required. Reducing the cost of data analytics in the Cloud thus remains a primary challenge. In my dissertation research, I have focused on building efficient and cost-effective cloud-based data management systems for different application domains that are predominant in cloud computing environments. In the first part of my dissertation, I address the problem of reducing the cost of transactional workloads on relational databases to support database-as-a-service in the Cloud. The primary challenges in supporting such workloads include choosing how to partition the data across a large number of machines, minimizing the number of distributed transactions, providing high data availability, and tolerating failures gracefully. I have designed, built and evaluated SWORD, an end-to-end scalable online transaction processing system, that utilizes workload-aware data placement and replication to minimize the number of distributed transactions that incorporates a suite of novel techniques to significantly reduce the overheads incurred both during the initial placement of data, and during query execution at runtime. In the second part of my dissertation, I focus on sampling-based progressive analytics as a means to reduce the cost of data analytics in the relational domain. Sampling has been traditionally used by data scientists to get progressive answers to complex analytical tasks over large volumes of data. Typically, this involves manually extracting samples of increasing data size (progressive samples) for exploratory querying. This provides the data scientists with user control, repeatable semantics, and result provenance. However, such solutions result in tedious workflows that preclude the reuse of work across samples. On the other hand, existing approximate query processing systems report early results, but do not offer the above benefits for complex ad-hoc queries. I propose a new progressive data-parallel computation framework, NOW!, that provides support for progressive analytics over big data. In particular, NOW! enables progressive relational (SQL) query support in the Cloud using unique progress semantics that allow efficient and deterministic query processing over samples providing meaningful early results and provenance to data scientists. NOW! enables the provision of early results using significantly fewer resources thereby enabling a substantial reduction in the cost incurred during such analytics. Finally, I propose NSCALE, a system for efficient and cost-effective complex analytics on large-scale graph-structured data in the Cloud. The system is based on the key observation that a wide range of complex analysis tasks over graph data require processing and reasoning about a large number of multi-hop neighborhoods or subgraphs in the graph; examples include ego network analysis, motif counting in biological networks, finding social circles in social networks, personalized recommendations, link prediction, etc. These tasks are not well served by existing vertex-centric graph processing frameworks whose computation and execution models limit the user program to directly access the state of a single vertex, resulting in high execution overheads. Further, the lack of support for extracting the relevant portions of the graph that are of interest to an analysis task and loading it onto distributed memory leads to poor scalability. NSCALE allows users to write programs at the level of neighborhoods or subgraphs rather than at the level of vertices, and to declaratively specify the subgraphs of interest. It enables the efficient distributed execution of these neighborhood-centric complex analysis tasks over largescale graphs, while minimizing resource consumption and communication cost, thereby substantially reducing the overall cost of graph data analytics in the Cloud. The results of our extensive experimental evaluation of these prototypes with several real-world data sets and applications validate the effectiveness of our techniques which provide orders-of-magnitude reductions in the overheads of distributed data querying and analysis in the Cloud.

FlorNExT®, a cloud computing application to estimate growth and yield of maritime pine (Pinus pinaster Ait.) stands in Northeastern Portugal

Aim of the study: To introduce and describe FlorNExT®, a free cloud computing application to estimate growth and yield of maritime pine (Pinus pinaster Ait.) even-aged stands in the Northeast of Portugal (NE Portugal). Area of study: NE Portugal. Material and methods: FlorNExT® implements a dynamic growth and yield modelling framework which integrates transition functions for dominant height (site index curves) and basal area, as well as output functions for tree and stand volume, biomass, and carbon content. Main results: FlorNExT® is freely available from any device with an Internet connection at: http://flornext.esa.ipb.pt/. Research highlights: This application has been designed to make it possible for any stakeholder to easily estimate standing volume, biomass, and carbon content in maritime pine stands from stand data, as well as to estimate growth and yield based on four stand variables: age, density, dominant height, and basal area. FlorNExT® allows planning thinning treatments. FlorNExT® is a fundamental tool to support forest mobilization at local and regional scales in NE Portugal. Material and methods: FlorNExT® implements a dynamic growth and yield modelling framework which integrates transition functions for dominant height (site index curves) and basal area, as well as output functions for tree and stand volume, biomass, and carbon content. Main results: FlorNExT® is freely available from any device with an Internet connection at: http://flornext.esa.ipb.pt/. Research highlights: This application has been designed to make it possible for any stakeholder to easily estimate standing volume, biomass, and carbon content in maritime pine stands from stand data, as well as to estimate growth and yield based on four stand variables: age, density, dominant height, and basal area. FlorNExT® allows planning thinning treatments. FlorNExT® is a fundamental tool to support forest mobilization at local and regional scales in NE Portugal.

Message-oriented Middleware per Routing Acceleration basato su eBPF/XDP in Contesto Serverless

Negli ultimi anni la necessità di processare e mantenere dati di qualsiasi natura è aumentata considerevolmente, in aggiunta a questo, l’obsolescenza del modello centralizzato ha contribuito alla sempre più frequente adozione del modello distribuito. Inevitabile dunque l’aumento di traffico che attraversa i nodi appartenenti alle infrastrutture, un traffico sempre più in aumento e che con l’avvento dell’IoT, dei Big Data, del Cloud Computing, del Serverless Computing etc., ha raggiunto picchi elevatissimi. Basti pensare che se prima i dati erano contenuti in loco, oggi non è assurdo pensare che l’archiviazione dei propri dati sia completamente affidata a terzi. Così come cresce, quindi, il traffico che attraversa i nodi facenti parte di un’infrastruttura, cresce la necessità che questo traffico sia filtrato e gestito dai nodi stessi. L’obbiettivo di questa tesi è quello di estendere un Message-oriented Middleware, in grado di garantire diverse qualità di servizio per la consegna di messaggi, in modo da accelerarne la fase di routing verso i nodi destinazione. L’estensione consiste nell’aggiungere al Message-oriented Middleware, precedentemente implementato, la funzione di intercettare i pacchetti in arrivo (che nel caso del middleware in questione possono rappresentare la propagazione di eventi) e redirigerli verso un nuovo nodo in base ad alcuni parametri. Il Message-oriented Middleware oggetto di tesi sarà considerato il message broker di un modello pub/sub, pertanto la redirezione deve avvenire con tempi molto bassi di latenza e, a tal proposito, deve avvenire senza l’uscita dal kernel space del sistema operativo. Per questo motivo si è deciso di utilizzare eBPF, in particolare il modulo XDP, che permette di scrivere programmi che eseguono all’interno del kernel.

Data grid for the management, reconstruction, analysis and visualisation of archaeological data

In 2007 Associate Professor Jay Hall retires from the University of Queensland after more than 30 years of service to the Australian archaeological community. Celebrated as a gifted teacher and a pioneer of Queensland archaeology, Jay leaves a rich legacy of scholarship and achievement across a wide range of archaeological endeavours. An Archæological Life brings together past and present students, colleagues and friends to celebrate Jay’s contributions, influences and interests.

Estudo de adoção de tecnologias de cloud computing no contexto das PMES portuguesas

A sociedade atual é marcada por uma crescente competição entre as organizações, as quais para garantirem a sua sobrevivência têm que evoluir e utilizar a tecnologia de informação mais adequada. Num período em que as PMES portuguesas necessitam de reduzir custos e concentrarem-se mais no seu processo de negócio surge um novo paradigma tecnológico, a Computação na Nuvem, esta ainda é um paradigma bastante recente, onde os recursos de TI que apresentam características de elasticidade e dinâmicas são oferecidos ao cliente como um serviço, no qual este paga apenas o que consome (pagamento por utilização). A Cloud Computing com o seu novo paradigma permite às organizações, principalmente às PMES reduzirem custos, concentrarem-se no seu processo de negócio sem se preocuparem com a parte informática (cópias de segurança, assistência e perda de dados) e obter um retorno mais rápido do seu investimento. Este trabalho consiste no Estudo da Adoção Individual da Cloud Computing no contexto das PMEs Portuguesas, o qual apresenta como principais objetivos obter uma melhor compreensão do conceito Cloud Computing, entender a sua importância para os indivíduos das PMES, identificar os seus fatores de sucesso e insucesso e identificar as limitações sentidas de uma forma generalizada e de uma forma específica para as PMES Portuguesas. Para cumprir os objetivos mencionados anteriormente, efetuou-se uma extensa revisão de literatura, propôs-se um modelo conceptual de investigação com adaptações à Teoria Unificada de Aceitação e Uso de Tecnologia (UTAUT) e utilizou-se como instrumento de recolha de dados um questionário que foi enviado às PMES Portuguesas.

Cloud computing sobre a plataforma Windows Azure

A utilização massiva da internet e dos serviços que oferece por parte do utilizador final potencia a evolução dos mesmos, motivando as empresas a apostarem no desenvolvimento deste tipo de soluções. Requisitos como o poder de computação, flexibilidade e escalabilidade tornam-se cada vez mais indissociáveis do desenvolvimento aplicacional, o que leva ao surgimento de paradigmas como o de Cloud Computing. É neste âmbito que surge o presente trabalho. Com o objetivo de estudar o paradigma de Cloud Computing inicia-se um estudo sobre esta temática, onde é detalhado o seu conceito, a sua evolução histórica e comparados os diferentes tipos de implementações que suporta. O estudo detalha posteriormente a plataforma Azure, sendo analisada a sua topologia e arquitetura, detalhando-se os seus componentes e a forma como esta mitiga alguns dos problemas mencionados. Com o conhecimento teórico é desenvolvido um protótipo prático sobre esta plataforma, em que se exploram algumas das particularidades da topologia e se interage com as principais redes sociais. O estudo culmina com uma análise sobre os benefícios e desvantagens do Azure e através de um levantamento das necessidades da empresa, determinam-se as oportunidades que a utilização da plataforma poderá proporcionar.

Meios de partilha de recursos educativos digitais: LMS, CMS e Cloud Computing

Para muitos, o ato de ensinar, era e continua a ser uma “arte”, em que os professores e os grandes mestres mais eficientes são aqueles que têm a capacidade e a arte de fazer passar as suas mensagens e conhecimentos, de forma simples e apelativa, independentemente da área de estudo. A informação relacionada com a aula, é cada vez mais digital, sendo importante, por parte dos docentes, o domínio de tecnologias de criação, organização e disponibilização de conteúdos. Essa partilha foi inicialmente possível pelas páginas Web e mais tarde pelas plataformas LMS (Learning Management System). Criar um Website era uma tarefa complicada quer ao nível do seu custo quer ao nível do domínio da tecnologia Web e era por vezes necessário contratar profissionais para o efeito. Surgiram então as CMS (Content Management System) que são tecnologias Open Source, que permitem a gestão de conteúdos. Neste sentido foi realizado um estudo com o objetivo de aferir sobre as competências dos professores no domínio da partilha de Gestão de Conteúdos Digitais. O presente estudo permitiu retirar conclusões sobre o potencial e aplicabilidade das CMS no ensino. O principal objetivo do presente estudo incidiu no potencial de distribuição e partilha de Recursos Educativos Digitais organizados sobre o ponto de vista pedagógico aos alunos. Foi ainda analisado e estudado o papel do Cloud Computing no processo de partilha colaborativa de documentos. Foi delineado como suporte à presente investigação um curso modelo que por sua vez foi implementado nas três principais CMS da atualidade e avaliado o potencial de cada uma neste contexto. Finalmente foram apresentadas as conclusões retiradas do presente estudo.

The adoption of cloud computing by SMEs: identifying and coping with external factors.

Comunicação apresentada na CAPSI 2011 - 11ª Conferência da Associação Portuguesa de Sistemas de Informação – A Gestão de Informação na era da Cloud Computing, Lisboa, ISEG/IUL-ISCTE/, 19 a 21 de Outubro de 2011.

Processo de desenvolvimento e difusão de cloud computing: estudo sobre as redes de colaboração no Brasil

Com base no relatório de Projecto III para o Programa Doutoral em Avaliação de Tecnologia (2011-2012)

Mainroad: Cloud computing

A Work Project, presented as part of the requirements for the Award of a Masters Degree in Management from the NOVA – School of Business and Economics

Identificação das práticas de inovação aberta nas parcerias estratégicas: avaliação realizada com prestadores de cloud computing

No atual contexto da inovação, um grande número de estudos tem analisado o potencial do modelo de Inovação Aberta. Neste sentido, o autor Henry Chesbrough (2003) considerado o pai da Inovação Aberta, afirma que as empresas estão vivenciando uma “mudança de paradigma” na maneira como desenvolvem os seus processos de inovação e na comercialização de tecnologia e conhecimento. Desta forma, o modelo de Inovação Aberta defende que as empresas podem e devem utilizar os recursos disponíveis fora das suas fronteiras sendo esta combinação de ideias e tecnologias internas e externas crucial para atingir uma posição de liderança no mercado. Já afirmava Chesbrough (2003) que não se faz inovação isoladamente e o próprio dinamismo do cenário atual reforça esta ideia. Assim, os riscos inerentes ao processo de inovação podem ser atenuados através da realização de parcerias entre empresas e instituições. A adoção do modelo de Inovação Aberta é percebida com base na abundância de conhecimento disponível, que poderá proporcionar valor também à empresa que o criou, como é o caso do licenciamento de patentes. O presente estudo teve como objetivo identificar as práticas de Inovação Aberta entre as parcerias mencionadas pelas empresas prestadoras de Cloud Computing. Através da Análise de Redes Sociais foram construídas matrizes referentes às parcerias mencionadas pelas empresas e informações obtidas em fontes secundárias (Sousa, 2012). Essas matrizes de relacionamento (redes) foram analisadas e representadas através de diagramas. Desta forma, foi possível traçar um panorama das parcerias consideradas estratégicas pelas empresas entrevistadas e identificar quais delas constituem, de fato, práticas de Inovação Aberta. Do total de 26 parcerias estratégicas mencionadas nas entrevistas, apenas 11 foram caracterizadas como práticas do modelo aberto. A análise das práticas conduzidas pelas empresas entrevistadas permite verificar algumas limitações no aproveitamento do modelo de Inovação Aberta. Por fim, são feitas algumas recomendações sobre a implementação deste modelo pelas pequenas e médias empresas baseadas em tecnologias emergentes, como é o caso do conceito de cloud computing.

Posicionamento do Brasil face aos países mais avançados em cloud computing

This study discusses some fundamental issues so that the development and diffusion of services based in cloud computing happen positively in several countries. For exposure of this subject is discusses public initiatives by the most advanced countries in terms of cloud computing application and the brazilin position in this context. Based on presented evidences here it appears that the essential elements for the development and diffusion of cloud computing in Brazil made important steps and show evidence of maturity, as the cybercrime legislation. However, other elements still require analysis and specifically adaptations for the cloud computing case, such as the Intellectual Property Rights. Despite showing broadband services still lacking, one cannot disregard the government effort to facilitate access for all society. In contrast, the large volume of the Brazilian IT market is an interest factor for companies seeking to invest in the country.

OpenNebula y Hadoop : Cloud Computing con herramientas Open Source

El presente proyecto consiste en una introducción al "cloud computing" y un estudio en profundidad de las herramientas OpenNebula, dentro del modelo IaaS (Infraestructure as a Service), y Hadoop, dentro del modelo PaaS (Platform as a Service). El trabajo también incluye la instalación, integración, configuración y puesta en marcha de una plataforma "cloud computing" utilizando OpenNebula y Hadoop con el objetivo de aplicar los conceptos teóricos en una solución real dentro de un entorno de laboratorio que puede ser extrapolable a una instalación real.