Cost-efficient virtual machine management : provisioning, admission control, and consolidation

One of the main challenges in Software Engineering is to cope with the transition from an industry based on software as a product to software as a service. The field of Software Engineering should provide the necessary methods and tools to develop and deploy new cost-efficient and scalable digital services. In this thesis, we focus on deployment platforms to ensure cost-efficient scalability of multi-tier web applications and on-demand video transcoding service for different types of load conditions. Infrastructure as a Service (IaaS) clouds provide Virtual Machines (VMs) under the pay-per-use business model. Dynamically provisioning VMs on demand allows service providers to cope with fluctuations on the number of service users. However, VM provisioning must be done carefully, because over-provisioning results in an increased operational cost, while underprovisioning leads to a subpar service. Therefore, our main focus in this thesis is on cost-efficient VM provisioning for multi-tier web applications and on-demand video transcoding. Moreover, to prevent provisioned VMs from becoming overloaded, we augment VM provisioning with an admission control mechanism. Similarly, to ensure efficient use of provisioned VMs, web applications on the under-utilized VMs are consolidated periodically. Thus, the main problem that we address is cost-efficient VM provisioning augmented with server consolidation and admission control on the provisioned VMs. We seek solutions for two types of applications: multi-tier web applications that follow the request-response paradigm and on-demand video transcoding that is based on video streams with soft realtime constraints. Our first contribution is a cost-efficient VM provisioning approach for multi-tier web applications. The proposed approach comprises two subapproaches: a reactive VM provisioning approach called ARVUE and a hybrid reactive-proactive VM provisioning approach called Cost-efficient Resource Allocation for Multiple web applications with Proactive scaling. Our second contribution is a prediction-based VM provisioning approach for on-demand video transcoding in the cloud. Moreover, to prevent virtualized servers from becoming overloaded, the proposed VM provisioning approaches are augmented with admission control approaches. Therefore, our third contribution is a session-based admission control approach for multi-tier web applications called adaptive Admission Control for Virtualized Application Servers. Similarly, the fourth contribution in this thesis is a stream-based admission control and scheduling approach for on-demand video transcoding called Stream-Based Admission Control and Scheduling. Our fifth contribution is a computation and storage trade-o strategy for cost-efficient video transcoding in cloud computing. Finally, the sixth and the last contribution is a web application consolidation approach, which uses Ant Colony System to minimize the under-utilization of the virtualized application servers.

Video transcoding in a distributed cloud computing environment

Video transcoding refers to the process of converting a digital video from one format into another format. It is a compute-intensive operation. Therefore, transcoding of a large number of simultaneous video streams requires a large amount of computing resources. Moreover, to handle di erent load conditions in a cost-e cient manner, the video transcoding service should be dynamically scalable. Infrastructure as a Service Clouds currently offer computing resources, such as virtual machines, under the pay-per-use business model. Thus the IaaS Clouds can be leveraged to provide a coste cient, dynamically scalable video transcoding service. To use computing resources e ciently in a cloud computing environment, cost-e cient virtual machine provisioning is required to avoid overutilization and under-utilization of virtual machines. This thesis presents proactive virtual machine resource allocation and de-allocation algorithms for video transcoding in cloud computing. Since users' requests for videos may change at di erent times, a check is required to see if the current computing resources are adequate for the video requests. Therefore, the work on admission control is also provided. In addition to admission control, temporal resolution reduction is used to avoid jitters in a video. Furthermore, in a cloud computing environment such as Amazon EC2, the computing resources are more expensive as compared with the storage resources. Therefore, to avoid repetition of transcoding operations, a transcoded video needs to be stored for a certain time. To store all videos for the same amount of time is also not cost-e cient because popular transcoded videos have high access rate while unpopular transcoded videos are rarely accessed. This thesis provides a cost-e cient computation and storage trade-o strategy, which stores videos in the video repository as long as it is cost-e cient to store them. This thesis also proposes video segmentation strategies for bit rate reduction and spatial resolution reduction video transcoding. The evaluation of proposed strategies is performed using a message passing interface based video transcoder, which uses a coarse-grain parallel processing approach where video is segmented at group of pictures level.

Implementing gateway monitoring service for infrastructure sensor networks

Wireless sensor networks and its applications have been widely researched and implemented in both commercial and non commercial areas. The usage of wireless sensor network has developed its market from military usage to daily use of human livings. Wireless sensor network applications from monitoring prospect are used in home monitoring, farm fields and habitant monitoring to buildings structural monitoring. As the usage boundaries of wireless sensor networks and its applications are emerging there are definite ongoing research, such as lifetime for wireless sensor network, security of sensor nodes and expanding the applications with modern day scenarios of applications as web services. The main focus in this thesis work is to study and implement monitoring application for infrastructure based sensor network and expand its usability as web service to facilitate mobile clients. The developed application is implemented for wireless sensor nodes information collection and monitoring purpose enabling home or office environment remote monitoring for a user.

Service Management for Service Desk

Palvelunhallinnan kehittäminen Service Desk ympäristöön johtaa parempaan työnkulun hallintaan. Service Deskin päätehtävänä on toimia ainoana yhteyspisteenä asiakkaalta tietohallinto-osastolle. Jokainen yhteydenottopitää kirjata ja se pitäisi olla jäljitettävissä. Tapahtumien eli insidenttien kirjaaminen tapahtuu pääasiassa Service Desk -funktiossa, joka omistaa niistä jokaisen. Tapahtumien hallintaprosessin tehtävänä on etsiä loppukäyttäjän tai IT-infrastruktuurin monitorointityökalun ilmoittamalle insidentille mahdollisimman nopea ratkaisu. Insidentit saattavat johtaa ongelmiin, jotka käsitellään erillisessä prosessissa. Ongelmien hallintaprosessi yrittää etsiä vikatilanteen pohjimmaisen syyn. Kun pohjimmaisin syy on löytynyt, prosessi lähettää muutospyynnön muutosten hallintaprosessille. Jotta päästään mahdollisimman hyvään tehokkuuteen, pitää määrittää asiakasrajapinta sekä mittarit. ITIL-malli tarjoaa prosessit IT-palvelunhallinnan kehittämiselle. Kansainvälisesti tunnettuna 'de factO' standardina sitä voidaan soveltaa globaaleissa yrityksissä. Tässä työssä keskitytään erään lääkkeiden jakelussa toimivan yrityksen tietohallinto-osaston Help Deskin nykytilan määrittämiseen. Työssä myös kuvataan tietohallinto-osaston tavoitetila, jossa keskitytään Service Deskin IT palvelunhallinnan kehittämiseen. Muut prosessit ja mittarit on kuvattu niiltä osin, jotka tulee huomioida Service Deskin seuraamisen ja ohjaamisen kannalta.

Market Potential of Service Providers for Niche Vendor

Diplomityössä tarkastellaan palveluoperaattoreiden asemaa Länsi-Euroopan matkapuhelinpalvelumarkkinoilla. Tavoitteena on selvittää, ovatko palveluoperaattorit potentiaalisia asiakkaita tietylle matkapuhelinlisäpalvelujärjestelmien toimittajalle. Lisäksi tavoitteena on rakentaa liiketoimintalaskelmatyökalu, jolla tällaisen järjestelmäinvestoinnin kannattavuus voidaan osoittaa paitsi palveluoperaattorille, myös tämän loppuasiakkaille. Työ aloitetaan matkapuhelinpalvelumarkkinoilla toimivien osapuolten esittelyllä. Eri osapuolten asemaa ja merkitystä matkapuhelinpalvelumarkkinoilla käsitellään. Matkapuhelinpalvelumarkkinoiden kehitystä tarkastellaan uuden teknologian ja erityisesti tulevien palvelujen näkökulmasta. Tarkastelua jatketaan analysoimalla regulaation vaikutusta matkapuhelinpalvelumarkkinoihin. Erityisesti kiinnitetään huomiota regulaation motiiveihin sekä käytännön toteutukseen tietyissä Länsi-Euroopan maissa. Tutkimuksen toteuttamisessa merkittävässä osassa ovat asiantuntijahaastattelut sekä markkina-analyysiraportit.Markkina-analyysissa saatuja tuloksia hyödynnetään liiketoimintalaskelmatyökalun toteutuksessa. Työn tuloksena päädytään myös ratkaisuun palveluoperaattoreiden kiinnostavuudesta asiakassegmenttinä. Tämän lisäksi havaitaan muita potentiaalisia asiakassegmenttejä, joiden tämäntyyppiseen liiketoimintaan soveltuvuutta tutkitaan edelleen.

Infrastructure Provisioning in Web Portals

Web portaalit tarjoavat ainutlaatuisia apuvälineitä erilaisien sisältöjen luomiseksi, monenlaisia navigointipolkuja, henkilökohtaisia sivuja ja turvapalveluja. Portaali on monimutkainen systeemi, joka sisältää monta yhteistyötä tekevää komponenttia, yleensä toteutuu valmiiksi tehdyillä ongelmistoilla. Tämä tutkimus kansittelee portaalin toteutusta IBM/Tivolin tuotteella. Portaalin komponenttien integraatio on kriittinen koko järjestelmä arkkitehtuurille ja saattaa vaatia lisää ohjelmistokehittelyä. Tutkimuksen ensisijainen tavoite on kehittää räätälöityä komponenttia kahta portaali-alijärjestelmä varten, tilaaja - turvapalvelu. Tutkimuksessa Tivoli Personalized Services Manager (TPSM) ja Tivoli SecureWay Policy Director (PD) on tutkittu. Integraatio sisältää TPSM tietokaunan ja PD User Registry tiedon synkronisointia. Integraatio-ohjelmisto on suunniteltu ja tehty olemassaoloevien alijärjestelmien perusteella.

When to Utilize Software as a Service

Cloud computing enables on-demand network access to shared resources (e.g., computation, networks, servers, storage, applications, and services) that can be rapidly provisioned and released with minimal management effort. Cloud computing refers to both the applications delivered as services over the Internet and the hardware and system software in the data centers. Software as a service (SaaS) is part of cloud computing. It is one of the cloud service models. SaaS is software deployed as a hosted service and accessed over the Internet. In SaaS, the consumer uses the provider‘s applications running in the cloud. SaaS separates the possession and ownership of software from its use. The applications can be accessed from any device through a thin client interface. A typical SaaS application is used with a web browser based on monthly pricing. In this thesis, the characteristics of cloud computing and SaaS are presented. Also, a few implementation platforms for SaaS are discussed. Then, four different SaaS implementation cases and one transformation case are deliberated. The pros and cons of SaaS are studied. This is done based on literature references and analysis of the SaaS implementations and the transformation case. The analysis is done both from the customer‘s and service provider‘s point of view. In addition, the pros and cons of on-premises software are listed. The purpose of this thesis is to find when SaaS should be utilized and when it is better to choose a traditional on-premises software. The qualities of SaaS bring many benefits both for the customer as well as the provider. A customer should utilize SaaS when it provides cost savings, ease, and scalability over on-premises software. SaaS is reasonable when the customer does not need tailoring, but he only needs a simple, general-purpose service, and the application supports customer‘s core business. A provider should utilize SaaS when it offers cost savings, scalability, faster development, and wider customer base over on-premises software. It is wise to choose SaaS when the application is cheap, aimed at mass market, needs frequent updating, needs high performance computing, needs storing large amounts of data, or there is some other direct value from the cloud infrastructure.

Jisc: Building a Cohesive Repository Shared Services Infrastructure for the UK

Panel at Open Repositories 2014, Helsinki, Finland, June 9-13, 2014

From library repository to university-wide service: Stanford Digital Repository as a case study

Presentation at Open Repositories 2014, Helsinki, Finland, June 9-13, 2014

Utilization of AMI-Technology in a Multilayered Demand Response Service Environment

This thesis studied the performance of Advanced metering infrastructure systems in a challenging Demand Response environment. The aim was to find out what kind of challenges and bottlenecks could be met when utilizing AMI-systems in challenging Demand Response tasks. To find out the challenges and bottlenecks, a multilayered demand response service concept was formed. The service consists of seven different market layers which consist of Nordic electricity market and the reserve markets of Fingrid. In the simulations the AMI-systems were benchmarked against these seven market layers. It was found out, that the current generation AMI-systems were capable of delivering Demand Response on the most challenging market layers, when observed from time critical viewpoint. Additionally, it was found out, that to enable wide scale Demand Response there are three major challenges to be acknowledged. The challenges hindering the utilization of wide scale Demand Response were related to poor standardization of the systems in use, possible problems in data connectivity solutions and the current electricity market regulation model.

Logistics Management in China's Development Zones - Finnish Metal Industry Perspective

Alikehittynyt infrastruktuuri, tiukat säädökset ja säädösten tulkitseminen, sekä monimutkaiset verotuskäytännöt ovat aiheuttaneet ongelmia suomalaisille Alikehittynyt infrastruktuuri, tiukat säädökset ja säädösten tulkitseminen, sekä monimutkaiset verotuskäytännöt ovat aiheuttaneet ongelmia suomalaisille yrityksille Kiinassa. Tutkimuksen perusteella yritykset eivät pysty vaikuttamaan infrastruktuurin kehittymiseen tai säädösten implementointiin, mutta ylläpitämällä suhteita ja valitsemalla oikeat partnerit yritykset pystyvät hallitsemaan ongelma-alueitaan. Etenkin ulkomaalaisille yrityksille oikean logistiikkaoperaattorin valinta on tärkeätä ja huomioon ottaen palvelutason, kulttuuritaustan sekä kansainväliset operaatiot on ulkomaalaisten yritysten tehokkaampaa käyttää kansainvälisiä operaattoreita kuin paikallisia toimijoita, jotkaovat usein halvempia, mutta eivät pysty toimimaan kansainvälisellä tasolla. Vientiin keskittyneiden yritysten tulisi sijoittua vapaakauppa-alueille tai vientiin painottuneille teollisuusalueille. Kyseisillä alueilla liiketoiminta mannermaahan on rajoitettu, eivätkä alueet täten sovellu yrityksille, jotka ovat keskittyneet Kiinan markkinoille. Paikallisesti operoivien yritysten tulisi sijoittua normaaleihin teollisuuspuistoihin ja käyttää tullin valvomia varastoja tukemaan kansainvälisiä toimintojaan.Tulisi myös muistaa etteivät kiinalaiset teollisuuspuistot täytä kansainvälisiä kriteerejä, joten säädöksiin on tärkeätä tutustua huolella jamielipiteitä kerätä toisilta yrityksiltä. Kiinassa merkittävimmät logistiikkaongelmat ilmenevät tuonnin ja viennin yhteydessä, jolloin säädökset ja toimintamallit ovat kontrolloidumpia. Etenkin tullaus- ja arvonlisävero ongelmat liittyvät kiinteästi tuonti- ja vientiprosessiin. Tutkimuksen tulokset osoittivat, että tullausprosessi tehostuu yhteistyön ja koulutuksen kautta, mutta arvonlisäverosta aiheutuvien kustannusten minimointi vaatii logistiikkapuistojen käyttöä. Mikäli asiakas haluaa tehdä tullauksen kotiprovinssissaan tai yritys tekee kauppaa ALV -vapautettujen yritysten kanssa, tulisi logistiikkapuistojen käyttöä lisätä. Käytettäessä logistiikkapuistoja yritykset välttävät tuotteiden kuljetukset Hongkongiin jatakaisin säästäen huomattavasti kustannuksissa ja toimitusajoissa. Logistiikkapuistoja on myös mahdollista käyttää ratkaisuna kasvaviin ja viivästyviin ALV palautuksiin. Tutkimuksen tulosten mukaan toimintaympäristö ja vientipainotteinen valmistus ohjaavat 3PL yritysten valintaa ja vaihtoehtoisten logistiikkapalvelujen implementointia. Etabloiduttaessavapaakauppa-alueille vientiin ja tuontiin liittyvät ongelmatekijät vahvistuvat sekä rajoitukset kiinan liiketoimintaan kasvavat, mikä tekee yhteistyönkansainvälisten logistiikkaoperaattoreiden kanssa välttämättömäksi ja kannustaa hyödyntämään logistiikkapuistoja.

Developing Service Promise Concept Based on Supply Chain

Diplomityön tavoitteena on analysoida ja kehittää palvelulupauskonseptia toimitusketjuun perustuen Halton Oy:ssä. Työ toteutettiin, koska asiakaslähtöinen liiketoimintatapa on voimakkaasti valtaamassa alaa tuote- ja tuotantopainotteiselta toimintatavalta. Tuotteiden erinomaisuus koetaan markkinoilla yhä useammin itsestään selvyytenä. Prosessien tehokas hallitseminen ja asiakkaan kokeman lisäarvon muodostaminen ovat muodostuneet ratkaisevimmaksi kilpailuedun luojaksi. Toimitusketjun hallinnalla ja sähköisellä kaupankäynnillä on tärkeä rooli tämän kilpailuedun muodostumisessa.Diplomityö käsittelee uuden palvelulupauskonseptin tarjoamia etuja Halton Oy:lle. Työssä pureudutaan toimitusketjun ja sähköisen kaupankäynnin integraatiomahdollisuuksiin. Tarkoituksena on selvittää parhaat mahdolliset kriteerit Haltonin palvelulupauskonseptilleja luoda menetelmät yrityksen materiaalivirtojen sekä uuden konseptin analysoinnille ja kehittämiselle jatkossa.

The Role of Third-Party Service Provider in B2B Integration

Sähköisen kaupankäynnin kasvun myötä, itsenäisten yritysten tietojärjestelmien integraation tarve on moninkertaistunut viime vuosien aikana. Yritykset ovat huomanneet, että tilaus-toimitusketjun automatisointiin tähtäävällä kokonaisvaltaisella integraatio-ratkaisulla on mahdollista päästä kattaviin kustannussäästöihin sekä tulojen kasvuun. Pääsääntöisesti yritykset kuitenkin etenevät hitaammin, integroimalla aluksi pienempiä liiketoiminnan tietojärjestelmien toimintoja. Positiivisten kokemusten perusteella yritykset ovat valmiitalaajentamaan sähköisen kaupankäynnin automatisointia myös muissa toiminnoissa. Tässä työssä keskitytään tarkastelemaan eri lähestymistapojayritystenvälisen integraation toteuttamiseen, sekä analysoimaan eri keinojen liiketoiminnallisia ja teknisiä vaikutuksia. Työ on tehty yhteistyössä UPM-KymmeneWood Oy:n kanssa, jonka tavoitteena oli saada perusteelliset tiedot yrityksenvälisestä integraatiosta ja syventää tietoja sekä integraatio-palveluita tarjoavien kolmansien osapuolten toimintatavoista että heidän tarjoamista palveluista ja niiden käyttökelpoisuudesta puutuoteteollisuudessa toimivassa yrityksessä. Käytännön osuudessa on tarkemmin esitelty integraatio-palveluita tarjoavien operaattoreiden kanssa käytyjen palaverien sekä heidän toimittamien materiaalien perusteella tehdyn tutkimustyön tuloksia, sisältäen yksityiskohtaiset kuvaukset yritystenvälisen integraation mahdollistavista palveluista.