Design and evaluation of learning algorithms for dynamic resource management in virtual networks

Network virtualisation is considerably gaining attentionas a solution to ossification of the Internet. However, thesuccess of network virtualisation will depend in part on how efficientlythe virtual networks utilise substrate network resources.In this paper, we propose a machine learning-based approachto virtual network resource management. We propose to modelthe substrate network as a decentralised system and introducea learning algorithm in each substrate node and substrate link,providing self-organization capabilities. We propose a multiagentlearning algorithm that carries out the substrate network resourcemanagement in a coordinated and decentralised way. The taskof these agents is to use evaluative feedback to learn an optimalpolicy so as to dynamically allocate network resources to virtualnodes and links. The agents ensure that while the virtual networkshave the resources they need at any given time, only the requiredresources are reserved for this purpose. Simulations show thatour dynamic approach significantly improves the virtual networkacceptance ratio and the maximum number of accepted virtualnetwork requests at any time while ensuring that virtual networkquality of service requirements such as packet drop rate andvirtual link delay are not affected.

Radio Resource Management across UMTS Radio Network Subsystems

UMTS (Universal Mobile Telecommunication System), esimerkkinä kolmannen sukupolven matkapuhelinjärjestelmästä pyrkii toistamaan GSM:n (Global System for Mobile Communications) menestyksen. UMTS:n kaupallinen toiminta on parhaillaan alkamassa ja ensimmäinen kaupallinen verkko on jo aloittanut toimintansa Japanissa. Tämä diplomityö antaa yleiskuvan UMTS:stä keskittyen radioverkkojärjestelmän (UMTS Terrestrial Radio Access Network,UTRAN) radioresurssien hallintaan (Radio Resource Management, RRM). Työssä kuvataan radiorajapintojen toimintaa, mutta diplomityön pääaiheena on kuitenkin radioresurssien hallinta UMTS radioaliverkkojärjestelmien ylitse. Radioresurssien hallinta pitää sisällään joukon proseduureja, jotka vaikuttavat koko UTRAN:in rakenteen lävitse. On hyvin tärkeää saavuttaa oikea toiminnallisuus hajautettujen radioresurssien hallintaan jotta voitaisiin saavuttaa paras yhteyden laatu loppukäyttäjälle. Työssä käydään yksityiskohtaisesti lävitse radioresurssien hallinnan perusperiaatteet ja joukko proseduureja. RNSAP (Radio Network Subsystem Application Part) protokollaa tarkastellaan työssä esimerkkinä protokollasta joka osallistuu radioresurssien hallintaprosessiin.

Transport Resource Management within UMTS Radio Network Subsystem

Tällä hetkellä haastavin telekommunikaatioteollisuuden tutkimus – ja kehitystoiminta on keskittynyt kolmannen sukupolven matkapuhelinjärjestelmien ympärille. Järjestelmien standardointityössä on saatu aikaiseksi ensimmäiset vakaat spesifikaatioversiot ja kaupallista toimintaa ollaan parhaillaan aloittelemassa Japanissa ja Euroopassa. Eräs kolmannen sukupolven järjestelmistä on UMTS (Universal Mobile Telecommunications System). Tämä diplomityö antaa yleiskuvan UMTS järjestelmästä ja sen eri verkkoelementtien toiminnallisuuksista. Päähuomio on kiinnitetty radioverkkojärjestelmään (UMTS Terrestrial Radio Access Network) ja erityisesti sen radioaliverkkojärjestelmään (Radio Network Subsystem), joka koostuu radioverkonohjaimesta (Radio Network Controller) ja joukosta siihen kuuluvia tukiasemia (Node B). Radioverkonohjain ja tukiasemat on yhdistetty avoimen rajapinnan kautta jota kutsutaan Iub -rajapinnaksi. Rajapinta tarjoaa radioverkonohjaimelle mahdollisuuden kontrolloida tukiasemia signalointiviestien avulla ja mahdollistaa tehokkaan ja luotettavan käyttäjätiedon siirron radioaliverkkojärjestelmän sisällä. Tämän diplomityön pääasiallinen sisältö on siirtoresurssien hallinta Iub -rajapinnan ylitse. Työssä esitellään ja selitetään siirtoverkon arkkitehtuuri. Myös kaikki Iub:ssä sijaitsevat protokollat ja toiminnalliset yksiköt jotka vaikuttavat siirtoresurssien hallintaan esitellään ja kuvataan yksityiskohtaisesti. Päähuomio on kiinnitetty sovellusprotokolliin sekä rajapinnan siirtoverkko- että radioverkkokerroksella sekä näiden protokollien väliseen vuorovaikutukseen. Kyseiset protokollat ovat Node B Application Part (NBAP) ja Access Link Control Application Part (ALCAP). Työn toteutusosassa käydään lävitse NBAP –protokollan prototyypin ja Node B Manager –toiminnallisen yksikön prototyypin implementaatio.

Solution Methods for Service Network Design with Resource Management Consideration

La gestion des ressources, équipements, équipes de travail, et autres, devrait être prise en compte lors de la conception de tout plan réalisable pour le problème de conception de réseaux de services. Cependant, les travaux de recherche portant sur la gestion des ressources et la conception de réseaux de services restent limités. La présente thèse a pour objectif de combler cette lacune en faisant l’examen de problèmes de conception de réseaux de services prenant en compte la gestion des ressources. Pour ce faire, cette thèse se décline en trois études portant sur la conception de réseaux. La première étude considère le problème de capacitated multi-commodity fixed cost network design with design-balance constraints(DBCMND). La structure multi-produits avec capacité sur les arcs du DBCMND, de même que ses contraintes design-balance, font qu’il apparaît comme sous-problème dans de nombreux problèmes reliés à la conception de réseaux de services, d’où l’intérêt d’étudier le DBCMND dans le contexte de cette thèse. Nous proposons une nouvelle approche pour résoudre ce problème combinant la recherche tabou, la recomposition de chemin, et une procédure d’intensification de la recherche dans une région particulière de l’espace de solutions. Dans un premier temps la recherche tabou identifie de bonnes solutions réalisables. Ensuite la recomposition de chemin est utilisée pour augmenter le nombre de solutions réalisables. Les solutions trouvées par ces deux méta-heuristiques permettent d’identifier un sous-ensemble d’arcs qui ont de bonnes chances d’avoir un statut ouvert ou fermé dans une solution optimale. Le statut de ces arcs est alors fixé selon la valeur qui prédomine dans les solutions trouvées préalablement. Enfin, nous utilisons la puissance d’un solveur de programmation mixte en nombres entiers pour intensifier la recherche sur le problème restreint par le statut fixé ouvert/fermé de certains arcs. Les tests montrent que cette approche est capable de trouver de bonnes solutions aux problèmes de grandes tailles dans des temps raisonnables. Cette recherche est publiée dans la revue scientifique Journal of heuristics. La deuxième étude introduit la gestion des ressources au niveau de la conception de réseaux de services en prenant en compte explicitement le nombre fini de véhicules utilisés à chaque terminal pour le transport de produits. Une approche de solution faisant appel au slope-scaling, la génération de colonnes et des heuristiques basées sur une formulation en cycles est ainsi proposée. La génération de colonnes résout une relaxation linéaire du problème de conception de réseaux, générant des colonnes qui sont ensuite utilisées par le slope-scaling. Le slope-scaling résout une approximation linéaire du problème de conception de réseaux, d’où l’utilisation d’une heuristique pour convertir les solutions obtenues par le slope-scaling en solutions réalisables pour le problème original. L’algorithme se termine avec une procédure de perturbation qui améliore les solutions réalisables. Les tests montrent que l’algorithme proposé est capable de trouver de bonnes solutions au problème de conception de réseaux de services avec un nombre fixe des ressources à chaque terminal. Les résultats de cette recherche seront publiés dans la revue scientifique Transportation Science. La troisième étude élargie nos considérations sur la gestion des ressources en prenant en compte l’achat ou la location de nouvelles ressources de même que le repositionnement de ressources existantes. Nous faisons les hypothèses suivantes: une unité de ressource est nécessaire pour faire fonctionner un service, chaque ressource doit retourner à son terminal d’origine, il existe un nombre fixe de ressources à chaque terminal, et la longueur du circuit des ressources est limitée. Nous considérons les alternatives suivantes dans la gestion des ressources: 1) repositionnement de ressources entre les terminaux pour tenir compte des changements de la demande, 2) achat et/ou location de nouvelles ressources et leur distribution à différents terminaux, 3) externalisation de certains services. Nous présentons une formulation intégrée combinant les décisions reliées à la gestion des ressources avec les décisions reliées à la conception des réseaux de services. Nous présentons également une méthode de résolution matheuristique combinant le slope-scaling et la génération de colonnes. Nous discutons des performances de cette méthode de résolution, et nous faisons une analyse de l’impact de différentes décisions de gestion des ressources dans le contexte de la conception de réseaux de services. Cette étude sera présentée au XII International Symposium On Locational Decision, en conjonction avec XXI Meeting of EURO Working Group on Locational Analysis, Naples/Capri (Italy), 2014. En résumé, trois études différentes sont considérées dans la présente thèse. La première porte sur une nouvelle méthode de solution pour le "capacitated multi-commodity fixed cost network design with design-balance constraints". Nous y proposons une matheuristique comprenant la recherche tabou, la recomposition de chemin, et l’optimisation exacte. Dans la deuxième étude, nous présentons un nouveau modèle de conception de réseaux de services prenant en compte un nombre fini de ressources à chaque terminal. Nous y proposons une matheuristique avancée basée sur la formulation en cycles comprenant le slope-scaling, la génération de colonnes, des heuristiques et l’optimisation exacte. Enfin, nous étudions l’allocation des ressources dans la conception de réseaux de services en introduisant des formulations qui modèlent le repositionnement, l’acquisition et la location de ressources, et l’externalisation de certains services. À cet égard, un cadre de solution slope-scaling développé à partir d’une formulation en cycles est proposé. Ce dernier comporte la génération de colonnes et une heuristique. Les méthodes proposées dans ces trois études ont montré leur capacité à trouver de bonnes solutions.

Network for Cooperation in Integrated Water Resource Management for Sustainable Development in Latin America and the Caribbean N° 41

• Editorial remarks.-- Open discussion: Tariffs and subsidies: the current situation and trends in the region ; State-owned utilities and the flight from public law: challenges and trends ; Challenges and opportunities in access to water and sanitation in rural areas.-- Meetings: Proposals based on the Water and Environment Initiative consensuses.-- News of the Network: Peru’s Compensation Mechanisms for Ecosystem Services Act ; Ecuador’s Act on Water Resources and Water Use and Exploitation ; The environmental dynamics of groundwater in Mexico ; The Water Citizenship Programme in the province of Mendoza, Argentina.-- Internet and WWW News

Network for Cooperation in Integrated Water Resource Management for Sustainable Development in Latin America and the Caribbean No. 42

Editorial remarks.-- Open discussion: Conceptual change in regulation in a model of public service provision ; Policies and institutional frameworks for drinking water supply and sanitation ; Strategies for low-carbon development in megacities in Latin America ; Adapting to climate change in water management in the irrigation sector.-- Meetings: Towards a vision on natural resource governance for equality ; Water resources faced with uncertainty and the risk of climate change ; Regulation challenges in the water sector.-- News of the Network: Lessons to be drawn from the interprovincial Colorado River flow distribution agreement ; Rural drinking water programme in Chile ; Ecuador’s Act on Water Resources and Water Use and Exploitation.-- Internet and WWW News

Network for Cooperation in Integrated Water Resource Management for Sustainable Development in Latin America and the Caribbean No. 43

Editorial remarks.-- Open discussion: Energy efficiency and economic regulation in water supply and sewerage services ; Policies and institutional frameworks for drinking water supply and sanitation.-- News of the network: The goal of food self-sufficiency of the countries of the cooperation council for de Arab States of the Gulf ; Narrowing the gaps in drinking water and sanitation: an opportunity for users ; Water Users'Organizations Act of Peru ; Commission for the Integrated management of the Tárcoles River Basin, Costa Rica ; Water and sanitation Management Unit in Panama.-- Courses: Course "Strategic aspects of irrigation".-- Internet and WWW news

Network for Cooperation in Integrated Water Resource Management for Sustainable Development in Latin America and the Caribbean No. 2

The second issue of the Circular marks the first milestone in the life of the Network, because it fulfils our intent to publish it on a regular basis at least twice a year. The emphasis in this issue is on planning at the level of the river basin.

Network for Cooperation in Integrated Water Resource Management for Sustainable Development in Latin America and the Caribbean No. 4

The fourth issue of this circular represents a milestone for the Network, since it fulfills our objective of publishing the circular at least twice a year. In this issue, we will continue our discussion on the role of the private sector in the provision of public water-related services

Network for Cooperation in Integrated Water Resource Management for Sustainable Development in Latin America and the Caribbean No. 5

In this issue of the Circular, we present the second part of the discussion on regulation of private-sector participation in water-related services. The editorial addresses the issue of integrated water resources management with local participation at the river basin level in the countries of the region.

Network for Cooperation in Integrated Water Resource Management for Sustainable Development in Latin America and the Caribbean No. 7

Editorial remarks.-- Open discussion: public policies for sustainable development.-- Meetings: Workshop for Managers of River Basin Organizations in Latin America and the Caribbean ; General Assembly of the International Network of Basin Organizations ; Seminar workshop on environmental accounting for water resources in Chile.-- Future activities.-- Courses.-- CELAA, CINARA and IMTA.-- Internet and WWW News