El impacto de las aplicaciones intensivas de E/S en la planificación de trabajos en clusters no-dedicados

Con la mayor capacidad de los nodos de procesamiento en relación a la potencia de cómputo, cada vez más aplicaciones intensivas de datos como las aplicaciones de la bioinformática, se llevarán a ejecutar en clusters no dedicados. Los clusters no dedicados se caracterizan por su capacidad de combinar la ejecución de aplicaciones de usuarios locales con aplicaciones, científicas o comerciales, ejecutadas en paralelo. Saber qué efecto las aplicaciones con acceso intensivo a dados producen respecto a la mezcla de otro tipo (batch, interativa, SRT, etc) en los entornos no-dedicados permite el desarrollo de políticas de planificación más eficientes. Algunas de las aplicaciones intensivas de E/S se basan en el paradigma MapReduce donde los entornos que las utilizan, como Hadoop, se ocupan de la localidad de los datos, balanceo de carga de forma automática y trabajan con sistemas de archivos distribuidos. El rendimiento de Hadoop se puede mejorar sin aumentar los costos de hardware, al sintonizar varios parámetros de configuración claves para las especificaciones del cluster, para el tamaño de los datos de entrada y para el procesamiento complejo. La sincronización de estos parámetros de sincronización puede ser demasiado compleja para el usuario y/o administrador pero procura garantizar prestaciones más adecuadas. Este trabajo propone la evaluación del impacto de las aplicaciones intensivas de E/S en la planificación de trabajos en clusters no-dedicados bajo los paradigmas MPI y Mapreduce.

Gestión de recursos en nodos multi-core de memoria compartida

La gestión de recursos en los procesadores multi-core ha ganado importancia con la evolución de las aplicaciones y arquitecturas. Pero esta gestión es muy compleja. Por ejemplo, una misma aplicación paralela ejecutada múltiples veces con los mismos datos de entrada, en un único nodo multi-core, puede tener tiempos de ejecución muy variables. Hay múltiples factores hardware y software que afectan al rendimiento. La forma en que los recursos hardware (cómputo y memoria) se asignan a los procesos o threads, posiblemente de varias aplicaciones que compiten entre sí, es fundamental para determinar este rendimiento. La diferencia entre hacer la asignación de recursos sin conocer la verdadera necesidad de la aplicación, frente a asignación con una meta específica es cada vez mayor. La mejor manera de realizar esta asignación és automáticamente, con una mínima intervención del programador. Es importante destacar, que la forma en que la aplicación se ejecuta en una arquitectura no necesariamente es la más adecuada, y esta situación puede mejorarse a través de la gestión adecuada de los recursos disponibles. Una apropiada gestión de recursos puede ofrecer ventajas tanto al desarrollador de las aplicaciones, como al entorno informático donde ésta se ejecuta, permitiendo un mayor número de aplicaciones en ejecución con la misma cantidad de recursos. Así mismo, esta gestión de recursos no requeriría introducir cambios a la aplicación, o a su estrategia operativa. A fin de proponer políticas para la gestión de los recursos, se analizó el comportamiento de aplicaciones intensivas de cómputo e intensivas de memoria. Este análisis se llevó a cabo a través del estudio de los parámetros de ubicación entre los cores, la necesidad de usar la memoria compartida, el tamaño de la carga de entrada, la distribución de los datos dentro del procesador y la granularidad de trabajo. Nuestro objetivo es identificar cómo estos parámetros influyen en la eficiencia de la ejecución, identificar cuellos de botella y proponer posibles mejoras. Otra propuesta es adaptar las estrategias ya utilizadas por el Scheduler con el fin de obtener mejores resultados.

Monitorització d'alt nivell per a el computing de l'experiment ATLAS (LHC)

Aquest projecte descriu la fusió de les necessitats diaries de monitorització del experiment ATLAS des del punt de vista del cloud. La idea principal es desenvolupar un conjunt de col·lectors que recullin informació de la distribució i processat de les dades i dels test de wlcg (Service Availability Monitoring), emmagatzemant-la en BBDD específiques per tal de mostrar els resultats en una sola pàgina HLM (High Level Monitoring). Un cop aconseguit, l’aplicació ha de permetre investigar més enllà via interacció amb el front-end, el qual estarà alimentat per les estadístiques emmagatzemades a la BBDD.

Scheduling in virtual infrastructure

For the execution of the scientific applications, different methods have been proposed to dynamically provide execution environments for such applications that hide the complexity of underlying distributed and heterogeneous infrastructures. Recently virtualization has emerged as a promising technology to provide such environments. Virtualization is a technology that abstracts away the details of physical hardware and provides virtualized resources for high-level scientific applications. Virtualization offers a cost-effective and flexible way to use and manage computing resources. Such an abstraction is appealing in Grid computing and Cloud computing for better matching jobs (applications) to computational resources. This work applies the virtualization concept to the Condor dynamic resource management system by using Condor Virtual Universe to harvest the existing virtual computing resources to their maximum utility. It allows existing computing resources to be dynamically provisioned at run-time by users based on application requirements instead of statically at design-time thereby lay the basis for efficient use of the available resources, thus providing way for the efficient use of the available resources.

Computing hypergraph width measures exactly

Hypergraph width measures are a class of hypergraph invariants important in studying the complexity of constraint satisfaction problems (CSPs). We present a general exact exponential algorithm for a large variety of these measures. A connection between these and tree decompositions is established. This enables us to almost seamlessly adapt the combinatorial and algorithmic results known for tree decompositions of graphs to the case of hypergraphs and obtain fast exact algorithms. As a consequence, we provide algorithms which, given a hypergraph H on n vertices and m hyperedges, compute the generalized hypertree-width of H in time O*(2n) and compute the fractional hypertree-width of H in time O(1.734601n.m).1

An efficient use of virtualization in grid/cloud environments

Grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high-end computational resources. Grid enables access to the resources but it does not guarantee any quality of service. Moreover, Grid does not provide performance isolation; job of one user can influence the performance of other user’s job. The other problem with Grid is that the users of Grid belong to scientific community and the jobs require specific and customized software environment. Providing the perfect environment to the user is very difficult in Grid for its dispersed and heterogeneous nature. Though, Cloud computing provide full customization and control, but there is no simple procedure available to submit user jobs as in Grid. The Grid computing can provide customized resources and performance to the user using virtualization. A virtual machine can join the Grid as an execution node. The virtual machine can also be submitted as a job with user jobs inside. Where the first method gives quality of service and performance isolation, the second method also provides customization and administration in addition. In this thesis, a solution is proposed to enable virtual machine reuse which will provide performance isolation with customization and administration. The same virtual machine can be used for several jobs. In the proposed solution customized virtual machines join the Grid pool on user request. Proposed solution describes two scenarios to achieve this goal. In first scenario, user submits their customized virtual machine as a job. The virtual machine joins the Grid pool when it is powered on. In the second scenario, user customized virtual machines are preconfigured in the execution system. These virtual machines join the Grid pool on user request. Condor and VMware server is used to deploy and test the scenarios. Condor supports virtual machine jobs. The scenario 1 is deployed using Condor VM universe. The second scenario uses VMware-VIX API for scripting powering on and powering off of the remote virtual machines. The experimental results shows that as scenario 2 does not need to transfer the virtual machine image, the virtual machine image becomes live on pool more faster. In scenario 1, the virtual machine runs as a condor job, so it easy to administrate the virtual machine. The only pitfall in scenario 1 is the network traffic.

Eficiència de màquines virtuals en diferents configuracions de hardware i software

Estudi de l'eficiència de màquines virtuals en diferents configuracions de hardware i software en entorns de proves i de producció.

Yingti/ruanti (hardware/software). La création d'un hall culturel hakka à Taiwan

Dans le cadre de la politique multiculturelle de protection des minorités menée par le gouvernement taïwanais, le Comité ministériel aux affaires hakka (keweihui) a planifié dix-huit « halls culturels hakkas » dans chaque comté et municipalité. L'article retrace le processus de création d'un de ces halls, dans le nord de l'île de Taiwan, au cours de la décennie 2000. L'aménagement du hall procède à l'incorporation d'artistes locaux dans une tradition nationale hakka réinventée. Il est montré comment sa genèse s'est produite à l'intersection d'une politique impulsée par « le haut » et d'un projet émanant d'acteurs locaux. L'article met en évidence comment les catégories yingti (hardware) et ruanti (software) président à sa fabrication et impliquent une opposition et une complémentarité entre « contenant » et « contenu », entre « État » et « société », qui agissent à toutes les étapes de sa mise en oeuvre.

Anàlisi i disseny d'un sistema de còpies de seguretat

Aquest treball presenta el disseny d'un sistema de còpies de seguretat per a una empresa de serveis que presenta dades per a altres empreses. Explica les necessitats de l'empresa i les especificacions que ha de complir el sistema de còpies, i estudia les possibles opcions de programari i maquinari i els aspectes legals.

Avaluació d'aplicacions HPC sobre Clouds públics / privats

Treball final de carrera (TFC) de l'Enginyeria Tècnica d'Informàtica de Gestió: avaluació d'aplicacions HPC sobre Clouds públics / privats.

Repositorios en la nube

Las aplicaciones que se distribuyen a través de Internet como un servicio (Software as a service, SaaS) y el hardware y software de base de los centros de datos (Nube, Cloud) son los dos elementos de la ecuación llamada cloud computing. En este paradigma, se juegan tres roles principales: proveedor del cloud, usuario del cloud que a su vez es proveedor de servicio (como los repositorios) y los usuarios finales del servicio. Los primeros se benefician de la especialización y las economías de escala; mientras que los segundos de una mayor elasticidad en el aprovisionamiento. En este sentido, DuraSpace ha creado un piloto llamado DuraCloud para probar el uso de tecnologías de almacenamiento en la nube para la preservación de contenido digital. El taller pretende describir los conceptos básicos del cloud, con ejemplos de donde se está usando este tipo de tecnología; y el impacto que puede tener en los repositorios digitales.

Módulo de modelado hardware GISCMO

Este proyecto tiene como objetivo desarrollar un aplicativo en formato web capaz de dar soporte al modelado de equipos hardware para su posterior publicación en librerías. El proyecto se incluye en un entorno de trabajo constituido por una serie de herramientas de las que nuestro proyecto es una pequeña pero importante parte. Nuestro objetivo comprenderá la creación y posterior gestión de modelos de equipos hardware para ser utilizados por los proyectistas de instalaciones de control industrial, que generen sus trabajos mediante el uso del entorno de desarrollo GISCMO (Gestor integrado de sistemas de control y modelado de objetos).

OpenNebula y Hadoop : Cloud Computing con herramientas Open Source

El presente proyecto consiste en una introducción al "cloud computing" y un estudio en profundidad de las herramientas OpenNebula, dentro del modelo IaaS (Infraestructure as a Service), y Hadoop, dentro del modelo PaaS (Platform as a Service). El trabajo también incluye la instalación, integración, configuración y puesta en marcha de una plataforma "cloud computing" utilizando OpenNebula y Hadoop con el objetivo de aplicar los conceptos teóricos en una solución real dentro de un entorno de laboratorio que puede ser extrapolable a una instalación real.

An anonymous reputation mechanism for cloud computing networks using volunteer resources

One of the major problems when using non-dedicated volunteer resources in adistributed network is the high volatility of these hosts since they can go offlineor become unavailable at any time without control. Furthermore, the use ofvolunteer resources implies some security issues due to the fact that they aregenerally anonymous entities which we know nothing about. So, how to trustin someone we do not know?.Over the last years an important number of reputation-based trust solutionshave been designed to evaluate the participants' behavior in a system.However, most of these solutions are addressed to P2P and ad-hoc mobilenetworks that may not fit well with other kinds of distributed systems thatcould take advantage of volunteer resources as recent cloud computinginfrastructures.In this paper we propose a first approach to design an anonymous reputationmechanism for CoDeS [1], a middleware for building fogs where deployingservices using volunteer resources. The participants are reputation clients(RC), a reputation authority (RA) and a certification authority (CA). Users needa valid public key certificate from the CA to register to the RA and obtain thedata needed to participate into the system, as now an opaque identifier thatwe call here pseudonym and an initial reputation value that users provide toother users when interacting together. The mechanism prevents not only themanipulation of the provided reputation values but also any disclosure of theusers' identities to any other users or authorities so the anonymity isguaranteed.