Integración de Hadoop con planificadores batch

Cada vez es mayor el número de aplicaciones desarrolladas en el ámbito científico, como en la Bioinformática o en las Geociencias, escritas bajo el modelo MapReduce, empleando herramientas de código abierto como Apache Hadoop. De la necesidad de integrar Hadoop en entornos HPC, para posibilitar la ejecutar aplicaciones desarrolladas bajo el paradigma MapReduce, nace el presente proyecto. Se analizan dos frameworks diseñados para facilitar dicha integración a los desarrolladores: HoD y myHadoop. En este proyecto se analiza, tanto las posibilidades en cuanto a entornos que ofrecen dichos frameworks para la ejecución de aplicaciones MapReduce, como el rendimiento de los clúster Hadoop generados con HoD o myHadoop respecto a un clúster Hadoop físico.

Intelligent PCA contribution analysis for quality estimation in batch processes. Application in a sequencing batch reactor for wastewater treatment

En aquest treball, es proposa un nou mètode per estimar en temps real la qualitat del producte final en processos per lot. Aquest mètode permet reduir el temps necessari per obtenir els resultats de qualitat de les anàlisi de laboratori. S'utiliza un model de anàlisi de componentes principals (PCA) construït amb dades històriques en condicions normals de funcionament per discernir si un lot finalizat és normal o no. Es calcula una signatura de falla pels lots anormals i es passa a través d'un model de classificació per la seva estimació. L'estudi proposa un mètode per utilitzar la informació de les gràfiques de contribució basat en les signatures de falla, on els indicadors representen el comportament de les variables al llarg del procés en les diferentes etapes. Un conjunt de dades compost per la signatura de falla dels lots anormals històrics es construeix per cercar els patrons i entrenar els models de classifcació per estimar els resultas dels lots futurs. La metodologia proposada s'ha aplicat a un reactor seqüencial per lots (SBR). Diversos algoritmes de classificació es proven per demostrar les possibilitats de la metodologia proposada.

Separated by a common currency? Evidence from the Euro changeover

We study the price convergence of goods and services in the euro area in 2001-2002. To measure the degree of convergence, we compare the prices of around 220 items in 32 European cities. The width of the border is the price di¤erence attributed to the fact that the two cities are in different countries. We find that the 2001 European borders are negative, which suggests that the markets were very integrated before the euro changeover. Moreover, we do not identify an integration effect attributable to the introduction of the euro. We then explore the determinants of the European borders. We find that different languages, wealth and population differences tend to split the markets. Historical inflation, though, tends to lead to price convergence.

Optimization of multiclass queueing networks with changeover times via the achievable region approach: Part I, the single-station case

We address the performance optimization problem in a single-stationmulticlass queueing network with changeover times by means of theachievable region approach. This approach seeks to obtainperformance bounds and scheduling policies from the solution of amathematical program over a relaxation of the system's performanceregion. Relaxed formulations (including linear, convex, nonconvexand positive semidefinite constraints) of this region are developedby formulating equilibrium relations satisfied by the system, withthe help of Palm calculus. Our contributions include: (1) newconstraints formulating equilibrium relations on server dynamics;(2) a flow conservation interpretation of the constraintspreviously derived by the potential function method; (3) newpositive semidefinite constraints; (4) new work decomposition lawsfor single-station multiclass queueing networks, which yield newconvex constraints; (5) a unified buffer occupancy method ofperformance analysis obtained from the constraints; (6) heuristicscheduling policies from the solution of the relaxations.

Optimization of multiclass queueing networks with changeover times via the achievable region method: Part II, the multi-station case

We address the problem of scheduling a multi-station multiclassqueueing network (MQNET) with server changeover times to minimizesteady-state mean job holding costs. We present new lower boundson the best achievable cost that emerge as the values ofmathematical programming problems (linear, semidefinite, andconvex) over relaxed formulations of the system's achievableperformance region. The constraints on achievable performancedefining these formulations are obtained by formulatingsystem's equilibrium relations. Our contributions include: (1) aflow conservation interpretation and closed formulae for theconstraints previously derived by the potential function method;(2) new work decomposition laws for MQNETs; (3) new constraints(linear, convex, and semidefinite) on the performance region offirst and second moments of queue lengths for MQNETs; (4) a fastbound for a MQNET with N customer classes computed in N steps; (5)two heuristic scheduling policies: a priority-index policy, anda policy extracted from the solution of a linear programmingrelaxation.

Disseny d'una eina de gestió d'un planificador d'execucions batch

L'abast d'aquest projecte es centrarà en el disseny d'una eina de gestió d'un planificador d'execucions batch, que intentarà donar una solució independent de l'entorn on s'executen aquests processos i que servirà com a eina de suport a un equip d'analistes i dissenyadors que creïn o mantinguin aquests processos.

A Petri Nets-based Scheduling Methodology forMultipurpose Batch Plants.

This article presents an optimization methodology of batch production processes assembled by shared resources which rely on a mapping of state-events into time-events allowing in this way the straightforward use of a well consolidated scheduling policies developed for manufacturing systems. A technique to generate the timed Petri net representation from a continuous dynamic representation (Differential-Algebraic Equations systems (DAEs)) of the production system is presented together with the main characteristics of a Petri nets-based tool implemented for optimization purposes. This paper describes also how the implemented tool generates the coverability tree and how it can be pruned by a general purpose heuristic. An example of a distillation process with two shared batch resources is used to illustrate the optimization methodology proposed.

Short communication.Wood identification based on their common name and their transversal surface anatomy. Application to the batch from the expedition of Ruiz and Pavon

Aim of study: To identify species of wood samples based on common names and anatomical analyses of their transversal surfaces (without microscopic preparations). Area of study: Spain and South America Material and methods: The test was carried out on a batch of 15 lumber samples deposited in the Royal Botanical Garden in Madrid, from the expedition by Ruiz and Pavon (1777-1811). The first stage of the methodology is to search and to make a critical analysis of the databases which list common nomenclature along with scientific nomenclature. A geographic filter was then applied to the information resulting from the samples with a more restricted distribution. Finally an anatomical verification was carried out with a pocket microscope with a magnification of x40, equipped with a 50 micrometers resolution scale. Main results: The identification of the wood based exclusively on the common name is not useful due to the high number of alternative possibilities (14 for “naranjo”, 10 for “ébano”, etc.). The common name of one of the samples (“huachapelí mulato”) enabled the geographic origin of the samples to be accurately located to the shipyard area in Guayaquil (Ecuador). Given that Ruiz y Pavon did not travel to Ecuador, the specimens must have been obtained by Tafalla. It was possible to determine correctly 67% of the lumber samples from the batch. In 17% of the cases the methodology did not provide a reliable identification. Research highlights: It was possible to determine correctly 67% of the lumber samples from the batch and their geographic provenance. The identification of the wood based exclusively on the common name is not useful.

Treatment of micropollutants in municipal wastewater: study of a sequential batch biofilter

All the experimental part of this final project was done at Laboratoire de Biotechnologie Environnementale (LBE) from the École Polytechnique Fédérale de Lausanne (EPFL), Switzerland, during 6 months (November 2013- May 2014). A fungal biofilter composed of woodchips was designed in order to remove micropollutants from the effluents of waste water treatment plants. Two fungi were tested: Pleurotus ostreatus and Trametes versicolor in order to evaluate their efficiency for the removal of two micropollutants: the anti-inflammatory drug naproxen and the antibiotic sulfamethoxazole,. Although Trametes versicolor was able to degrade quickly naproxen, this fungus was not any more active after one week of operation in the filter. Pleurotus ostreatus was, on contrary, able to survive more than 3 months in the filter, showing good removal efficiencies of naproxen and sulfamethoxazole during all this period, in tap water but also in real treated municipal wastewater. Several other experiments have provided insight on the removal mechanisms of these micropollutants in the fungal biofilter (degradation and adsorption) and also allowed to model the removal trend. Fungal treatment with Pleurotus ostreatus grown on wood substrates appeared to be a promising solution to improve micropollutants removal in wastewater.

Individual-based modelling of bacterial cultures to study the lag ohase

Els bacteris són la forma dominant de vida del planeta: poden sobreviure en medis molt adversos, i en alguns casos poden generar substàncies que quan les ingerim ens són tòxiques. La seva presència en els aliments fa que la microbiologia predictiva sigui un camp imprescindible en la microbiologia dels aliments per garantir la seguretat alimentària. Un cultiu bacterià pot passar per quatre fases de creixement: latència, exponencial, estacionària i de mort. En aquest treball s’ha avançat en la comprensió dels fenòmens intrínsecs a la fase de latència, que és de gran interès en l’àmbit de la microbiologia predictiva. Aquest estudi, realitzat al llarg de quatre anys, s’ha abordat des de la metodologia Individual-based Modelling (IbM) amb el simulador INDISIM (INDividual DIScrete SIMulation), que ha estat millorat per poder fer-ho. INDISIM ha permès estudiar dues causes de la fase de latència de forma separada, i abordar l’estudi del comportament del cultiu des d’una perspectiva mesoscòpica. S’ha vist que la fase de latència ha de ser estudiada com un procés dinàmic, i no definida per un paràmetre. L’estudi de l’evolució de variables com la distribució de propietats individuals entre la població (per exemple, la distribució de masses) o la velocitat de creixement, han permès distingir dues etapes en la fase de latència, inicial i de transició, i aprofundir en la comprensió del que passa a nivell cel•lular. S’han observat experimentalment amb citometria de flux diversos resultats previstos per les simulacions. La coincidència entre simulacions i experiments no és trivial ni casual: el sistema estudiat és un sistema complex, i per tant la coincidència del comportament al llarg del temps de diversos paràmetres interrelacionats és un aval a la metodologia emprada en les simulacions. Es pot afirmar, doncs, que s’ha verificat experimentalment la bondat de la metodologia INDISIM.

Eliminació simultània de fòsfor i nitrogen en aigües residuals, utilitzant microorganismes DPAO en un reactor discontinu seqüencial (SBR)

En aquest estudi es realitzà eliminació biològica simultània de fòsfor i nitrogen en un Reactor Discontinu Seqüencial (SBR), el qual conté una biomassa enriquida amb Organismes Desnitrificadors Acumuladors de Fòsfor (DPAO) que utilitzen com a única font de carboni l’àcid propiònic i com acceptors d’electrons: nitrit en la fase anòxica i oxigen en l’aeròbica. L’SBR opera amb cicle de 8 h alternant fase anaeròbica, anòxica i aeròbica. El seguiment del sistema es realitzà mitjançant mesures on-line (titrimetria) i off-line (quantificació d’àcid propiònic, nitrit i fòsfor), utilitzant l’HPLC per quantificar l’àcid propiònic i cromatografia iònica per les mesures de nitrit i fòsfor. Amb aquest sistema es pretén augmentar la captació de fòsfor en la fase anòxica fet que s’aconseguí realitzant diferents canvis al reactor per tal de maximitzar el consum de nitrit en aquesta fase, ja fos allargant el temps de fase o augmentant la concentració de biomassa. Aquest experiment ha suposat un augment de la captació de fòsfor (33 mg P-PO4 3-/L), de l’eliminació neta de fòsfor (17 mg P-PO4 3-/L) i de consum de nitrit (27 mg N-NO2-). Per altra banda, es pretenia veure els efectes a curt termini de l’eliminació de la fase aeròbica a partir del seguiment de 2 cicle puntuals i d’un cicle de 32 h sense fase aeròbica. En ambdós casos s’aconseguí una eliminació neta de fòsfor.

El impacto de las aplicaciones intensivas de E/S en la planificación de trabajos en clusters no-dedicados

Con la mayor capacidad de los nodos de procesamiento en relación a la potencia de cómputo, cada vez más aplicaciones intensivas de datos como las aplicaciones de la bioinformática, se llevarán a ejecutar en clusters no dedicados. Los clusters no dedicados se caracterizan por su capacidad de combinar la ejecución de aplicaciones de usuarios locales con aplicaciones, científicas o comerciales, ejecutadas en paralelo. Saber qué efecto las aplicaciones con acceso intensivo a dados producen respecto a la mezcla de otro tipo (batch, interativa, SRT, etc) en los entornos no-dedicados permite el desarrollo de políticas de planificación más eficientes. Algunas de las aplicaciones intensivas de E/S se basan en el paradigma MapReduce donde los entornos que las utilizan, como Hadoop, se ocupan de la localidad de los datos, balanceo de carga de forma automática y trabajan con sistemas de archivos distribuidos. El rendimiento de Hadoop se puede mejorar sin aumentar los costos de hardware, al sintonizar varios parámetros de configuración claves para las especificaciones del cluster, para el tamaño de los datos de entrada y para el procesamiento complejo. La sincronización de estos parámetros de sincronización puede ser demasiado compleja para el usuario y/o administrador pero procura garantizar prestaciones más adecuadas. Este trabajo propone la evaluación del impacto de las aplicaciones intensivas de E/S en la planificación de trabajos en clusters no-dedicados bajo los paradigmas MPI y Mapreduce.

Epidemilogia de la Influença porcina

La influenza es una enfermedad de gran importancia debido a su impacto sanitario y social. La especie porcina tiene importancia epidemiológica debido a su capacidad de actuar como eslabón adaptando los virus aviares a los mamíferos. Un mejor conocimiento de la enfermedad en la especie porcina permitirá definir mejor los métodos de lucha frente la enfermedad tanto en la especie humana como en la porcina. En el presente proyecto se pretende determinar los subtipos de virus influenza actualmente presentes en la cabaña porcina de España y estimar su seroprevalencia, así como estudiar los factores de riesgo que predisponen a la presencia de los virus influenza en las granjas de porcino. Para ello, se realizará una encuesta seroepidemiológica en la que se recogerán muestras de suero de animales de distintas edades (cerdas y cerdos de engorde) y se reunirán datos correspondientes a las características de las distintas explotaciones mediante una encuesta epidemiológica. Por otro lado, y con el fin de determinar la dinámica de infección de la enfermedad, se llevará a cabo un estudio longitudinal en dos explotaciones de ciclo cerrado seropositivas frente a Influenza porcina. En éstas explotaciones se recogerán muestras de suero y de hisopos nasales de un lote entero de producción, en intervalos que oscilarán de semanalmente a mensualmente. Los animales se muestrearan desde las tres semanas de vida hasta que sean enviados al matadero (aproximadamente a los 6 meses de vida). A partir de las muestras obtenidas se realizaran pruebas diagnósticas de carácter virológico y serológico. Este estudio aportará información acerca de la diseminación de los virus influenza en las explotaciones de cerdos, por lo que refiere a su comportamiento endémico/epidémico, clinico/subclínico, etc.

Construcció i explotació d'un magatzem de dades per a l'anàlisi d'informació immobiliària

Aquest projecte consisteix en facilitar a l'empresa Sostre per a tothom l'anàlisi del seu catàleg d'immobles a Andorra i Espanya. Per poder oferir aquesta visió estratègica, es proposa la creació d'un nou magatzem de dades corporatiu, estructurat de tal manera que faciliti l'explotació d'aquesta informació pel seu anàlisis posterior, per tal d'ajudar en la pressa de decisions. Com a resultat del projecte s'obtenen tres productes; el propi magatzem de dades corporatiu, l'aplicació batch que executa el procés per poblar aquest magatzem i una bateria d'informes inicials que facilitaran la interpretació d'aquesta informació.

Statistical treatment of grain-size curves and empirical distributions: densities as compositions?

The preceding two editions of CoDaWork included talks on the possible considerationof densities as infinite compositions: Egozcue and D´ıaz-Barrero (2003) extended theEuclidean structure of the simplex to a Hilbert space structure of the set of densitieswithin a bounded interval, and van den Boogaart (2005) generalized this to the setof densities bounded by an arbitrary reference density. From the many variations ofthe Hilbert structures available, we work with three cases. For bounded variables, abasis derived from Legendre polynomials is used. For variables with a lower bound, westandardize them with respect to an exponential distribution and express their densitiesas coordinates in a basis derived from Laguerre polynomials. Finally, for unboundedvariables, a normal distribution is used as reference, and coordinates are obtained withrespect to a Hermite-polynomials-based basis.To get the coordinates, several approaches can be considered. A numerical accuracyproblem occurs if one estimates the coordinates directly by using discretized scalarproducts. Thus we propose to use a weighted linear regression approach, where all k-order polynomials are used as predictand variables and weights are proportional to thereference density. Finally, for the case of 2-order Hermite polinomials (normal reference)and 1-order Laguerre polinomials (exponential), one can also derive the coordinatesfrom their relationships to the classical mean and variance.Apart of these theoretical issues, this contribution focuses on the application of thistheory to two main problems in sedimentary geology: the comparison of several grainsize distributions, and the comparison among different rocks of the empirical distribution of a property measured on a batch of individual grains from the same rock orsediment, like their composition