Identificació de paisatges funcionals mitjançant anàlisi cluster

El terme paisatge i les seves aplicacions són cada dia més utilitzats per les administracions i altres entitats com a eina de gestió del territori. Aprofitant la gran quantitat de dades en bases compatibles amb SIG (Sistemes d’Informació Geogràfica) existents a Catalunya s’ha desenvolupat una síntesi cartogràfica on s’identifiquen els Paisatges Funcionals (PF) de Catalunya, concepte que fa referència al comportament fisico-ecològic del terreny a partir de variables topogràfiques i climàtiques convenientment transformades i agregades. S’ha utilitzat un mètode semiautomàtic i iteratiu de classificació no supervisada (clustering) que permet la creació d’una llegenda jeràrquica o nivells de generalització. S’ha obtingut com a resultat el Mapa de Paisatges Funcionals de Catalunya (MPFC) amb una llegenda de 26 categories de paisatges i 5 nivells de generalització amb una resolució espacial de 180 m. Paral·lelament, s’han realitzat validacions indirectes sobre el mapa obtingut a partir dels coneixements naturalistes i la cartografia existent, així com també d’un mapa d’incertesa (aplicant lògica difusa) que aporten informació de la fiabilitat de la classificació realitzada. Els Paisatges Funcionals obtinguts permeten relacionar zones de condicions topo-climàtiques homogènies i dividir el territori en zones caracteritzades ambientalment i no políticament amb la intenció que sigui d’utilitat a l’hora de millorar la gestió dels recursos naturals i la planificació d’actuacions humanes.

Coscheduling techniques and monitoring tools for non-dedicated cluster computing

Our efforts are directed towards the understanding of the coscheduling mechanism in a NOW system when a parallel job is executed jointly with local workloads, balancing parallel performance against the local interactive response. Explicit and implicit coscheduling techniques in a PVM-Linux NOW (or cluster) have been implemented. Furthermore, dynamic coscheduling remains an open question when parallel jobs are executed in a non-dedicated Cluster. A basis model for dynamic coscheduling in Cluster systems is presented in this paper. Also, one dynamic coscheduling algorithm for this model is proposed. The applicability of this algorithm has been proved and its performance analyzed by simulation. Finally, a new tool (named Monito) for monitoring the different queues of messages in such an environments is presented. The main aim of implementing this facility is to provide a mean of capturing the bottlenecks and overheads of the communication system in a PVM-Linux cluster.

El impacto de las aplicaciones intensivas de E/S en la planificación de trabajos en clusters no-dedicados

Con la mayor capacidad de los nodos de procesamiento en relación a la potencia de cómputo, cada vez más aplicaciones intensivas de datos como las aplicaciones de la bioinformática, se llevarán a ejecutar en clusters no dedicados. Los clusters no dedicados se caracterizan por su capacidad de combinar la ejecución de aplicaciones de usuarios locales con aplicaciones, científicas o comerciales, ejecutadas en paralelo. Saber qué efecto las aplicaciones con acceso intensivo a dados producen respecto a la mezcla de otro tipo (batch, interativa, SRT, etc) en los entornos no-dedicados permite el desarrollo de políticas de planificación más eficientes. Algunas de las aplicaciones intensivas de E/S se basan en el paradigma MapReduce donde los entornos que las utilizan, como Hadoop, se ocupan de la localidad de los datos, balanceo de carga de forma automática y trabajan con sistemas de archivos distribuidos. El rendimiento de Hadoop se puede mejorar sin aumentar los costos de hardware, al sintonizar varios parámetros de configuración claves para las especificaciones del cluster, para el tamaño de los datos de entrada y para el procesamiento complejo. La sincronización de estos parámetros de sincronización puede ser demasiado compleja para el usuario y/o administrador pero procura garantizar prestaciones más adecuadas. Este trabajo propone la evaluación del impacto de las aplicaciones intensivas de E/S en la planificación de trabajos en clusters no-dedicados bajo los paradigmas MPI y Mapreduce.

What to consider for applying backfilling on non-dedicated environments

The resource utilization level in open laboratories of several universities has been shown to be very low. Our aim is to take advantage of those idle resources for parallel computation without disturbing the local load. In order to provide a system that lets us execute parallel applications in such a non-dedicated cluster, we use an integral scheduling system that considers both Space and Time sharing concerns. For dealing with the Time Sharing (TS) aspect, we use a technique based on the communication-driven coscheduling principle. This kind of TS system has some implications on the Space Sharing (SS) system, that force us to modify the way job scheduling is traditionally done. In this paper, we analyze the relation between the TS and the SS systems in a non-dedicated cluster. As a consequence of this analysis, we propose a new technique, termed 3DBackfilling. This proposal implements the well known SS technique of backfilling, but applied to an environment with a MultiProgramming Level (MPL) of the parallel applications that is greater than one. Besides, 3DBackfilling considers the requirements of the local workload running on each node. Our proposal was evaluated in a PVM/MPI Linux cluster, and it was compared with several more traditional SS policies applied to non-dedicated environments.

CISNE-P: a global scheduling oriented to NOW environments

In this work, we present an integral scheduling system for non-dedicated clusters, termed CISNE-P, which ensures the performance required by the local applications, while simultaneously allocating cluster resources to parallel jobs. Our approach solves the problem efficiently by using a social contract technique. This kind of technique is based on reserving computational resources, preserving a predetermined response time to local users. CISNE-P is a middleware which includes both a previously developed space-sharing job scheduler and a dynamic coscheduling system, a time sharing scheduling component. The experimentation performed in a Linux cluster shows that these two scheduler components are complementary and a good coordination improves global performance significantly. We also compare two different CISNE-P implementations: one developed inside the kernel, and the other entirely implemented in the user space.

Creating and using a non-dedicated HPC cluster with ParallelKnoppix

This note describes ParallelKnoppix, a bootable CD that allows econometricians with average knowledge of computers to create and begin using a high performance computing cluster for parallel computing in very little time. The computers used may be heterogeneous machines, and clusters of up to 200 nodes are supported. When the cluster is shut down, all machines are in their original state, so their temporary use in the cluster does not interfere with their normal uses. An example shows how a Monte Carlo study of a bootstrap test procedure may be done in parallel. Using a cluster of 20 nodes, the example runs approximately 20 times faster than it does on a single computer.

ParallelKnoppix - Rapid deployment of a linux cluster for MPI parallel processing using non-dedicated computers

This note describes ParallelKnoppix, a bootable CD that allows creation of a Linux cluster in very little time. An experienced user can create a cluster ready to execute MPI programs in less than 10 minutes. The computers used may be heterogeneous machines, of the IA-32 architecture. When the cluster is shut down, all machines except one are in their original state, and the last can be returned to its original state by deleting a directory. The system thus provides a means of using non-dedicated computers to create a cluster. An example session is documented.

Assessing the Precision of Compositional Data in a Stratified Double Stage Cluster Sample: Application to the Swiss Earnings Structure Survey

Precision of released figures is not only an important quality feature of official statistics,it is also essential for a good understanding of the data. In this paper we show a casestudy of how precision could be conveyed if the multivariate nature of data has to betaken into account. In the official release of the Swiss earnings structure survey, the totalsalary is broken down into several wage components. We follow Aitchison's approachfor the analysis of compositional data, which is based on logratios of components. Wefirst present diferent multivariate analyses of the compositional data whereby the wagecomponents are broken down by economic activity classes. Then we propose a numberof ways to assess precision

Disseny i implementació d'un algorisme predictiu de coscheduling dins l'espai d'usuari en un cluster Linux

Dissenyar i implementar un planificador en l'espai d'usuari basant-se en la tècnica de coscheduling, en concret s'utilitzarà coscheduling predictive. L'objectiu és intentar obtenir un rendiment similar al que es va assolir en implementacions de la mateixa tècnica realitzada en l'espai de kernel.

Anàlisi multivariada craniomètrica de les poblacions catalano-balears del passat

S'ha portat a terme una analisi estadística de les dades craniometriques de les principals poblacions catalano-balears del passat, des de J'Edat del Bronze fins a l'Edat Mitjana, i posteriorment s'han integrat les poblacions en un context peninsular més ampli. S'han analitzalles relacions entre poblacions per mitja d'un analisi d'agrupament (cluster), emprant els algoritmes UPGMA i del "veí més proper" i la distancia euclídea al quadrat. Així mateix, s'ha realitzat un re-mostreig (bootstrap) per comprovar la robustes de les agrupacions obtingudes i un test de Mantel per comprovar el grau de concordan~a entre les poblacions femenines i masculines. Els resultats mostren que, a nivell peninsular, els Bascos són la població més diferenciada de la resta des d'un punt de vista morfologic, la qual cosa pot estar relacionada amb una major antiguitat d'aquesta població, potser present des de temps pre-neolítics. La segona font de variació peninsular la constitueixen dues poblacions amb possibles influencies foranies d'origen africa: jueus i musulmans. La resta de poblacions, incloent-hi les de Mallorca, són notablement homogenies a pesar de la seva heterogene'itat cultural, temporal i geogràtfica. Finalment, es conclou que no hi ha cap analisi estadística que objectivament recolzi I'existencia deIs tipus racials tradicionalmcnt descrits a la Península Iberica, i que responen a una visió tipologica i estatica de la diversitat humana.

Subtypes of adolescents with substance use disorders and psychiatric comorbidity using cluster and discriminant analysis of MMPI-A profiles

The main aim of this study was to replicate and extend previous results on subtypes of adolescents with substance use disorders (SUD), according to their Minnesota Multiphasic Personality Inventory for adolescents (MMPI-A) profiles. Sixty patients with SUD and psychiatric comorbidity (41.7% male, mean age = 15.9 years old) completed the MMPI-A, the Teen Addiction Severity Index (T-ASI), the Child Behaviour Checklist (CBCL), and were interviewed in order to determine DSMIV diagnoses and level of substance use. Mean MMPI-A personality profile showed moderate peaks in Psychopathic Deviate, Depression and Hysteria scales. Hierarchical cluster analysis revealed four profiles (acting-out, 35% of the sample; disorganized-conflictive, 15%; normative-impulsive, 15%; and deceptive-concealed, 35%). External correlates were found between cluster 1, CBCL externalizing symptoms at a clinical level and conduct disorders, and between cluster 2 and mixed CBCL internalized/externalized symptoms at a clinical level. Discriminant analysis showed that Depression, Psychopathic Deviate and Psychasthenia MMPI-A scales correctly classified 90% of the patients into the clusters obtained.

Subtypes of adolescents with substance use disorders and psychiatric comorbidity using cluster and discriminant analysis of MMPI-A profiles

The main aim of this study was to replicate and extend previous results on subtypes of adolescents with substance use disorders (SUD), according to their Minnesota Multiphasic Personality Inventory for adolescents (MMPI-A) profiles. Sixty patients with SUD and psychiatric comorbidity (41.7% male, mean age = 15.9 years old) completed the MMPI-A, the Teen Addiction Severity Index (T-ASI), the Child Behaviour Checklist (CBCL), and were interviewed in order to determine DSMIV diagnoses and level of substance use. Mean MMPI-A personality profile showed moderate peaks in Psychopathic Deviate, Depression and Hysteria scales. Hierarchical cluster analysis revealed four profiles (acting-out, 35% of the sample; disorganized-conflictive, 15%; normative-impulsive, 15%; and deceptive-concealed, 35%). External correlates were found between cluster 1, CBCL externalizing symptoms at a clinical level and conduct disorders, and between cluster 2 and mixed CBCL internalized/externalized symptoms at a clinical level. Discriminant analysis showed that Depression, Psychopathic Deviate and Psychasthenia MMPI-A scales correctly classified 90% of the patients into the clusters obtained.

Cómo aplicar un cluster jerárquico en SPSS

L'anàlisi de conglomerats o cluster és una tècnica multivariant que busca agrupar elements o variables tractant d'aconseguir la màxima homogeneïtat en cada grup i la major diferència entre ells, mitjançant una estructura jerarquitzada per poder decidir quin nivell jeràrquic és el més apropiat per establir la classificació. El programa SPSS disposa de tres tipus d'anàlisi de conglomerats: l'anàlisi de conglomerats jeràrquic, bietàpic i de K mitjanes. Aplicarem el mètode jeràrquic com el més idoni per determinar el nombre òptim de conglomerats existent en les dades i el contingut dels mateixos per al nostre cas pràctic.

Assessing the Precision of Compositional Data in a Stratified Double Stage Cluster Sample: Application to the Swiss Earnings Structure Survey

Precision of released figures is not only an important quality feature of official statistics, it is also essential for a good understanding of the data. In this paper we show a case study of how precision could be conveyed if the multivariate nature of data has to be taken into account. In the official release of the Swiss earnings structure survey, the total salary is broken down into several wage components. We follow Aitchison's approach for the analysis of compositional data, which is based on logratios of components. We first present diferent multivariate analyses of the compositional data whereby the wage components are broken down by economic activity classes. Then we propose a number of ways to assess precision

Anàlisi polifàsica de soques de "Pseudomonas fluorescens" potencials agents de biocontrol de malalties de fruiters

Molts bacteris del grup fluorescent del gènere Pseudomonas són capaços de controlar malalties de les plantes causades per fongs i bacteris fitopatògens (ACBs) o mostren activitat com a bacteris promotors del creixement de les plantes (BPCPs). S'han descrit diversos metabòlits que intervenen de manera important en la seva activitat com a ACBs i BPCPs entre els quals en destaquen el 2,4-diacetilfloroglucinol (Phl), àcid fenazin-1-carboxílic (PCA), Pirrolnitrina (Prn), àcid cianhídric (HCN), àcid 3-indolacètic (IAA), sideròfors i quitinases. L'objectiu principal del nostre treball ha estat la comparació de les característiques d'un grup de Pseudomonas del grup fluorescent utilitzant una aproximació polifàsica amb la finalitat d'establir possibles relacions entre algunes de les característiques i la capacitat d'actuar com a ACB o BPCP. Atesa la importància en el biocontrol de la producció de metabòlits com Phl, PCA i Prn, l'objectiu preliminar ha estat la recerca i obtenció de soques productores d'aquests metabòlits. Per assolir aquest objectiu s'ha emprat una aproximació molecular basada en la detecció dels gens biosintètics implicats en la seva producció en lloc de la detecció directa dels metabòlits per evitar els efectes que poden tenir les condicions de cultiu en la inducció o repressió de la seva síntesi. S'han realitzat diferents protocols basats (i) en la cerca assistida de productors mitjançant l'ús de marcadors fenotípics i posterior confirmació per PCR i, (ii) en l'ús de la PCR per a la detecció dels gens directament dels extractes bacterians, d'enriquiments d'aquests extractes i la realització de la hibridació en colònies per al posterior aïllament. La cerca assistida de productors de Phl mitjançant marcadors fenotípics i posteriorment la utilització de tècniques moleculars (amplificació per PCR del gen phlD), ha estat el millor mètode en el tipus de mostres processades en el nostre treball, on la proporció de productors és relativament baixa. En total s'han aïllat a partir de diversos ambients 4 soques portadores dels gens de la síntesi de PCA, 15 de Phl i 1 de Prn. S'ha constituït una col·lecció de 72 soques de Pseudomonas del grup fluorescent que inclou 18 aïllats propis portadors dels gens biosintètics necessaris per la producció de Phl PCA i Prn; 6 soques de referència procedents de col·leccions de cultius tipus, 14 soques productores dels diferents antibiòtics cedides per altres investigadors i una selecció de 34 soques procedents d'un treball previ realitzat en el nostre grup de recerca. A la col·lecció s'hi troben soques candidates a ACB i BPCP de diverses malalties i plantes. Les 72 soques s'han caracteritzat fenotípica i genotípicament. La caracterització fenotípica s'ha portat a terme mitjançant la identificació a nivell d'espècie amb galeries API 20NE i proves bioquímiques específiques; la producció de metabòlits com PCA, Phl, Prn, IAA, HCN, quitinases i sideròfors mitjançant l'ús de diferents tècniques; antagonisme in vitro en diversos medis enfront dos fongs (Stemphylium vesicarium i Penicillium expansum) i tres bacteris fitopatògens (Erwinia amylovora, Pseudomonas syringae pv. syringae i Xanthomonas arboricola pv. juglandis); l'eficàcia de la inhibició de la infecció en bioassaigs in vivo sobre material vegetal enfront els fongs P. expansum en poma i S. vesicarium en fulles de perera i enfront el bacteri E. amylovora en fruits immadurs de perera i, finalment, en assaigs de promoció de creixement en dos portaempelts comercials de Prunus. Cal destacar que P. expansum causa la podridura blava en pomes i peres en postcollita, S. vesicarium la taca bruna de la perera i E. amylovora el foc bacterià de les rosàcies. El nombre de soques de Pseudomonas, sobre el total de les 72 estudiades, productores d'IAA (4) i quitinases (6) és baix, mentre que és elevat en el cas del HCN (32), que a més està associat a la producció de Phl. Els resultats obtinguts en l'antagonisme in vitro han mostrat en el cas dels bacteris que és dependent del patogen indicador i del medi de cultiu. La presència o absència de ferro no sembla ser un factor que potencií l'antagonisme. En el cas dels fongs no s'ha observat però, influència del medi de cultiu emprat. En el total de 72 soques s'ha observat un percentatge baix de soques que manifesten antagonisme en tots els medis assajats vers 3 o 4 dels patògens (7). Solament 2 d'aquestes 7 soques han mostrat ser també efectives en bioassaigs d'inhibició de les infeccions causades per 2 dels 3 patògens assajats. Algunes de les soques efectives en els bioassaigs no són antagonistes in vitro en cap dels medis assajats enfront el mateix patogen. En el cas de la promoció del creixement, s'han observat més soques promotores del creixement del portaempelts de prunera Marianna 2624 que no en l'híbrid de presseguer-ametller GF677 i les eficàcies assolides són també majors en el cas de Marianna 2624, detectant una elevada especificitat soca/portaempelts La caracterització genotípica s'ha realitzat mitjançant l'anàlisi dels polimorfismes en la longitud dels fragments de restricció de DNA ribosomal (RFLP-rDNA) i l'anàlisi dels polimorfismes en la longitud dels fragments de macrorestricció genòmica de DNA cromosòmic separats per electroforesi en camp polsant (MRFLP-PFGE). Ambdues anàlisis van mostrar una gran heterogeneïtat genètica entre les soques caracteritzades i no s'ha pogut relacionar les agrupacions obtingudes amb les característiques fenotípiques o capacitat d'actuar com a ACB o BPCP. Els patrons de macrorestricció genòmica (MRFLP-PFGE) del bacteri model P. fluorescens EPS288 són estables en el temps i independents de les condicions de cultiu assajades al laboratori o en mostres naturals, mostrant ser una tècnica eficaç en la identificació de reaïllats de mostres naturals inoculades prèviament amb el bacteri. Una selecció de soques que comparteixen el fet de produir floroglucinol s'han caracteritzat mitjançant RFLP i seqüenciació del gen phlD. S'ha establert una relació entre les agrupacions obtingudes en les anàlisis RFLP-rDNA, RFLP-phlD i les seqüències del gen. En l'anàlisi filogenètica de les seqüències del gen phlD s'ha observat un elevat grau de polimorfisme obtenint-se 3 agrupacions principals. Les agrupacions semblen relacionar-se amb els patrons de producció de metabòlits (Phl, HCN i Prn en una primera agrupació; Phl i HCN en la segona i solament Phl en la tercera), però aquestes no s'han pogut relacionar amb l'origen geogràfic de les soques o la seva activitat com a ACBs i/o BPCP. Amb les dades obtingudes de la caracterització fenotípica i genotípica s'ha realitzat una anàlisi multivariant (correspondències, correlacions d'Spearman i de freqüències amb variables categòriques). S'ha demostrat la importància de disposar d'una tècnica que permeti depurar una col·lecció de soques descartant les soques genèticament idèntiques, ja que influeixen en els resultats de les anàlisis. Pels tres patògens assajats com a indicadors i els dos portaempelts emprats, no s'ha observat cap correlació entre la inhibició de la infecció o la promoció del creixement amb les característiques fenotípiques i genotípiques de les soques que fos significatiu i consistent en les tres tècniques emprades.