Autonomous underwater vehicle control using reinforcement learning policy search methods

Autonomous underwater vehicles (AUV) represent a challenging control problem with complex, noisy, dynamics. Nowadays, not only the continuous scientific advances in underwater robotics but the increasing number of subsea missions and its complexity ask for an automatization of submarine processes. This paper proposes a high-level control system for solving the action selection problem of an autonomous robot. The system is characterized by the use of reinforcement learning direct policy search methods (RLDPS) for learning the internal state/action mapping of some behaviors. We demonstrate its feasibility with simulated experiments using the model of our underwater robot URIS in a target following task

Control and optimization of an SBR for nitrogen removal: from model calibration to plant operation

En aquesta tesis s'ha desenvolupat un sistema de control capaç d'optimitzar el funcionament dels Reactors Discontinus Seqüencials dins el camp de l'eliminació de matèria orgànica i nitrogen de les aigües residuals. El sistema de control permet ajustar en línia la durada de les etapes de reacció a partir de mesures directes o indirectes de sondes. En una primera etapa de la tesis s'ha estudiat la calibració de models matemàtics que permeten realitzar fàcilment provatures de diferents estratègies de control. A partir de l'anàlisis de dades històriques s'han plantejat diferents opcions per controlar l'SBR i les més convenients s'han provat mitjançant simulació. Després d'assegurar l'èxit de l'estratègia de control mitjançant simulacions s'ha implementat en una planta semi-industrial. Finalment es planteja l'estructura d'uns sistema supervisor encarregat de controlar el funcionament de l'SBR no només a nivell de fases sinó també a nivell cicle.

Admission Control for TCP Flows Using Packet Classes and Edge-to-edge Measurements of Aggregates

TCP flows from applications such as the web or ftp are well supported by a Guaranteed Minimum Throughput Service (GMTS), which provides a minimum network throughput to the flow and, if possible, an extra throughput. We propose a scheme for a GMTS using Admission Control (AC) that is able to provide different minimum throughput to different users and that is suitable for "standard" TCP flows. Moreover, we consider a multidomain scenario where the scheme is used in one of the domains, and we propose some mechanisms for the interconnection with neighbor domains. The whole scheme uses a small set of packet classes in a core-stateless network where each class has a different discarding priority in queues assigned to it. The AC method involves only edge nodes and uses a special probing packet flow (marked as the highest discarding priority class) that is sent continuously from ingress to egress through a path. The available throughput in the path is obtained at the egress using measurements of flow aggregates, and then it is sent back to the ingress. At the ingress each flow is detected using an implicit way and then it is admission controlled. If it is accepted, it receives the GMTS and its packets are marked as the lowest discarding priority classes; otherwise, it receives a best-effort service. The scheme is evaluated through simulation in a simple "bottleneck" topology using different traffic loads consisting of "standard" TCP flows that carry files of varying sizes

Genotypic comparison of Pantoea agglomerans plant and clinical strains

Pantoea agglomerans strains are among the most promising biocontrol agents for a variety of bacterial and fungal plant diseases, particularly fire blight of apple and pear. However, commercial registration of P. agglomerans biocontrol products is hampered because this species is currently listed as a biosafety level 2 (BL2) organism due to clinical reports as an opportunistic human pathogen. This study compares plant-origin and clinical strains in a search for discriminating genotypic/phenotypic markers using multi-locus phylogenetic analysis and fluorescent amplified fragment length polymorphisms (fAFLP) fingerprinting. Results: Majority of the clinical isolates from culture collections were found to be improperly designated as P. agglomerans after sequence analysis. The frequent taxonomic rearrangements underwent by the Enterobacter agglomerans/Erwinia herbicola complex may be a major problem in assessing clinical associations within P. agglomerans. In the P. agglomerans sensu stricto (in the stricter sense) group, there was no discrete clustering of clinical/biocontrol strains and no marker was identified that was uniquely associated to clinical strains. A putative biocontrol-specific fAFLP marker was identified only in biocontrol strains. The partial ORF located in this band corresponded to an ABC transporter that was found in all P. agglomerans strains. Conclusion: Taxonomic mischaracterization was identified as a major problem with P. agglomerans, and current techniques removed a majority of clinical strains from this species. Although clear discrimination between P. agglomerans plant and clinical strains was not obtained with phylogenetic analysis, a single marker characteristic of biocontrol strains was identified which may be of use in strain biosafety determinations. In addition, the lack of Koch's postulate fulfilment, rare retention of clinical strains for subsequent confirmation, and the polymicrobial nature of P. agglomerans clinical reports should be considered in biosafety assessment of beneficial strains in this species

Anàlisi polifàsica de soques de "Pseudomonas fluorescens" potencials agents de biocontrol de malalties de fruiters

Molts bacteris del grup fluorescent del gènere Pseudomonas són capaços de controlar malalties de les plantes causades per fongs i bacteris fitopatògens (ACBs) o mostren activitat com a bacteris promotors del creixement de les plantes (BPCPs). S'han descrit diversos metabòlits que intervenen de manera important en la seva activitat com a ACBs i BPCPs entre els quals en destaquen el 2,4-diacetilfloroglucinol (Phl), àcid fenazin-1-carboxílic (PCA), Pirrolnitrina (Prn), àcid cianhídric (HCN), àcid 3-indolacètic (IAA), sideròfors i quitinases. L'objectiu principal del nostre treball ha estat la comparació de les característiques d'un grup de Pseudomonas del grup fluorescent utilitzant una aproximació polifàsica amb la finalitat d'establir possibles relacions entre algunes de les característiques i la capacitat d'actuar com a ACB o BPCP. Atesa la importància en el biocontrol de la producció de metabòlits com Phl, PCA i Prn, l'objectiu preliminar ha estat la recerca i obtenció de soques productores d'aquests metabòlits. Per assolir aquest objectiu s'ha emprat una aproximació molecular basada en la detecció dels gens biosintètics implicats en la seva producció en lloc de la detecció directa dels metabòlits per evitar els efectes que poden tenir les condicions de cultiu en la inducció o repressió de la seva síntesi. S'han realitzat diferents protocols basats (i) en la cerca assistida de productors mitjançant l'ús de marcadors fenotípics i posterior confirmació per PCR i, (ii) en l'ús de la PCR per a la detecció dels gens directament dels extractes bacterians, d'enriquiments d'aquests extractes i la realització de la hibridació en colònies per al posterior aïllament. La cerca assistida de productors de Phl mitjançant marcadors fenotípics i posteriorment la utilització de tècniques moleculars (amplificació per PCR del gen phlD), ha estat el millor mètode en el tipus de mostres processades en el nostre treball, on la proporció de productors és relativament baixa. En total s'han aïllat a partir de diversos ambients 4 soques portadores dels gens de la síntesi de PCA, 15 de Phl i 1 de Prn. S'ha constituït una col·lecció de 72 soques de Pseudomonas del grup fluorescent que inclou 18 aïllats propis portadors dels gens biosintètics necessaris per la producció de Phl PCA i Prn; 6 soques de referència procedents de col·leccions de cultius tipus, 14 soques productores dels diferents antibiòtics cedides per altres investigadors i una selecció de 34 soques procedents d'un treball previ realitzat en el nostre grup de recerca. A la col·lecció s'hi troben soques candidates a ACB i BPCP de diverses malalties i plantes. Les 72 soques s'han caracteritzat fenotípica i genotípicament. La caracterització fenotípica s'ha portat a terme mitjançant la identificació a nivell d'espècie amb galeries API 20NE i proves bioquímiques específiques; la producció de metabòlits com PCA, Phl, Prn, IAA, HCN, quitinases i sideròfors mitjançant l'ús de diferents tècniques; antagonisme in vitro en diversos medis enfront dos fongs (Stemphylium vesicarium i Penicillium expansum) i tres bacteris fitopatògens (Erwinia amylovora, Pseudomonas syringae pv. syringae i Xanthomonas arboricola pv. juglandis); l'eficàcia de la inhibició de la infecció en bioassaigs in vivo sobre material vegetal enfront els fongs P. expansum en poma i S. vesicarium en fulles de perera i enfront el bacteri E. amylovora en fruits immadurs de perera i, finalment, en assaigs de promoció de creixement en dos portaempelts comercials de Prunus. Cal destacar que P. expansum causa la podridura blava en pomes i peres en postcollita, S. vesicarium la taca bruna de la perera i E. amylovora el foc bacterià de les rosàcies. El nombre de soques de Pseudomonas, sobre el total de les 72 estudiades, productores d'IAA (4) i quitinases (6) és baix, mentre que és elevat en el cas del HCN (32), que a més està associat a la producció de Phl. Els resultats obtinguts en l'antagonisme in vitro han mostrat en el cas dels bacteris que és dependent del patogen indicador i del medi de cultiu. La presència o absència de ferro no sembla ser un factor que potencií l'antagonisme. En el cas dels fongs no s'ha observat però, influència del medi de cultiu emprat. En el total de 72 soques s'ha observat un percentatge baix de soques que manifesten antagonisme en tots els medis assajats vers 3 o 4 dels patògens (7). Solament 2 d'aquestes 7 soques han mostrat ser també efectives en bioassaigs d'inhibició de les infeccions causades per 2 dels 3 patògens assajats. Algunes de les soques efectives en els bioassaigs no són antagonistes in vitro en cap dels medis assajats enfront el mateix patogen. En el cas de la promoció del creixement, s'han observat més soques promotores del creixement del portaempelts de prunera Marianna 2624 que no en l'híbrid de presseguer-ametller GF677 i les eficàcies assolides són també majors en el cas de Marianna 2624, detectant una elevada especificitat soca/portaempelts La caracterització genotípica s'ha realitzat mitjançant l'anàlisi dels polimorfismes en la longitud dels fragments de restricció de DNA ribosomal (RFLP-rDNA) i l'anàlisi dels polimorfismes en la longitud dels fragments de macrorestricció genòmica de DNA cromosòmic separats per electroforesi en camp polsant (MRFLP-PFGE). Ambdues anàlisis van mostrar una gran heterogeneïtat genètica entre les soques caracteritzades i no s'ha pogut relacionar les agrupacions obtingudes amb les característiques fenotípiques o capacitat d'actuar com a ACB o BPCP. Els patrons de macrorestricció genòmica (MRFLP-PFGE) del bacteri model P. fluorescens EPS288 són estables en el temps i independents de les condicions de cultiu assajades al laboratori o en mostres naturals, mostrant ser una tècnica eficaç en la identificació de reaïllats de mostres naturals inoculades prèviament amb el bacteri. Una selecció de soques que comparteixen el fet de produir floroglucinol s'han caracteritzat mitjançant RFLP i seqüenciació del gen phlD. S'ha establert una relació entre les agrupacions obtingudes en les anàlisis RFLP-rDNA, RFLP-phlD i les seqüències del gen. En l'anàlisi filogenètica de les seqüències del gen phlD s'ha observat un elevat grau de polimorfisme obtenint-se 3 agrupacions principals. Les agrupacions semblen relacionar-se amb els patrons de producció de metabòlits (Phl, HCN i Prn en una primera agrupació; Phl i HCN en la segona i solament Phl en la tercera), però aquestes no s'han pogut relacionar amb l'origen geogràfic de les soques o la seva activitat com a ACBs i/o BPCP. Amb les dades obtingudes de la caracterització fenotípica i genotípica s'ha realitzat una anàlisi multivariant (correspondències, correlacions d'Spearman i de freqüències amb variables categòriques). S'ha demostrat la importància de disposar d'una tècnica que permeti depurar una col·lecció de soques descartant les soques genèticament idèntiques, ja que influeixen en els resultats de les anàlisis. Pels tres patògens assajats com a indicadors i els dos portaempelts emprats, no s'ha observat cap correlació entre la inhibició de la infecció o la promoció del creixement amb les característiques fenotípiques i genotípiques de les soques que fos significatiu i consistent en les tres tècniques emprades.

Conceptual design of wastewater treatment plants using multiple objectives

La implementació de la Directiva Europea 91/271/CEE referent a tractament d'aigües residuals urbanes va promoure la construcció de noves instal·lacions al mateix temps que la introducció de noves tecnologies per tractar nutrients en àrees designades com a sensibles. Tant el disseny d'aquestes noves infraestructures com el redisseny de les ja existents es va portar a terme a partir d'aproximacions basades fonamentalment en objectius econòmics degut a la necessitat d'acabar les obres en un període de temps relativament curt. Aquests estudis estaven basats en coneixement heurístic o correlacions numèriques provinents de models determinístics simplificats. Així doncs, moltes de les estacions depuradores d'aigües residuals (EDARs) resultants van estar caracteritzades per una manca de robustesa i flexibilitat, poca controlabilitat, amb freqüents problemes microbiològics de separació de sòlids en el decantador secundari, elevats costos d'operació i eliminació parcial de nutrients allunyant-les de l'òptim de funcionament. Molts d'aquestes problemes van sorgir degut a un disseny inadequat, de manera que la comunitat científica es va adonar de la importància de les etapes inicials de disseny conceptual. Precisament per aquesta raó, els mètodes tradicionals de disseny han d'evolucionar cap a sistemes d'avaluació mes complexos, que tinguin en compte múltiples objectius, assegurant així un millor funcionament de la planta. Tot i la importància del disseny conceptual tenint en compte múltiples objectius, encara hi ha un buit important en la literatura científica tractant aquest camp d'investigació. L'objectiu que persegueix aquesta tesi és el de desenvolupar un mètode de disseny conceptual d'EDARs considerant múltiples objectius, de manera que serveixi d'eina de suport a la presa de decisions al seleccionar la millor alternativa entre diferents opcions de disseny. Aquest treball de recerca contribueix amb un mètode de disseny modular i evolutiu que combina diferent tècniques com: el procés de decisió jeràrquic, anàlisi multicriteri, optimació preliminar multiobjectiu basada en anàlisi de sensibilitat, tècniques d'extracció de coneixement i mineria de dades, anàlisi multivariant i anàlisi d'incertesa a partir de simulacions de Monte Carlo. Això s'ha aconseguit subdividint el mètode de disseny desenvolupat en aquesta tesis en quatre blocs principals: (1) generació jeràrquica i anàlisi multicriteri d'alternatives, (2) anàlisi de decisions crítiques, (3) anàlisi multivariant i (4) anàlisi d'incertesa. El primer dels blocs combina un procés de decisió jeràrquic amb anàlisi multicriteri. El procés de decisió jeràrquic subdivideix el disseny conceptual en una sèrie de qüestions mes fàcilment analitzables i avaluables mentre que l'anàlisi multicriteri permet la consideració de diferent objectius al mateix temps. D'aquesta manera es redueix el nombre d'alternatives a avaluar i fa que el futur disseny i operació de la planta estigui influenciat per aspectes ambientals, econòmics, tècnics i legals. Finalment aquest bloc inclou una anàlisi de sensibilitat dels pesos que proporciona informació de com varien les diferents alternatives al mateix temps que canvia la importància relativa del objectius de disseny. El segon bloc engloba tècniques d'anàlisi de sensibilitat, optimització preliminar multiobjectiu i extracció de coneixement per donar suport al disseny conceptual d'EDAR, seleccionant la millor alternativa un cop s'han identificat decisions crítiques. Les decisions crítiques són aquelles en les que s'ha de seleccionar entre alternatives que compleixen de forma similar els objectius de disseny però amb diferents implicacions pel que respecte a la futura estructura i operació de la planta. Aquest tipus d'anàlisi proporciona una visió més àmplia de l'espai de disseny i permet identificar direccions desitjables (o indesitjables) cap on el procés de disseny pot derivar. El tercer bloc de la tesi proporciona l'anàlisi multivariant de les matrius multicriteri obtingudes durant l'avaluació de les alternatives de disseny. Específicament, les tècniques utilitzades en aquest treball de recerca engloben: 1) anàlisi de conglomerats, 2) anàlisi de components principals/anàlisi factorial i 3) anàlisi discriminant. Com a resultat és possible un millor accés a les dades per realitzar la selecció de les alternatives, proporcionant més informació per a una avaluació mes efectiva, i finalment incrementant el coneixement del procés d'avaluació de les alternatives de disseny generades. En el quart i últim bloc desenvolupat en aquesta tesi, les diferents alternatives de disseny són avaluades amb incertesa. L'objectiu d'aquest bloc és el d'estudiar el canvi en la presa de decisions quan una alternativa és avaluada incloent o no incertesa en els paràmetres dels models que descriuen el seu comportament. La incertesa en el paràmetres del model s'introdueix a partir de funcions de probabilitat. Desprès es porten a terme simulacions Monte Carlo, on d'aquestes distribucions se n'extrauen números aleatoris que es subsisteixen pels paràmetres del model i permeten estudiar com la incertesa es propaga a través del model. Així és possible analitzar la variació en l'acompliment global dels objectius de disseny per a cada una de les alternatives, quines són les contribucions en aquesta variació que hi tenen els aspectes ambientals, legals, econòmics i tècnics, i finalment el canvi en la selecció d'alternatives quan hi ha una variació de la importància relativa dels objectius de disseny. En comparació amb les aproximacions tradicionals de disseny, el mètode desenvolupat en aquesta tesi adreça problemes de disseny/redisseny tenint en compte múltiples objectius i múltiples criteris. Al mateix temps, el procés de presa de decisions mostra de forma objectiva, transparent i sistemàtica el perquè una alternativa és seleccionada en front de les altres, proporcionant l'opció que més bé acompleix els objectius marcats, mostrant els punts forts i febles, les principals correlacions entre objectius i alternatives, i finalment tenint en compte la possible incertesa inherent en els paràmetres del model que es fan servir durant les anàlisis. Les possibilitats del mètode desenvolupat es demostren en aquesta tesi a partir de diferents casos d'estudi: selecció del tipus d'eliminació biològica de nitrogen (cas d'estudi # 1), optimització d'una estratègia de control (cas d'estudi # 2), redisseny d'una planta per aconseguir eliminació simultània de carboni, nitrogen i fòsfor (cas d'estudi # 3) i finalment anàlisi d'estratègies control a nivell de planta (casos d'estudi # 4 i # 5).

Design and synthesis of short antimicrobial peptides for plant protection. Study of their mode of action

Aquesta tesi doctoral està basada en el desenvolupament de nous agents antimicrobians derivats del pèptid híbrid cecropina A-melitina WKLFKKILKVL-NH2 (Pep3) que siguin sostenibles i útils per al control de malalties de plantes. Es van dissenyar i sintetitzar més de 133 anàlegs de Pep3 mitjançant química combinatòria. Es van obtenir anàlegs de Pep3 amb una elevada activitat contra fitopatògens i que presentaven baixa toxicitat. Els millors anàlegs van presentar eficàcies comparables amb pesticides de referència en la prevenció d'infeccions causades per fitopatògens. Es va estudiar el mecanisme d'acció de KKLFKKILKYL-NH2 (BP100) investigant la seva interacció amb models de membrana mitjançant tècniques espectroscòpiques. Es va observar la capacitat de BP100 a induir la permeabilització, la neutralització, i l'agregació de vesícules lipídiques aniòniques a una determinada concentració llindar. Es va deduir una equació que relaciona la CMI d'un pèptid antimicrobià amb la constant de partició i la concentració llindar en la membrana.

Local model predictive control for navigation of a wheeled mobile robot using monocular information

Aquesta tesi està inspirada en els agents naturals per tal de planificar de manera dinàmica la navegació d'un robot diferencial de dues rodes. Les dades dels sistemes de percepció són integrades dins una graella d'ocupació de l'entorn local del robot. La planificació de les trajectòries es fa considerant la configuració desitjada del robot, així com els vértexs més significatius dels obstacles més propers. En el seguiment de les trajectòries s'utilitzen tècniques locals de control predictiu basades en el model, amb horitzons de predicció inferiors a un segon. La metodologia emprada és validada mitjançant nombrosos experiments.

Quantified real constraint solving using modal intervals with applications to control

Les restriccions reals quantificades (QRC) formen un formalisme matemàtic utilitzat per modelar un gran nombre de problemes físics dins els quals intervenen sistemes d'equacions no-lineals sobre variables reals, algunes de les quals podent ésser quantificades. Els QRCs apareixen en nombrosos contextos, com l'Enginyeria de Control o la Biologia. La resolució de QRCs és un domini de recerca molt actiu dins el qual es proposen dos enfocaments diferents: l'eliminació simbòlica de quantificadors i els mètodes aproximatius. Tot i això, la resolució de problemes de grans dimensions i del cas general, resten encara problemes oberts. Aquesta tesi proposa una nova metodologia aproximativa basada en l'Anàlisi Intervalar Modal, una teoria matemàtica que permet resoldre problemes en els quals intervenen quantificadors lògics sobre variables reals. Finalment, dues aplicacions a l'Enginyeria de Control són presentades. La primera fa referència al problema de detecció de fallades i la segona consisteix en un controlador per a un vaixell a vela.