Policy gradient based Reinforcement Learning for real autonomous underwater cable tracking

This paper proposes a field application of a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot in cable tracking task. The learning system is characterized by using a direct policy search method for learning the internal state/action mapping. Policy only algorithms may suffer from long convergence times when dealing with real robotics. In order to speed up the process, the learning phase has been carried out in a simulated environment and, in a second step, the policy has been transferred and tested successfully on a real robot. Future steps plan to continue the learning process on-line while on the real robot while performing the mentioned task. We demonstrate its feasibility with real experiments on the underwater robot ICTINEU AUV

Decentralized model reference control of flexible cable-stayed beam structures

A decentralized model reference controller is designed to reduce the magnitude of the transversal vibration of a flexible cable-stayed beam structure induced by a seismic excitation. The controller design is made based on the principle of sliding mode such that a priori knowledge

Gradient-based reinforcement learning techniques for underwater robotics behavior learning

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG.

Semiactive control strategies for vibration mitigation in adaptronic structures equipped with magnetorheological dampers

Los sistemas tales como edificios y veh¨ªculos est¨¢n sujetos a vibraciones que pueden causar mal funcionamiento, incomodidad o colapso. Para mitigar estas vibraciones, se suelen instalar amortiguadores. Estas estructuras se convierten en sistemas adaptr¨®nicos cuando los amortiguadores son controlables. Esta tesis se enfoca en la soluci¨®n del problema de vibraciones en edificios y veh¨ªculos usando amortiguadores magnetoreol¨®gicos (MR). Estos son unos amortiguadores controlables caracterizados por una din¨¢mica altamente no lineal. Adem¨¢s, los sistemas donde se instalan se caracterizan por la incertidumbre param¨¦trica, la limitaci¨®n de medidas y las perturbaciones desconocidas, lo que obliga al uso de t¨¦cnicas complejas de control. En esta tesis se usan Backstepping, QFT y H2/H¡Þ mixto para resolver el problema. Las leyes de control se verifican mediante simulaci¨®n y experimentaci¨®n.

El virus de l'hepatitis C i la ribonucleasa Phumana: aspectes biològics i terapèutics

El virus de l'hepatitis C (VHC) provoca una hepatitis crònica que afecta a més de 170 milions de persones d'arreu del món. És un virus petit que es classifica dins de la família Flaviviridae i és un virus d'RNA de cadena positiva amb un genoma d'aproximadament 9.600 nucleòtids. A l'extrem 5' del genoma viral s'hi troba una regió no codificant (5'NCR) que comprèn els primers 341 nucleòtids i la seva funció està relaciona amb la traducció. Immediatament després hi ha una pauta de lectura oberta ORF que acaba en un únic codó d'aturada i codifica una poliproteïna de 3.010 aminoàcids. A continuació l'extrem 3' no codificant (3'NCR), que malgrat es desconeixen les seves funcions exactes, s'ha demostrat que és essencial per a la replicació vírica. La única poliproteïna generada és processada co- i postraduccionalment mitjançant proteases de l'hoste i víriques, donant lloc a les proteïnes estructurals (Core, E1 i E2-p7) i no estructurals (NS2-NS5B). Igual que la majoria de virus RNA, el VHC es caracteritza per tenir una taxa de mutació elevada. De fet, el genoma del virus no es pot definir com una única seqüència sinó per una població de variants molt relacionades entre sí. A aquesta manera d'organitzar la informació genètica se l'anomena quasiespècie viral i una de les seves implicacions principals és la facilitat amb què sorgeixen resistents al tractament. Els tractaments disponibles són llargs, cars, provoquen efectes secundaris considerables i només es resolen completament el 40% dels casos. Per aquesta raó es busquen altres solucions terapèutiques per combatre el virus entre les quals s'hi inclouen diferents estratègies. Una de les més innovadores i prometedores és la utilització de ribozims dirigits directament contra el genoma del virus. Aquest treball es centra en l'estudi de les noves estratègies terapèutiques basades en ribozims, concretament la ribonucleasa P. La ribonucleasa P és un ribozim que està present en tots els organismes ja que és l'enzim responsable de la maduració dels precursors d'RNA de transferència. El més interessant a nivell terapèutic és que s'ha demostrat que es pot dirigir la seva activitat cap a qualsevol RNA utilitzant una seqüència guia d'RNA que quan hibrida amb l'RNA diana, l'híbrid imita l'estructura secundària del substrat natural. En el cas del VHC, s'han estudiat ribozims dependents de seqüència (ribozims derivats d'RNAs satèl·lits i de viroides de plantes), sempre dirigits contra la regió més conservada del virus per evitar una disminució de l'eficiència del ribozim deguda a la variació de la diana. La ribonucleasa P és una endonucleasa d'activitat molt específica i es diferencia dels altres ribozims naturals en el sistema de reconeixement del substrat, reconeix elements estructurals i no de seqüència. L'objectiu final del treball és tallar in vitro l'RNA del VHC aprofitant la propietat que presenta aquest ribozim de reconèixer elements estructurals i no de seqüència ja que per a un mateix nombre de seqüències, el nombre d'estructures viables que pot adoptar l'RNA genòmic és molt més petit i per tant la variabilitat de la diana disminueix. S'han estudiat dos models d'RNasa P, la RNasa P humana guiada per seqüència guia externa (EGS) i l'RNA M1 de l'RNasa P d'E.coli unit a la seqüència guia per l'extrem 3' (ribozim M1GS). Abans però de dirigir el ribozim, s'han estudiat l'estructura i la variabilitat d'una regió del genoma del virus ja que s'ha descrit que són factors que poden limitar l'eficiència de qualsevol ribozim. Derivat d'aquests estudis s'aporten dades sobre accessibilitat i variabilitat d'una regió interna del genoma del virus de l'hepatitis C, la zona d'unió de la regió E2/NS2 (regió 2658-2869). L'estudi d'accessibilitat revela que la regió 2658-2869 del genoma del virus conté dominis oberts i tancats i que la transició entre uns i altres no és brusca si es compara amb altres regions d'estructura coneguda (regió 5' no codificant). Els resultats dels assajos in vitro amb els dos models de RNasa P mostren que s'ha aconseguit dirigir tant la ribonucleasa P humana com el ribozim M1GS cap a una zona, predeterminada segons l'estudi d'accessibilitat, com a poc estructurada i tallar l'RNA del virus. De l'anàlisi de mutacions, però, es dedueix que la regió estudiada és variable. Tot i dirigir el ribozim cap a la zona més accessible, la variació de la diana podria afectar la interacció amb la seqüència guia i per tant disminuir l'eficiència de tall. Si es proposés una estratègia terapèutica consistiria en un atac simultani de vàries dianes.D'altra banda i derivat d'un resultat inesperat on s'ha observat en els experiments control que l'extracte de RNasa P humana tallava l'RNA viral en absència de seqüències guia externes, s'ha caracteritzat una nova interacció entre l'RNA del VHC i la RNasa P humana. Per a la identificació de l'enzim responsable dels talls s'han aplicat diferents tècniques que es poden dividir en mètodes directes (RNA fingerprinting) i indirectes (immunoprecipitació i inhibicions competitives). Els resultats demostren que la ribonucleasa P humana, i no un altre enzim contaminant de l'extracte purificat, és la responsable dels dos talls específics observats i que es localitzen, un a l'entrada interna al ribosoma (IRES) i molt a prop del codó AUG d'inici de la traducció i l'altre entre la regió codificant estructural i no estructural. La ribonucleasa P és un dels enzims del metabolisme del tRNA que s'utilitza per identificar estructures similars al tRNA en substrats diferents del substrat natural. Així doncs, el fet que la ribonucleasa P reconegui i talli el genoma del VHC en dues posicions determinades suggereix que, a les zones de tall, el virus conté estructures semblants al substrat natural, és a dir estructures tipus tRNA. A més, tot i que el VHC és molt variable, els resultats indiquen que aquestes estructures poden ser importants per el virus, ja que es mantenen en totes les variants naturals analitzades. Creiem que la seva presència podria permetre al genoma interaccionar amb factors cel·lulars que intervenen en la biologia del tRNA,particularment en el cas de l'estructura tipus tRNA que es localitza a l'element IRES. Independentment però de la seva funció, es converteixen en unes noves dianes terapèutiques per a la RNasa P. S'ha de replantejar però l'estratègia inicial ja que la similitud amb el tRNA les fa susceptibles a l'atac de la ribonucleasa P, directament, en absència de seqüències guia externes.

Reducció de vibracions residuals en moviments transitoris. Definició de lleis de moviment per mitjà de corbes B-spline

Molts sistemes mecànics existents tenen un comportament vibratori funcionalment perceptible, que es posa de manifest enfront d'excitacions transitòries. Normalment, les vibracions generades segueixen presents després del transitori (vibracions residuals), i poden provocar efectes negatius en la funció de disseny del mecanisme. El mètode que es proposa en aquesta tesi té com a objectiu principal la síntesi de lleis de moviment per reduir les vibracions residuals. Addicionalment, els senyals generats permeten complir dues condicions definides per l'usuari (anomenats requeriments funcionals). El mètode es fonamenta en la relació existent entre el contingut freqüencial d'un senyal transitori, i la vibració residual generada, segons sigui l'esmorteïment del sistema. Basat en aquesta relació, i aprofitant les propietats de la transformada de Fourier, es proposa la generació de lleis de moviment per convolució temporal de polsos. Aquestes resulten formades per trams concatenats de polinomis algebraics, cosa que facilita la seva implementació en entorns numèrics per mitjà de corbes B-spline.