A behavior-based scheme using reinforcement learning for autonomous underwater vehicles

This paper presents a hybrid behavior-based scheme using reinforcement learning for high-level control of autonomous underwater vehicles (AUVs). Two main features of the presented approach are hybrid behavior coordination and semi on-line neural-Q_learning (SONQL). Hybrid behavior coordination takes advantages of robustness and modularity in the competitive approach as well as efficient trajectories in the cooperative approach. SONQL, a new continuous approach of the Q_learning algorithm with a multilayer neural network is used to learn behavior state/action mapping online. Experimental results show the feasibility of the presented approach for AUVs

El risc dinàmic: concepte, mesura i determinants econòmics

Aquesta tesi té la intenció de realitzar una contribució metodològica en el camp de la direcció estratègica, per mitjà de tres objectius: la revisió del concepte de risc ex post o realitzat per l'àmbit de la direcció estratègica; la concreció d'aquest concepte en una mesura de risc vàlida; i l'exploració de les possibilitats i l'interès de la descomposició del risc en diferents determinants que puguin explicar-ne la seva naturalesa. El primer objectiu es du a terme prenent com a base el concepte intuïtiu de risc i revisant la literatura en els camps més afins, especialment en la teoria comportamental de la decisió i la direcció estratègica. L'anàlisi porta a formular el risc ex post d'una activitat com el grau en què no s'han assolit els objectius per a aquesta activitat. La concreció d'aquesta definició al camp de la direcció estratègica implica que els objectius han de portar a l'obtenció de l'avantatge competitiu sostenible, el que descobreix l'interès de realitzar la mesura del risc a curt termini, és a dir, estàticament, i a llarg termini, és a dir, dinàmicament, pel que es defineix una mesura de Risc Estàtic i una altra de Risc dinàmic, respectivament. En l'anàlisi apareixen quatre dimensions conceptuals bàsiques a incorporar en les mesures: sign dependence, relativa, longitudinal i path dependence. Addicionalment, la consideració de que els resultats puguin ser cardinals o ordinals justifica que es formulin les dues mesures anteriors per a resultats cardinals i, en segon lloc, per a resultats ordinals. Les mesures de risc que es proposen sintetitzen els resultats ex post obtinguts en una mesura de centralitat relativa dels resultats, el Risc Estàtic, i una mesura de la tendència temporal dels resultats, el Risc Dinàmic. Aquesta proposta contrasta amb el plantejament tradicional dels models esperança-variància. Les mesures desenvolupades s'avaluen amb un sistema de propietats conceptuals i tècniques que s'elaboren expressament en la tesi i que permeten demostrar el seu gra de validesa i el de les mesures existents en la literatura, destacant els problemes de validesa d'aquestes darreres. També es proporciona un exemple teòric il·lustratiu de les mesures proposades que dóna suport a l'avaluació realitzada amb el sistema de propietats. Una contribució destacada d'aquesta tesi és la demostració de que les mesures de risc proposades permeten la descomposició additiva del risc si els resultats o diferencials de resultats es descomponen additivament. Finalment, la tesi inclou una aplicació de les mesures de Risc Estàtic i Dinàmic cardinals, així com de la seva descomposició, a l'anàlisi de la rendibilitat del sector bancari espanyol, en el període 1987-1999. L'aplicació il·lustra la capacitat de les mesures proposades per a analitzar la manifestació de l'avantatge competitiu, la seva evolució i naturalesa econòmica. En les conclusions es formulen possibles línees d'investigació futures.

Aplicació d'algoritmes genètics en l'optimització dels processos de fabricació del paper

La creciente preocupación y concienciación de la sociedad respecto el medio ambiente, y en consecuencia la legislación y regulaciones generadas inducen a la modificación de los procesos productivos existentes en la industria química. Las configuraciones iniciales deben modificarse para conseguir una mayor integración de procesos. Para este fin se han creado y desarrollado diferentes metodologías que deben facilitar la tarea a los responsables del rediseño. El desarrollo de una metodología y herramientas complementarias es el principal objetivo de la investigación aquí presentada, especialmente centrada en el desarrollo y la aplicación de una metodología de optimización de procesos. Esta metodología de optimización se aplica sobre configuraciones de proceso existentes y pretende encontrar nuevas configuraciones viables según los objetivos de optimización fijados. La metodología tiene dos partes diferenciadas: la primera se basa en un simulador de procesos comercial y la segunda es la técnica de optimización propiamente dicha. La metodología se inicia con la elaboración de una simulación convenientemente validada que reproduzca el proceso existente, en este caso una papelera no integrada que produce papel estucado de calidad, para impresión. A continuación la técnica de optimización realiza una búsqueda dentro del dominio de los posibles resultados, en busca de los mejores resultados que satisfazcan plenamente los objetivos planteados. Dicha técnica de optimización está basada en los algoritmos genéticos como herramienta de búsqueda, junto a un subprograma basado en técnicas de programación matemática para el cálculo de resultados. Un número reducido de resultados son finalmente escogidos y utilizados para modificar la simulación existente fijando la redistribución de los flujos del proceso. Los resultados de la simulación del proceso determinan en último caso la viabilidad técnica de cada reconfiguración planteada. En el proceso de optimización, los objetivos están definidos en una función objetivo dentro de la técnica de optimización. Dicha función rige la búsqueda de resultados. La función objetivo puede ser individual o una combinación de objetivos. En el presente caso, la función persigue una minimización del consumo de agua y una minimización de la pérdida de materia prima. La optimización se realiza bajo restricciones para alcanzar este objetivo combinado en forma de una solución de compromiso. Producto de la aplicación de esta metodología se han obtenido resultados interesantes que significan una mejora del cierre de circuitos y un ahorro de materia prima, sin comprometer al mismo tiempo la operabilidad del proceso producto ni la calidad del papel.

Les sHsps en surera: capacitat protectora enfront l'estrés i variabilitat genètica

Els organismes responen a la temperatura i a molts altres estressos sintetitzant un grup de proteïnes anomenat proteïnes de xoc de calor (HSPs). En plantes les sHsps, d'entre 15 i 30 kDa formen el grup més abundant i divers, classificat en funció de la seva localització subcel.lular i homologia en: mitocondrials, cloroplàstiques, de reticle endoplasmàtic i citoplàsmiques de classe I i II. Les sHsps-CI s'ha descrit que s'indueixen per estrès tèrmic, hídric i oxidatiu (peròxid d'hidrògen, llum UV, ozó) i en resposta a algunes hormones. També s'expressen durant el desenvolupament, per exemple durant l'embriogènesi, on es creu que podrien tenir un paper protector de l'embrió enfront la dessecació. Tot i que hi ha abundants treballs que correlacionen la resistència a l'estrès i l'acumulació de sHsps-CI, els mecanismes moleculars d'aquesta activitat són poc conguts. Tot i això, per diverses sHsps-CI ha estat descrita una activitat xaperona in vitro i, més recentment, que la seva sobreexpressió augmenta la viabilitat de cèl.lules d'E.coli en condicions d'estrès tèrmic. L'estudi de l'acumulació de sHsps-CI en surera (Quercus suber) mitjançant immunodetecció en electroforesi bidimensional mostra uns patrons d'acumulació complexos i formats per dos grups d'espècies proteiques principals, a l'entorn dels 10 i 17 kDa respectivament, que mostren una inducció diferencial en funció del teixit i l'estrès. Mentre que les espècies proteiques de 17 kDa s'indueixen per temperatura però no per estrès oxidatiu, les de ca. 10 kDa ho fan per estrès oxidatiu i no per temperatura. Ambdós grups d'espècies proteiques s'acumulen conjuntament en fel.lema. Assajos de PCR i RT-PCR han permès clonar parcialment tres noves sHsps-CI en surera: Qshsp10-CI, QshspC-CI i QshspD-CI. Aquest fet confirma la multigeneïcitat de les sHsps-CI en surera que apuntava el patró bidimensional. Dels nous clons obtinguts destaca especialment Qshsp10-CI, un gen que presenta un codó stop enmig del domini -cristal.lí que fa que a la proteïna que se'n dedueix li manqui un 55% del domini -cristal.lí i tota l'extensió C-terminal. Es tractaria de la sHsp més petita i més truncada descrita fins al moment. L'anàlisi de l'expressió de Qshsp10-CI mitjançant RT-PCR mostra expressió en plantes tractades amb H2O2 però no en les que han estat sotmeses a un xoc de calor. Aprofitant l'oportunitat que oferia aquesta sHsp-CI de ser utilitzada com a model per l'estudi de la importància del domini -cristal.lí i l'extensió C-terminal en l'activitat protectora enfront l'estrès, es va voler determinar la capacitat que tenia d'augmentar la viabilitat de cèl.lules d'E. coli en condicions d'estrès tèrmic i oxidatiu. Els resultats mostren que la proteïna recombinant QsHsp10-CI, tot i la important truncació que té, és capaç de protegir cèl.lules d'E. coli en condicions d'estrès tèrmic i, remarcablement, en condicions d'estrès oxidatiu. Tots aquests resultats indiquen que les espècies proteiques de ca. 10 kDa podrien correspondre a Qshsp10-CI i tenir un paper en les cèl.lules del fel.lema en la protecció enfront l'estrès oxidatiu. L'estrès oxidatiu provoca lesions al DNA que poden produir errors en la replicació, transcripció o traducció i generar proteïnes aberrants. Donades les condicions d'estrès oxidatiu a les quals es troben sotmeses les cèl.lules del fel.lema, s'ha volgut estudiar la variabilitat dels seus àcids nucleics. La determinació de la taxa de mutació de la regió codificant del gen Qshsp17.4-CI en mRNA i DNA de fel.lema i àpex radicular, un teixit jove i en creixement actiu va mostrar unes taxes sorprenentment elevades en l'mRNA (1/1784 pb) i el DNA genòmic (1/1520 pb) del fel.lema. Aquestes taxes són les més altes descrites en un genoma nuclear eucariota i són similars a les dels virus d'RNA d'evolució ràpida com el virus de l'Hepatitis C. Amb aquestes taxes de mutació, un terç dels mRNAs del fel.lema de la surera contindrien missatges aberrants i la supervivència de les cel.lules es veuria compromesa. Això implica que el fel.lema hauria de ser considerat com un mosaic de cèl.lules genèticament heterogènies i, per tant, una sola seqüència no defineix en tota la seva amplitud un gen en aquest teixit. No es va detectar cap mutació en àpex de rel. Amb l'objectiu d'aprofundir en el coneixement de les mutacions que es donen en aquests dos teixits i per tal de poder fer una anàlisi qualitativa més completa que permetés especular sobre el seu origen, es va aplicar un mètode de selecció de seqüències mutants en base a la utilització d'enzims de restricció. Les mutacions detectades en fel.lema es corresponen amb les relacionades, en altres sistemes no nuclears (plasmidis, fags i DNA bacterià), amb l'estrès oxidatiu. En conseqüència, l'estrès oxidatiu al qual estan sotmeses les cèl.lules del fel.lema podria ser el causant de l'elevada taxa de mutació detectada. D'acord amb això, el tipus majoritari de productes d'oxidació de les bases del DNA que s'acumulen en brots de plàntules de surera en resposta al peròxid d'hidrògen produeixen el mateix tipus de mutacions detectades en l'mRNA del fel.lema de la surera. La major sensibilitat d'aquest nou mètode ha permès, a més, detectar mutacions en molècules d'mRNA de rel, un teixit en el qual no s'havia trobat cap mutació utilitzant el mètode de clonatge i seqüenciació directa. Tot i això, el tipus de mutacions predominants no estan relacionades amb l'estrès oxidatiu sinó amb erros en la reparació dels àcids nucleics.