Gradient-based reinforcement learning techniques for underwater robotics behavior learning

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG.

New medical registration and segmentation techniques using information-theoretic tools

El processament d'imatges mèdiques és una important àrea de recerca. El desenvolupament de noves tècniques que assisteixin i millorin la interpretació visual de les imatges de manera ràpida i precisa és fonamental en entorns clínics reals. La majoria de contribucions d'aquesta tesi són basades en Teoria de la Informació. Aquesta teoria tracta de la transmissió, l'emmagatzemament i el processament d'informació i és usada en camps tals com física, informàtica, matemàtica, estadística, biologia, gràfics per computador, etc. En aquesta tesi, es presenten nombroses eines basades en la Teoria de la Informació que milloren els mètodes existents en l'àrea del processament d'imatges, en particular en els camps del registre i la segmentació d'imatges. Finalment es presenten dues aplicacions especialitzades per l'assessorament mèdic que han estat desenvolupades en el marc d'aquesta tesi.

The use of pulse amplitude modulated fluorescence techniques for metal toxicity assessment in fluvial biofilms

Metal pollution in rivers is in great concern with human activities in the fluvial watershed. This thesis aims to investigate the potential use of chl-a fluorescence parameters as biomarkers of metal toxicity, and to find cause-effect relationships between metal exposures, other environmental factor (i.e. light), and functional and structural biofilm responses. This thesis demonstrates that the use of chl-a fluorescence parameters allows detect early effects on biofilms caused by zinc toxicity, both in the laboratory as in polluted rivers. In microcosm experiments, the use of chl-a fluorescence parameters allows evaluates structural changes on photosynthetic apparatus and in algal groups’ composition of biofilms long-term exposed to zinc. In order to evaluate the effects of chronic metal pollution in rivers, it is recommended the use of biofilm translocation experiments and the use of a multi-biomarker approach.

Assessment of virtual design and manufacturing techniques for fibre reinforced composite materials

Virtual tools are commonly used nowadays to optimize product design and manufacturing process of fibre reinforced composite materials. The present work focuses on two areas of interest to forecast the part performance and the production process particularities. The first part proposes a multi-physical optimization tool to support the concept stage of a composite part. The strategy is based on the strategic handling of information and, through a single control parameter, is able to evaluate the effects of design variations throughout all these steps in parallel. The second part targets the resin infusion process and the impact of thermal effects. The numerical and experimental approach allowed the identificationof improvement opportunities regarding the implementation of algorithms in commercially available simulation software.

Estudi dels carotenoides en espècies marrons de bacteris verds del sofre: diversitat, eco-fisiologia i regulació

El present treball es centra en l'estudi a diferents nivells dels carotenoides de les espècies marrons de Bacteris Verds del Sofre (GSB, de l'anglès Green Sulfur Bacteria). L'objectiu global ha estat el d'esbrinar quina és la funció d'aquests pigments dins l'aparell fotosintètic d'aquests microorganismes i aprofundir en el coneixement de la seva estructura i interaccions amb els altres pigments de l'aparell fotosintètic. En primer lloc es va dissenyar un nou mètode de cromatografia líquida d'alta resolució (HPLC) per analitzar de manera més ràpida i precisa els carotenoides de diferents soques de GSB (Capítol 3). Aquest mètode es basa en una purificació prèvia dels extractes pigmentaris amb columnes d'alúmina per eliminar les bacterioclorofil·les (BCls). Això va permetre analitzar amb una elevada resolució i en tan sols 45 min de carrera cromatogràfica els diferents carotenoides i els seus precursors, així com les configuracions trans i cis dels seus isòmers. El segon mètode utilitzat va consistir en una modificació del mètode de Borrego i Garcia-Gil (1994) i va permetre la separació precisa de tot tipus de pigments, procedents tant de cultius purs com de mostres de caràcter complex. Un exemple concret foren uns paleosediments de la zona lacustre de Banyoles. En aquests sediments (0,7-1,5 milions d'anys d'antiguitat) es van detectar, entre d'altres pigments, carotenoides específics de les espècies marrons de GSB, la qual cosa va permetre confirmar la presència d'aquests bacteris a la zona lacustre de Banyoles ja des del Pleistocè inferior. En aquest primer capítol també es van analitzar els carotenoides de Chlorobium (Chl.) phaeobacteroides CL1401 mitjançant cromatografia líquida acoblada a espectrometria de masses (LC-MS/MS), amb l'objectiu de confirmar la seva identificació i el seu pes molecular. A més, també es va avaluar l'efecte de la temperatura, la llum i diferents agents oxidants i reductors en la composició quantitativa i qualitativa dels carotenoides i les BCls d'aquesta espècie. Això va permetre confirmar el caràcter fotosensible de les BCls i que els isòmers trans/cis dels diferents carotenoides no són artefactes produïts durant la manipulació de les mostres, sinó que són constitutius de l'aparell fotosintètic d'aquests microorganismes. El Capítol 4 inclou els experiments de fisiologia duts a terme amb algunes espècies de GSB, a partir dels quals es va intentar esbrinar la dinàmica de síntesi dels diferents pigments de l'aparell fotosintètic (BCl antena, BCl a i carotenoides) durant el creixement d'aquestes espècies. Aquestes investigacions van permetre monitoritzar també els canvis en el nombre de centres de reacció (CR) durant el procés d'adaptació lumínica. La determinació experimental del nombre de CR es va realitzar a partir de la quantificació de la BCl663, l'acceptor primari en la cadena de transport d'electrons dels GSB. L'estimació del nombre de CR/clorosoma es va realitzar tant a partir de dades estequiomètriques i biomètriques presents a la bibliografia, com a partir de les dades experimentals obtingudes en el present treball. El bon ajust obtingut entre les diferents estimacions va donar solidesa al valor estequiomètric calculat, que fou, com a promig, d'uns 70 CR per clorosoma. En aquest capítol de fisiologia també es van estudiar les variacions en les relacions trans/cis pels principals carotenoides de les espècies marrons de GSB. Aquestes es van determinar a partir de cultius purs de laboratori i de poblacions naturals de GSB. Pel que fa als valors trobats en cultius de laboratori no es van observar diferències destacades entre el valor calculat a alta intensitat de llum i el calculat a baixa intensitat, essent en ambdós casos proper a 2. En els clorosomes aïllats de diferents soques marrons aquest quocient prengué un valor similar tant pels isòmers de l'isorenieratè (Isr) com pels del -isorenieratè (-Isr). En poblacions naturals de Chl. phaeobacteroides aquesta relació va ser també de 2 isòmers trans per cada isòmer cis, mantenint-se constant tant en fondària com al llarg del temps. Finalment, en el Capítol 5 es presenta un marcador molecular que permet la identificació específica d'espècies marrons de GSB. Malgrat que inicialment aquest marcador fou dissenyat a partir d'un gen implicat en la síntesi de carotenoides (crtY, el qual codifica per a una licopè ciclasa) la seqüència final a partir de la qual s'han aconseguit els encebadors selectius està relacionada amb la família de proteïnes de les Policètid-ceto-sintases (PKT). Tot i així, l'eina dissenyada pot ser de gran utilitat per a la discriminació d'espècies marrons de GSB respecte les verdes en poblacions mixtes com les que es troben en ambients naturals i obre la porta a futurs experiments d'ecologia microbiana utilitzant tècniques com la PCR en temps real, que permetria la monitorització selectiva de les poblacions d'espècies marrons de GSB en ecosistemes naturals.

Development of molecular-based techniques for the detection, identification and quantification of food-borne pathogens

La presencia de microorganismos patógenos en alimentos es uno de los problemas esenciales en salud pública, y las enfermedades producidas por los mismos es una de las causas más importantes de enfermedad. Por tanto, la aplicación de controles microbiológicos dentro de los programas de aseguramiento de la calidad es una premisa para minimizar el riesgo de infección de los consumidores. Los métodos microbiológicos clásicos requieren, en general, el uso de pre-enriquecimientos no-selectivos, enriquecimientos selectivos, aislamiento en medios selectivos y la confirmación posterior usando pruebas basadas en la morfología, bioquímica y serología propias de cada uno de los microorganismos objeto de estudio. Por lo tanto, estos métodos son laboriosos, requieren un largo proceso para obtener resultados definitivos y, además, no siempre pueden realizarse. Para solucionar estos inconvenientes se han desarrollado diversas metodologías alternativas para la detección identificación y cuantificación de microorganismos patógenos de origen alimentario, entre las que destacan los métodos inmunológicos y moleculares. En esta última categoría, la técnica basada en la reacción en cadena de la polimerasa (PCR) se ha convertido en la técnica diagnóstica más popular en microbiología, y recientemente, la introducción de una mejora de ésta, la PCR a tiempo real, ha producido una segunda revolución en la metodología diagnóstica molecular, como pude observarse por el número creciente de publicaciones científicas y la aparición continua de nuevos kits comerciales. La PCR a tiempo real es una técnica altamente sensible -detección de hasta una molécula- que permite la cuantificación exacta de secuencias de ADN específicas de microorganismos patógenos de origen alimentario. Además, otras ventajas que favorecen su implantación potencial en laboratorios de análisis de alimentos son su rapidez, sencillez y el formato en tubo cerrado que puede evitar contaminaciones post-PCR y favorece la automatización y un alto rendimiento. En este trabajo se han desarrollado técnicas moleculares (PCR y NASBA) sensibles y fiables para la detección, identificación y cuantificación de bacterias patogénicas de origen alimentario (Listeria spp., Mycobacterium avium subsp. paratuberculosis y Salmonella spp.). En concreto, se han diseñado y optimizado métodos basados en la técnica de PCR a tiempo real para cada uno de estos agentes: L. monocytogenes, L. innocua, Listeria spp. M. avium subsp. paratuberculosis, y también se ha optimizado y evaluado en diferentes centros un método previamente desarrollado para Salmonella spp. Además, se ha diseñado y optimizado un método basado en la técnica NASBA para la detección específica de M. avium subsp. paratuberculosis. También se evaluó la aplicación potencial de la técnica NASBA para la detección específica de formas viables de este microorganismo. Todos los métodos presentaron una especificidad del 100 % con una sensibilidad adecuada para su aplicación potencial a muestras reales de alimentos. Además, se han desarrollado y evaluado procedimientos de preparación de las muestras en productos cárnicos, productos pesqueros, leche y agua. De esta manera se han desarrollado métodos basados en la PCR a tiempo real totalmente específicos y altamente sensibles para la determinación cuantitativa de L. monocytogenes en productos cárnicos y en salmón y productos derivados como el salmón ahumado y de M. avium subsp. paratuberculosis en muestras de agua y leche. Además este último método ha sido también aplicado para evaluar la presencia de este microorganismo en el intestino de pacientes con la enfermedad de Crohn's, a partir de biopsias obtenidas de colonoscopia de voluntarios afectados. En conclusión, este estudio presenta ensayos moleculares selectivos y sensibles para la detección de patógenos en alimentos (Listeria spp., Mycobacterium avium subsp. paratuberculosis) y para una rápida e inambigua identificación de Salmonella spp. La exactitud relativa de los ensayos ha sido excelente, si se comparan con los métodos microbiológicos de referencia y pueden serusados para la cuantificación de tanto ADN genómico como de suspensiones celulares. Por otro lado, la combinación con tratamientos de preamplificación ha resultado ser de gran eficiencia para el análisis de las bacterias objeto de estudio. Por tanto, pueden constituir una estrategia útil para la detección rápida y sensible de patógenos en alimentos y deberían ser una herramienta adicional al rango de herramientas diagnósticas disponibles para el estudio de patógenos de origen alimentario.

Regenerative capabilities of the rat seventh nerve using suture and collagen splint techniques: a comparative study

This paper discusses the effectiveness of repair procedures on the rat facial nerve using the current clinical surgical procedure of suturing nerve ends and a proposed technique utilizing splints made of collagen.

A comparison of two techniques for evaluating the development of syntax in children's language: developmental sentence analysis and the CID grammatical analysis of elicited language: simple sentence level

This paper compares two language evaluation tests--Development Sentence Analysis and the CID Grammatical Analysis of Elicited Language: Simple Sentence Level.

Patient perception of disability following acoustic (vestibular) schwannoma removal via gamma knife and microsurgical techniques

This study evaluates patient's short and long-term balance function after microsurgical tumor removal and gamma knife radiosurgery using an unvalidated qualitative questionnaire and the Dizziness Handicap Inventory.

The importance of parental involvement in language acquisition and activities and techniques to enhance the home-school connection

This study discusses the importance of parental involvement in children’s language development, and the related project offers parents books and activities to assist them in developing their children’s linguistic skills.