Semi-online neural-Q_leaming for real-time robot learning

Reinforcement learning (RL) is a very suitable technique for robot learning, as it can learn in unknown environments and in real-time computation. The main difficulties in adapting classic RL algorithms to robotic systems are the generalization problem and the correct observation of the Markovian state. This paper attempts to solve the generalization problem by proposing the semi-online neural-Q_learning algorithm (SONQL). The algorithm uses the classic Q_learning technique with two modifications. First, a neural network (NN) approximates the Q_function allowing the use of continuous states and actions. Second, a database of the most representative learning samples accelerates and stabilizes the convergence. The term semi-online is referred to the fact that the algorithm uses the current but also past learning samples. However, the algorithm is able to learn in real-time while the robot is interacting with the environment. The paper shows simulated results with the "mountain-car" benchmark and, also, real results with an underwater robot in a target following behavior

Bandwidth allocation based on real time calculations using the convolution approach

This paper focuses on one of the methods for bandwidth allocation in an ATM network: the convolution approach. The convolution approach permits an accurate study of the system load in statistical terms by accumulated calculations, since probabilistic results of the bandwidth allocation can be obtained. Nevertheless, the convolution approach has a high cost in terms of calculation and storage requirements. This aspect makes real-time calculations difficult, so many authors do not consider this approach. With the aim of reducing the cost we propose to use the multinomial distribution function: the enhanced convolution approach (ECA). This permits direct computation of the associated probabilities of the instantaneous bandwidth requirements and makes a simple deconvolution process possible. The ECA is used in connection acceptance control, and some results are presented

Towards a real-time vision-based navigation system for a small-class UUV

This paper deals with the problem of navigation for an unmanned underwater vehicle (UUV) through image mosaicking. It represents a first step towards a real-time vision-based navigation system for a small-class low-cost UUV. We propose a navigation system composed by: (i) an image mosaicking module which provides velocity estimates; and (ii) an extended Kalman filter based on the hydrodynamic equation of motion, previously identified for this particular UUV. The obtained system is able to estimate the position and velocity of the robot. Moreover, it is able to deal with visual occlusions that usually appear when the sea bottom does not have enough visual features to solve the correspondence problem in a certain area of the trajectory

A new approach to real time traffic sign recognition based on colour information

The automatic interpretation of conventional traffic signs is very complex and time consuming. The paper concerns an automatic warning system for driving assistance. It does not interpret the standard traffic signs on the roadside; the proposal is to incorporate into the existing signs another type of traffic sign whose information will be more easily interpreted by a processor. The type of information to be added is profuse and therefore the most important object is the robustness of the system. The basic proposal of this new philosophy is that the co-pilot system for automatic warning and driving assistance can interpret with greater ease the information contained in the new sign, whilst the human driver only has to interpret the "classic" sign. One of the codings that has been tested with good results and which seems to us easy to implement is that which has a rectangular shape and 4 vertical bars of different colours. The size of these signs is equivalent to the size of the conventional signs (approximately 0.4 m2). The colour information from the sign can be easily interpreted by the proposed processor and the interpretation is much easier and quicker than the information shown by the pictographs of the classic signs

Estudi dels carotenoides en espècies marrons de bacteris verds del sofre: diversitat, eco-fisiologia i regulació

El present treball es centra en l'estudi a diferents nivells dels carotenoides de les espècies marrons de Bacteris Verds del Sofre (GSB, de l'anglès Green Sulfur Bacteria). L'objectiu global ha estat el d'esbrinar quina és la funció d'aquests pigments dins l'aparell fotosintètic d'aquests microorganismes i aprofundir en el coneixement de la seva estructura i interaccions amb els altres pigments de l'aparell fotosintètic. En primer lloc es va dissenyar un nou mètode de cromatografia líquida d'alta resolució (HPLC) per analitzar de manera més ràpida i precisa els carotenoides de diferents soques de GSB (Capítol 3). Aquest mètode es basa en una purificació prèvia dels extractes pigmentaris amb columnes d'alúmina per eliminar les bacterioclorofil·les (BCls). Això va permetre analitzar amb una elevada resolució i en tan sols 45 min de carrera cromatogràfica els diferents carotenoides i els seus precursors, així com les configuracions trans i cis dels seus isòmers. El segon mètode utilitzat va consistir en una modificació del mètode de Borrego i Garcia-Gil (1994) i va permetre la separació precisa de tot tipus de pigments, procedents tant de cultius purs com de mostres de caràcter complex. Un exemple concret foren uns paleosediments de la zona lacustre de Banyoles. En aquests sediments (0,7-1,5 milions d'anys d'antiguitat) es van detectar, entre d'altres pigments, carotenoides específics de les espècies marrons de GSB, la qual cosa va permetre confirmar la presència d'aquests bacteris a la zona lacustre de Banyoles ja des del Pleistocè inferior. En aquest primer capítol també es van analitzar els carotenoides de Chlorobium (Chl.) phaeobacteroides CL1401 mitjançant cromatografia líquida acoblada a espectrometria de masses (LC-MS/MS), amb l'objectiu de confirmar la seva identificació i el seu pes molecular. A més, també es va avaluar l'efecte de la temperatura, la llum i diferents agents oxidants i reductors en la composició quantitativa i qualitativa dels carotenoides i les BCls d'aquesta espècie. Això va permetre confirmar el caràcter fotosensible de les BCls i que els isòmers trans/cis dels diferents carotenoides no són artefactes produïts durant la manipulació de les mostres, sinó que són constitutius de l'aparell fotosintètic d'aquests microorganismes. El Capítol 4 inclou els experiments de fisiologia duts a terme amb algunes espècies de GSB, a partir dels quals es va intentar esbrinar la dinàmica de síntesi dels diferents pigments de l'aparell fotosintètic (BCl antena, BCl a i carotenoides) durant el creixement d'aquestes espècies. Aquestes investigacions van permetre monitoritzar també els canvis en el nombre de centres de reacció (CR) durant el procés d'adaptació lumínica. La determinació experimental del nombre de CR es va realitzar a partir de la quantificació de la BCl663, l'acceptor primari en la cadena de transport d'electrons dels GSB. L'estimació del nombre de CR/clorosoma es va realitzar tant a partir de dades estequiomètriques i biomètriques presents a la bibliografia, com a partir de les dades experimentals obtingudes en el present treball. El bon ajust obtingut entre les diferents estimacions va donar solidesa al valor estequiomètric calculat, que fou, com a promig, d'uns 70 CR per clorosoma. En aquest capítol de fisiologia també es van estudiar les variacions en les relacions trans/cis pels principals carotenoides de les espècies marrons de GSB. Aquestes es van determinar a partir de cultius purs de laboratori i de poblacions naturals de GSB. Pel que fa als valors trobats en cultius de laboratori no es van observar diferències destacades entre el valor calculat a alta intensitat de llum i el calculat a baixa intensitat, essent en ambdós casos proper a 2. En els clorosomes aïllats de diferents soques marrons aquest quocient prengué un valor similar tant pels isòmers de l'isorenieratè (Isr) com pels del -isorenieratè (-Isr). En poblacions naturals de Chl. phaeobacteroides aquesta relació va ser també de 2 isòmers trans per cada isòmer cis, mantenint-se constant tant en fondària com al llarg del temps. Finalment, en el Capítol 5 es presenta un marcador molecular que permet la identificació específica d'espècies marrons de GSB. Malgrat que inicialment aquest marcador fou dissenyat a partir d'un gen implicat en la síntesi de carotenoides (crtY, el qual codifica per a una licopè ciclasa) la seqüència final a partir de la qual s'han aconseguit els encebadors selectius està relacionada amb la família de proteïnes de les Policètid-ceto-sintases (PKT). Tot i així, l'eina dissenyada pot ser de gran utilitat per a la discriminació d'espècies marrons de GSB respecte les verdes en poblacions mixtes com les que es troben en ambients naturals i obre la porta a futurs experiments d'ecologia microbiana utilitzant tècniques com la PCR en temps real, que permetria la monitorització selectiva de les poblacions d'espècies marrons de GSB en ecosistemes naturals.

Development of molecular-based techniques for the detection, identification and quantification of food-borne pathogens

La presencia de microorganismos patógenos en alimentos es uno de los problemas esenciales en salud pública, y las enfermedades producidas por los mismos es una de las causas más importantes de enfermedad. Por tanto, la aplicación de controles microbiológicos dentro de los programas de aseguramiento de la calidad es una premisa para minimizar el riesgo de infección de los consumidores. Los métodos microbiológicos clásicos requieren, en general, el uso de pre-enriquecimientos no-selectivos, enriquecimientos selectivos, aislamiento en medios selectivos y la confirmación posterior usando pruebas basadas en la morfología, bioquímica y serología propias de cada uno de los microorganismos objeto de estudio. Por lo tanto, estos métodos son laboriosos, requieren un largo proceso para obtener resultados definitivos y, además, no siempre pueden realizarse. Para solucionar estos inconvenientes se han desarrollado diversas metodologías alternativas para la detección identificación y cuantificación de microorganismos patógenos de origen alimentario, entre las que destacan los métodos inmunológicos y moleculares. En esta última categoría, la técnica basada en la reacción en cadena de la polimerasa (PCR) se ha convertido en la técnica diagnóstica más popular en microbiología, y recientemente, la introducción de una mejora de ésta, la PCR a tiempo real, ha producido una segunda revolución en la metodología diagnóstica molecular, como pude observarse por el número creciente de publicaciones científicas y la aparición continua de nuevos kits comerciales. La PCR a tiempo real es una técnica altamente sensible -detección de hasta una molécula- que permite la cuantificación exacta de secuencias de ADN específicas de microorganismos patógenos de origen alimentario. Además, otras ventajas que favorecen su implantación potencial en laboratorios de análisis de alimentos son su rapidez, sencillez y el formato en tubo cerrado que puede evitar contaminaciones post-PCR y favorece la automatización y un alto rendimiento. En este trabajo se han desarrollado técnicas moleculares (PCR y NASBA) sensibles y fiables para la detección, identificación y cuantificación de bacterias patogénicas de origen alimentario (Listeria spp., Mycobacterium avium subsp. paratuberculosis y Salmonella spp.). En concreto, se han diseñado y optimizado métodos basados en la técnica de PCR a tiempo real para cada uno de estos agentes: L. monocytogenes, L. innocua, Listeria spp. M. avium subsp. paratuberculosis, y también se ha optimizado y evaluado en diferentes centros un método previamente desarrollado para Salmonella spp. Además, se ha diseñado y optimizado un método basado en la técnica NASBA para la detección específica de M. avium subsp. paratuberculosis. También se evaluó la aplicación potencial de la técnica NASBA para la detección específica de formas viables de este microorganismo. Todos los métodos presentaron una especificidad del 100 % con una sensibilidad adecuada para su aplicación potencial a muestras reales de alimentos. Además, se han desarrollado y evaluado procedimientos de preparación de las muestras en productos cárnicos, productos pesqueros, leche y agua. De esta manera se han desarrollado métodos basados en la PCR a tiempo real totalmente específicos y altamente sensibles para la determinación cuantitativa de L. monocytogenes en productos cárnicos y en salmón y productos derivados como el salmón ahumado y de M. avium subsp. paratuberculosis en muestras de agua y leche. Además este último método ha sido también aplicado para evaluar la presencia de este microorganismo en el intestino de pacientes con la enfermedad de Crohn's, a partir de biopsias obtenidas de colonoscopia de voluntarios afectados. En conclusión, este estudio presenta ensayos moleculares selectivos y sensibles para la detección de patógenos en alimentos (Listeria spp., Mycobacterium avium subsp. paratuberculosis) y para una rápida e inambigua identificación de Salmonella spp. La exactitud relativa de los ensayos ha sido excelente, si se comparan con los métodos microbiológicos de referencia y pueden serusados para la cuantificación de tanto ADN genómico como de suspensiones celulares. Por otro lado, la combinación con tratamientos de preamplificación ha resultado ser de gran eficiencia para el análisis de las bacterias objeto de estudio. Por tanto, pueden constituir una estrategia útil para la detección rápida y sensible de patógenos en alimentos y deberían ser una herramienta adicional al rango de herramientas diagnósticas disponibles para el estudio de patógenos de origen alimentario.

Integration of knowledge-based, qualitative and numeric tools for real time dynamic systems supervision

The proposal presented in this thesis is to provide designers of knowledge based supervisory systems of dynamic systems with a framework to facilitate their tasks avoiding interface problems among tools, data flow and management. The approach is thought to be useful to both control and process engineers in assisting their tasks. The use of AI technologies to diagnose and perform control loops and, of course, assist process supervisory tasks such as fault detection and diagnose, are in the scope of this work. Special effort has been put in integration of tools for assisting expert supervisory systems design. With this aim the experience of Computer Aided Control Systems Design (CACSD) frameworks have been analysed and used to design a Computer Aided Supervisory Systems (CASSD) framework. In this sense, some basic facilities are required to be available in this proposed framework: ·