A new all-round density functional based on spin states and SN2 barriers

We report here a new empirical density functional that is constructed based on the performance of OPBE and PBE for spin states and SN 2 reaction barriers and how these are affected by different regions of the reduced gradient expansion. In a previous study [Swart, Sol̀, and Bickelhaupt, J. Comput. Methods Sci. Eng. 9, 69 (2009)] we already reported how, by switching between OPBE and PBE, one could obtain both the good performance of OPBE for spin states and reaction barriers and that of PBE for weak interactions within one and the same (SSB-sw) functional. Here we fine tuned this functional and include a portion of the KT functional and Grimme's dispersion correction to account for π- π stacking. Our new SSB-D functional is found to be a clear improvement and functions very well for biological applications (hydrogen bonding, π -π stacking, spin-state splittings, accuracy of geometries, reaction barriers)

Policy gradient based Reinforcement Learning for real autonomous underwater cable tracking

This paper proposes a field application of a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot in cable tracking task. The learning system is characterized by using a direct policy search method for learning the internal state/action mapping. Policy only algorithms may suffer from long convergence times when dealing with real robotics. In order to speed up the process, the learning phase has been carried out in a simulated environment and, in a second step, the policy has been transferred and tested successfully on a real robot. Future steps plan to continue the learning process on-line while on the real robot while performing the mentioned task. We demonstrate its feasibility with real experiments on the underwater robot ICTINEU AUV

Gradient-based reinforcement learning techniques for underwater robotics behavior learning

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG.

Modificaciones tecnológicas para mejorar la seguridad y calidad del jamón curado

Se introdujeron varias modificaciones tecnológicas en la elaboración habitual del jamón curado español de cerdo blanco para mejorar su seguridad y calidad, así como para investigar la contribución relativa de los diversos procesos implicados en la calidad sensorial. Las modificaciones introducidas en cada uno de 3 experimentos (a, b, c) fueron: a) inoculación de un cultivo iniciador (CI) en la superficie del producto y el envasado del jamón al vacío durante la etapa de reposo (EV); b) aplicación de una atmósfera modificada con un contenido reducido de oxígeno (AMCRO) (durante la totalidad o la última parte del procesado) en dos procesos que diferían en las humedades relativas aplicadas; c) realización de un estufaje de 4 días a 35ºC y la aplicación repetida de pequeñas cantidades de grasa dorsal líquida sobre la superficie del jamón. En cada experimento, se siguió un diseño experimental de bloques incompletos para bloquear y evaluar el efecto de la materia prima en cada parámetro. La aplicación del CI evitó el crecimiento superficial de hongos, pero modificó el flavor del producto, dando lugar a la aparición de flavores impropios del jamón tradicional, al aumento de la incidencia de la coquera y a la reducción de la intensidad de notas características del mismo como el flavor añejo. Estos efectos fueron debidos a la acción directa del CI pero probablemente también a los cambios que provocó en la superficie del jamón, como la atenuación del "sudado" del jamón. El EV trajo consigo una reducción del crecimiento superficial de mohos; un mayor gradiente de humedad entre el interior y el exterior del jamón; una disminución de la pérdida de peso; un aumento del nitrógeno no proteico y cambios negativos en la textura, aspecto y flavor, como el aumento de la intensidad del velo blanco y del flavor a pienso, el aumento de la incidencia de la coquera y la atenuación del flavor añejo. Estos efectos fueron consecuencia del mayor contenido de humedad a que dio lugar dicha modificación tecnológica, de la potenciación de los efectos negativos del uso del CI, así como a los cambios que provocó en la superficie del jamón. El uso de una ACRO durante todo el proceso provocó un aumento del nitrógeno no proteico, una disminución de la concentración de óxidos de colesterol, un aumento de la intensidad del velo blanco y, en combinación con el uso de humedades relativas bajas, causó una disminución del crecimiento bacteriano y evitó el crecimiento de hongos, levaduras y ácaros en el interior y exterior del jamón y el desarrollo de la coquera. Asímismo, dio lugar a una drástica reducción de la intensidad del flavor del jamón debido a la disminución de la intensidad de la oxidación lipídica. Cuando esta ACRO se aplicó únicamente al final del proceso, se consiguió la eliminación de las formas móviles de los ácaros y la disminución de la intensidad de la coquera y el producto resultante poseía un flavor algo más intenso que aquél sometido a una ACRO durante todo el proceso. El aumento de la temperatura de 25-27 ºC a 35 ºC durante 4 días no tuvo ningún efecto sobre los parámetros estudiados. La aplicación de la grasa líquida en la superficie del jamón evitó el secado excesivo en superficie, previno el desarrollo de la coquera y causó un aumento de la intensidad del flavor añejo y una reducción de la incidencia de notas negativas como el tostado, hechos que indican que la liberación de grasa líquida en el jamón ("sudado") constituye un fenómeno determinante en su calidad sensorial. La materia prima fue el factor que afectó a un mayor número de parámetros.