An hybrid methodology for RL-based behavior coordination in a target following mission with an AUV

Proposes a behavior-based scheme for high-level control of autonomous underwater vehicles (AUVs). Two main characteristics can be highlighted in the control scheme. Behavior coordination is done through a hybrid methodology, which takes in advantages of the robustness and modularity in competitive approaches, as well as optimized trajectories

Hybrid coordination of reinforcement learning-based behaviors for AUV control

This paper proposes a hybrid coordination method for behavior-based control architectures. The hybrid method takes advantages of the robustness and modularity in competitive approaches as well as optimized trajectories in cooperative ones. This paper shows the feasibility of applying this hybrid method with a 3D-navigation to an autonomous underwater vehicle (AUV). The behaviors are learnt online by means of reinforcement learning. A continuous Q-learning implemented with a feed-forward neural network is employed. Realistic simulations were carried out. The results obtained show the good performance of the hybrid method on behavior coordination as well as the convergence of the behaviors

A Multi-agent Architecture with Distributed Coordination for an Autonomous Robot

Aquest treball proposa una nova arquitectura de control amb coordinació distribuïda per a un robot mòbil (ARMADiCo). La metodologia de coordinació distribuïda consisteix en dos passos: el primer determina quin és l'agent que guanya el recurs basat en el càlcul privat de la utilitat i el segon, com es fa el canvi del recurs per evitar comportaments abruptes del robot. Aquesta arquitectura ha estat concebuda per facilitar la introducció de nous components hardware i software, definint un patró de disseny d'agents que captura les característiques comunes dels agents. Aquest patró ha portat al desenvolupament d'una arquitectura modular dins l'agent que permet la separació dels diferents mètodes utilitzats per aconseguir els objectius, la col·laboració, la competició i la coordinació de recursos. ARMADiCo s'ha provat en un robot Pioneer 2DX de MobileRobots Inc.. S'han fet diversos experiments i els resultats han demostrat que s'han aconseguit les característiques proposades per l'arquitectura.

Dynamic task allocation and coordination in cooperative multi-agent environments

La coordinació i assignació de tasques en entorns distribuïts ha estat un punt important de la recerca en els últims anys i aquests temes són el cor dels sistemes multi-agent. Els agents en aquests sistemes necessiten cooperar i considerar els altres agents en les seves accions i decisions. A més a més, els agents han de coordinar-se ells mateixos per complir tasques complexes que necessiten més d'un agent per ser complerta. Aquestes tasques poden ser tan complexes que els agents poden no saber la ubicació de les tasques o el temps que resta abans de que les tasques quedin obsoletes. Els agents poden necessitar utilitzar la comunicació amb l'objectiu de conèixer la tasca en l'entorn, en cas contrari, poden perdre molt de temps per trobar la tasca dins de l'escenari. De forma similar, el procés de presa de decisions distribuït pot ser encara més complexa si l'entorn és dinàmic, amb incertesa i en temps real. En aquesta dissertació, considerem entorns amb sistemes multi-agent amb restriccions i cooperatius (dinàmics, amb incertesa i en temps real). En aquest sentit es proposen dues aproximacions que permeten la coordinació dels agents. La primera és un mecanisme semi-centralitzat basat en tècniques de subhastes combinatòries i la idea principal es minimitzar el cost de les tasques assignades des de l'agent central cap als equips d'agents. Aquest algoritme té en compte les preferències dels agents sobre les tasques. Aquestes preferències estan incloses en el bid enviat per l'agent. La segona és un aproximació d'scheduling totalment descentralitzat. Això permet als agents assignar les seves tasques tenint en compte les preferències temporals sobre les tasques dels agents. En aquest cas, el rendiment del sistema no només depèn de la maximització o del criteri d'optimització, sinó que també depèn de la capacitat dels agents per adaptar les seves assignacions eficientment. Addicionalment, en un entorn dinàmic, els errors d'execució poden succeir a qualsevol pla degut a la incertesa i error de accions individuals. A més, una part indispensable d'un sistema de planificació és la capacitat de re-planificar. Aquesta dissertació també proveeix una aproximació amb re-planificació amb l'objectiu de permetre als agent re-coordinar els seus plans quan els problemes en l'entorn no permeti la execució del pla. Totes aquestes aproximacions s'han portat a terme per permetre als agents assignar i coordinar de forma eficient totes les tasques complexes en un entorn multi-agent cooperatiu, dinàmic i amb incertesa. Totes aquestes aproximacions han demostrat la seva eficiència en experiments duts a terme en l'entorn de simulació RoboCup Rescue.

New mono- and dinuclear ruthenium complexes containing the 3,5-bis(2-pyridyl)pyrazole ligand. Synthesis, characterization and applications

Se han sintetizado dos nuevos complejos mononucleares de Ru, con formula [RuCl2(Hbpp)(dmso)2], a partir de la reacción entre [RuCl2(dmso)4] y Hbpp (3,5-bis(2-piridil)pirazola). El hecho que sólo tres de los seis posibles estereoisómeros se obtengan a partir de esta reacción, se ha racionalizado en base a factores estructurales y electrónicos. Estos complejos se han caracterizado de forma estructural, espectroscópica y electroquímica. En acetonitrilo en medio básico, el isómero trans,cis-[RuCl2(Hbpp)(dmso)2] da lugar a procesos de isomerización de enlace de un ligando dmso cuando el Ru(II) se oxida a Ru(III). Las constantes termodinámicas y cinéticas para el proceso se han determinado por voltametria cíclica. La irradiación de trans,cis-[RuCl2(Hbpp)(dmso)2] y cis(out),cis-[RuCl2(Hbpp)(dmso)2] con luz UV o solar da lugar a reacciones de fotosustitución de un ligando dmso por una molécula de acetonitrilo para dar un nuevo compuesto el cual ha sido caracterizado en solución por técnicas espectroscópicas y electroquímicas. Ambos complejos resultan catalizadores útiles en la transferencia de hidrógeno de isopropanol a acetofenona, obteniéndose 1-feniletanol como único producto y un 42.1% de conversión (36.1 ciclos metálicos) a 80ºC con el isómero trans,cis-[RuCl2(Hbpp)(dmso)2], que resulta significativamente más eficaz que el complejo cis(out),cis-[RuCl2(Hbpp)(dmso)2]. La reacción de cis(out),cis-[RuCl2(Hbpp)(dmso)2] con trpy (2,2':6',2"-terpiridina) da lugar a los dos isómeros geométricos del complejo [Ru(Hbpp)(trpy)(Cl)]+, el in y el out. Estos complejos se han aislado y caracterizado por técnicas estructurales, espectroscópicas y electroquímicas. Estos cloro complejos han sido utilizados como precursores para la síntesis de los complejos análogos con ligandos aqua (in,out-[Ru(Hbpp)(trpy)(H2O)]2+) y piridina (in,out-[Ru(Hbpp)(trpy)(py)]2+), los cuales también han sido aislados y caracterizados. Las propiedades ácido-base de los aqua complejos, y del complejo out-py se han estudiado detalladamente por voltametria cíclica y mediante valoraciones espectrofotométricas ácido-base. El tratamiento matemático de los datos así obtenidos nos ha permitido determinar los valores de pKa para los distintos equilibrios de protonación de los complejos en los estados de oxidación II y III. El complejo out-aqua ha demostrado ser un buen catalizador para la oxidación electroquímica del alcohol benzílico, presumiblemente a benzaldehido. La constante de velocidad de segundo orden para el proceso ha sido determinada como 17.1 M-1 s-1, por simulación matemática. El dímero con un puente cloro, [Ru2Cl(bpp)(trpy)2]2+ ha sido preparado por dos rutas sintéticas diferentes. El dímero análogo con un puente acetato se ha obtenido por reacción del cloro dímero con un exceso de acetato sódico. El dímero con dos ligandos aqua [Ru2(bpp)(trpy)2(OH2)2]3+ puede obtenerse por hidrólisis ácida del complejo con un acetato puente o por hidrólisis básica del complejo con un puente cloro. Estos complejos han sido caracterizados por técnicas estructurales, espectroscópicas y electroquímicas. Las soluciones del dímero con dos ligandos aqua en medio ácido resultan inestables a la coordinación de aniones de la solución con el tiempo. Las propiedades ácido-base del dímero con dos aguas coordinadas han sido estudiadas por voltametria cíclica y mediante experimentos de electrólisis a potencial controlado. El pKa para la desprotonación de uno de los ligandos aqua ha sido determinado mediante una valoración espectrofotométrica ácido-base como 6.7. Este valor tan bajo de pKa se atribuye a la formación de la entidad {Ru2O2H3}, favorable termodinámicamente. Los espectros UV-vis para los distintos estados de oxidación del aqua dímero, de RuIIRuII a RuIIIRuIV, han sido obtenidos por oxidación química y electroquímica del complejo. Se han llevado a cabo estudios cinéticos de la oxidación, paso a paso, de RuII,II a RuIV,IV , y se han determinado las constantes de oxidación de segundo orden para los distintos procesos de oxidación. La capacidad del aqua dímero en la oxidación del agua a oxígeno molecular ha sido investigada en solución homogénea utilizando CeIV como oxidante. La evolución de oxígeno se ha demostrado por cromatografia de gases. Se ha obtenido una eficiencia del 73% y 18.6 ciclos catalíticos, cuando 1.83 x 10-6 moles de dímero se han mezclado con un exceso de 100 equivalentes de cerio. El dímero con dos aguas cataliza también la oxidación del agua de forma heterogénea, con el complejo adsorbido sobre una membrana de nafion, aunque la eficiencia es menor. Se ha propuesto un mecanismo intramolecular para la reacción de oxidación del agua. Consiste en la oxidación a 4 electrones del dímero, de RuII,II a RuIV,IV, el cual reacciona con el agua para formar oxígeno y revierte nuevamente al estado de oxidación II,II. Este modelo es consistente con estudios catalíticos de la evolución de oxígeno en función de las concentraciones de cerio y catalizador, llevados a cabo en solución ácida homogénea, que demuestran que la oxidación a 4 electrones del agua se encuentra catalizada por una sola molécula de complejo bajo concentraciones elevadas de cerio. La constante de pseudo-primer-orden para la evolución de oxígeno tiene un valor de 1.4 x 10-2 s-1, que es uno de los valores de constante más elevados obtenidos hasta la fecha. Desafortunadamente, el aqua dímero se desactiva durante el proceso de catálisis dando lugar a una especie naranja, la cual estamos actualmente tratando de caracterizar.

New Ruthenium complexes containing N, P and S-donor type of ligands: coordination chemistry, characterization and application to asymetric and non-asymetric catalysis

Síntesi de nous complexos de Ruteni amb lligands no quirals que tenen per fórmula [Ru(phen)([9]aneS3)X] (on X = H2O, py i MeCN). Caracterització espectroscòpica electroquímica i estructural d'aquesta família de complexos. Estudi de les seves propietats catalítiques en front a l'oxidació de substrats orgànics com l'alcohol benzílic en reaccions d'electrocatàlisi. Avaluació cinètica dels mecanismes de substitució entre els complexos Ru-py i Ru-MeCN. Generació d'un interruptor molecular foto-induït. Síntesi de nous complexos quirals de Ru atropoisomèricament purs amb lligands oxazolínics que tenen per fórmula [Ru(trpy)(Ph-box-R)X] on (X = Cl, H2O, py, MeCN, 2-OH-py). Caracterització estructural exhaustiva en estat sòlid (Raig-X) en solució (RMN) i en fase gas (càlculs DFT). Avaluació de la seva activitat catalítica en reaccions asimmetriques d'epoxidació de substrats proquirals. Síntesi de nous lligands polipiridílics quirals amb simetria C3. Estudi de la seva química de coordinació i avaluació de la seva activitat catalítica en reaccions asimmetriques d'oxidació i reducció.

Síntesi, estructura i reactivitat de nous complexos de Cu, Ag i Ni contenint lligands triazamacrocíclics. Aplicacions en l'activació d'enllaços

· S'ha preparat i caracteritzat una família de complexos de Cu(III) contenint lligands triazamacrocíclics, estudiant-se les seves propietats estructurals, espectroscòpiques i redox. Aquesta àmplia família de complexos tenen un gran interès perquè permeten descriure les propietats dels complexos de Cu en un estat d'oxidació poc habitual i a més ens han permès mesurar de manera quantitativa l'efecte Meyerstein. · Una nova família de complexos de Cu(I) amb els lligands triazamacrocíclics es sintetitzada i caracteritzada per tècniques espectroscòpiques i estructurals, demostrant que aquests complexos presenten diferents estructures a l'estat sòlid i en dissolució. Així doncs, mentre que en dissolució es demostra per RMN que es tracta d'una espècie monomèrica, la determinació estructural per difracció de raigs X d'aquests complexos de Cu(I), ens confirma la formació d'espècies polimèriques. Per altra banda, s'ha estudiat la seva reactivitat; a) la seva implicació en la formació de lligands deuterats mitjançant l'intercanvi H/D en condicions suaus i b) la formació de complexos bisfenoxo a partir de la reactivitat entre els corresponents complexos de Cu(I) i oxigen molecular. De la mateixa manera, s'ha preparat el corresponent anàleg de Ag(I) en estat sòlid, obtenint la formació d'un polímer de Ag(I), el qual presenta a l'estat sòlid una estructura en forma de ziga-zaga, diferent a l'estructura del polímer de Cu(I), que és lineal. · S'ha determinat i proposat el mecanisme que té lloc en l'activació de l'enllaç C-H i posterior reacció de transferència per tal d'estabilitzar els productes finals mitjançant una reacció de desproporció. El seguiment de la reacció té lloc mitjançant tècniques espectroscòpiques com UV-vis. Dit seguiment, ens permet determinar les diferents influències electròniques sobre la reacció de formació dels complexos organometàl·lics de Cu(III). A més a més, el seguiment de la reacció a baixa temperatura ens permet determinar espectroscòpica i teòricament la formació d'un intermedi de Cu(II), i mitjançant la determinació dels paràmetres cinètics i termodinàmics es proposa un mecanisme de reacció. Posteriorment, s'ha assajat la reactivitat d'una sal de Cu(II) amb un lligand macrocíclic que conté un grup metil en el carboni orientat cap al centre del macrocicle, implicant la formació d'un intermedi agòstic. De la determinació estructural d'aquest intermedi de CuII i del lligand protonat, s'extreuen una sèrie de conclusions molt interessants, com són la demostració estructural de l'activació de l'enllaç C-C en la primera etapa de formació i de manera anàloga poder comparar-ho amb els sistemes macrocíclics HL2-HL6, demostrant la possible formació d'un intermedi agòstic, on es produeix l'activació de l'enllaç C-H. Aquesta similitud estaria d'acord amb els sistemes HL2-HL6, els quals espectroscòpica i teòricament s'havia detectat la presència d'un intermedi de característiques similars. Degut a l'acidesa d'aquest protó, i gràcies a la presència d'una base com és el propi lligand, aquest podia ésser extret donant lloc a la formació dels corresponents organometàl·lics de Cu(III). Dita estructura també representa un dels pocs exemples d'un organometàl·lic de CuII, un estat d'oxidació poc conegut dins d'aquest camp. · S'ha descrit la reactivitat dels nous complexos organometàl·lics de Cu(III), els quals sota medi pròtic i en condicions àcides o neutres són espècies totalment estables, però en condicions bàsiques o reductores aquestes espècies reaccionen donant lloc a la formació de noves espècies de tipus bisfenoxo, on el Cu es troba en estat d'oxidació +2. S'han caracteritzat mitjançant difracció de RX, on es s'observa l'entorn químic del Cu, la geometria del complex bisfenoxo i l'hidroxilació de l'anell aromàtic. · Finalment, s'ha descrit per primera vegada la síntesi i caracterització d'uns nous complexos organometàl·lics de Ni. Aquests són sintetitzats en base als càlculs teòrics realitzats sobre els nostres sistemes macrocíclics. Per aquests complexos hem investigat l'efecte del metall, canviant el coure per altres metalls de la primera sèrie de transició (Mn, Fe, Co, Ni, Cu, Zn) i de la segona sèrie de transició (Ru, Rh, Pd, Ag). Els resultats demostren que el Ni(II), és el metall que presenta una major capacitat de l'activació de l'enllaç C-H en aquests sistemes aromàtics. Aquests compostos s'oxiden lentament cap a complexos de Ni(III). Per altra banda, l'addició d'una sal de clor sobre una solució d'un complex de Ni(II) permet aïllar el corresponent complex de Ni(III), caracteritzat per ressonància de spin electrònic