An hybrid methodology for RL-based behavior coordination in a target following mission with an AUV

Proposes a behavior-based scheme for high-level control of autonomous underwater vehicles (AUVs). Two main characteristics can be highlighted in the control scheme. Behavior coordination is done through a hybrid methodology, which takes in advantages of the robustness and modularity in competitive approaches, as well as optimized trajectories

Hybrid coordination of reinforcement learning-based behaviors for AUV control

This paper proposes a hybrid coordination method for behavior-based control architectures. The hybrid method takes advantages of the robustness and modularity in competitive approaches as well as optimized trajectories in cooperative ones. This paper shows the feasibility of applying this hybrid method with a 3D-navigation to an autonomous underwater vehicle (AUV). The behaviors are learnt online by means of reinforcement learning. A continuous Q-learning implemented with a feed-forward neural network is employed. Realistic simulations were carried out. The results obtained show the good performance of the hybrid method on behavior coordination as well as the convergence of the behaviors

A behavior-based scheme using reinforcement learning for autonomous underwater vehicles

This paper presents a hybrid behavior-based scheme using reinforcement learning for high-level control of autonomous underwater vehicles (AUVs). Two main features of the presented approach are hybrid behavior coordination and semi on-line neural-Q_learning (SONQL). Hybrid behavior coordination takes advantages of robustness and modularity in the competitive approach as well as efficient trajectories in the cooperative approach. SONQL, a new continuous approach of the Q_learning algorithm with a multilayer neural network is used to learn behavior state/action mapping online. Experimental results show the feasibility of the presented approach for AUVs

A dynamic knowledge-based decision support system to handle solids separation problems in activated sludge systems: development and validation

El sistema de fangs activats és el tractament biològic més àmpliament utilitzat arreu del món per la depuració d'aigües residuals. El seu funcionament depèn de la correcta operació tant del reactor biològic com del decantador secundari. Quan la fase de sedimentació no es realitza correctament, la biomassa no decantada s'escapa amb l'efluent causant un impacte sobre el medi receptor. Els problemes de separació de sòlids, són actualment una de les principals causes d'ineficiència en l'operació dels sistemes de fangs activats arreu del món. Inclouen: bulking filamentós, bulking viscós, escumes biològiques, creixement dispers, flòcul pin-point i desnitrificació incontrolada. L'origen dels problemes de separació generalment es troba en un desequilibri entre les principals comunitats de microorganismes implicades en la sedimentació de la biomassa: els bacteris formadors de flòcul i els bacteris filamentosos. Degut a aquest origen microbiològic, la seva identificació i control no és una tasca fàcil pels caps de planta. Els Sistemes de Suport a la Presa de Decisions basats en el coneixement (KBDSS) són un grup d'eines informàtiques caracteritzades per la seva capacitat de representar coneixement heurístic i tractar grans quantitats de dades. L'objectiu de la present tesi és el desenvolupament i validació d'un KBDSS específicament dissenyat per donar suport als caps de planta en el control dels problemes de separació de sòlids d'orígen microbiològic en els sistemes de fangs activats. Per aconseguir aquest objectiu principal, el KBDSS ha de presentar les següents característiques: (1) la implementació del sistema ha de ser viable i realista per garantir el seu correcte funcionament; (2) el raonament del sistema ha de ser dinàmic i evolutiu per adaptar-se a les necessitats del domini al qual es vol aplicar i (3) el raonament del sistema ha de ser intel·ligent. En primer lloc, a fi de garantir la viabilitat del sistema, s'ha realitzat un estudi a petita escala (Catalunya) que ha permès determinar tant les variables més utilitzades per a la diagnosi i monitorització dels problemes i els mètodes de control més viables, com la detecció de les principals limitacions que el sistema hauria de resoldre. Els resultats d'anteriors aplicacions han demostrat que la principal limitació en el desenvolupament de KBDSSs és l'estructura de la base de coneixement (KB), on es representa tot el coneixement adquirit sobre el domini, juntament amb els processos de raonament a seguir. En el nostre cas, tenint en compte la dinàmica del domini, aquestes limitacions es podrien veure incrementades si aquest disseny no fos òptim. En aquest sentit, s'ha proposat el Domino Model com a eina per dissenyar conceptualment el sistema. Finalment, segons el darrer objectiu referent al seguiment d'un raonament intel·ligent, l'ús d'un Sistema Expert (basat en coneixement expert) i l'ús d'un Sistema de Raonament Basat en Casos (basat en l'experiència) han estat integrats com els principals sistemes intel·ligents encarregats de dur a terme el raonament del KBDSS. Als capítols 5 i 6 respectivament, es presenten el desenvolupament del Sistema Expert dinàmic (ES) i del Sistema de Raonament Basat en Casos temporal, anomenat Sistema de Raonament Basat en Episodis (EBRS). A continuació, al capítol 7, es presenten detalls de la implementació del sistema global (KBDSS) en l'entorn G2. Seguidament, al capítol 8, es mostren els resultats obtinguts durant els 11 mesos de validació del sistema, on aspectes com la precisió, capacitat i utilitat del sistema han estat validats tant experimentalment (prèviament a la implementació) com a partir de la seva implementació real a l'EDAR de Girona. Finalment, al capítol 9 s'enumeren les principals conclusions derivades de la present tesi.

The construction of national identity as a developmental process from childhood to adolescence in Catalonia

La idea que per entendre alguna cosa hem d'entendre el procés pel qual s'ha produït va ser assumida des de l'origen de l'estudi "La construcció de la identitat nacional com a procés de desenvolupament des de la infància a l'adolescència a Catalunya". Per tal d'estudiar el procés de desenvolupament relacionat amb la construcció de la identitat nacional, no és suficient considerar-lo en el seu context social, sinó que és necessari considerar la seva construcció social. Tres objectius principals van orientar el nostre estudi . Primer, indagar si els processos de categorització, identificació, coneixement, imatge, avaluació i afecte són també elements implicats en la construcció de la identitat nacional des de la infància a l'adolescència. Segon investigar el procés de desenvolupament d'aquests elements des dels 6 anys fins als 15 anys per contribuir amb dades a I'explicació sobre com es desenvolupa del coneixement social. Tres són les explicacions principals; la primera que es basa en processos cognitius d'inclusió-decentració; la segona, si aquest desenvolupament es dóna en cercles concèntrics des de I'interior (contextos quotidians) fins a l'exterior (amb intercanvis més amples i una educació formal envers la vida social); i la tercera, si el desenvolupament del coneixement social d'allò més immediat i directe es reorganitzat i adquireix nous significats per la integració dels elements més generals i abstractes. Tercer, donat el fet que el 50% de les famílies tenen el català com a llengua materna, hem estudiat la influència de la llengua o llengües utilitzades en el context familiar en el procés de construcció de la identitat nacional. Es va dissenyar una entrevista individual seguint una estructura amb les parts següents: identificació subjectiva i identificació nacional; coneixement dels països; estereotips, avaluació i sentiments, i entorn social. La mostra del present estudi va estar formada per 495 nens i adolescents de 6, 9, 12 i 15 anys d'edat. Es va utilitzar per cada grup un número similar de nens i nenes. La mostra es va dividir en tres grups segons la o les llengües utilitzades pel nen o nena en el seu context familiar. Tres van ser les categones lingüístiques utilitzades: castellà, nens que només utilitzin el castellà a casa; català, nens que només usen el català en el context familiar; i bilingües, nens que utilitzin tots dos idiomes a casa. Aquestes categories lingüístiques s'han utilitzat com a indicador dels contextos familiars. Dues conclusions principals es poden extreure d'aquest estudi. Primer, I'ús de categories nacionals no és una conseqüència del procés cognitiu d'inclusió-decentració ni en cercles concentrics (concret/abstracte). La idea d'un procés del món en paral·lel, d'un coneixement que integra simultàniament creences i sentiments de l'ambient concret o proper i de l'abstracte o llunyà pot explicar millor els nostres resultats. Els nens aprenen i pensen sobre la vida quotidara, les característiques de l'ambient, la informació circulant en el seu entom social i la importància o els diferents nivells de coneixement depenent del context. Els nens integren la informació que està circulant en el seu ambient i construeixen un món que necessàriament no ha de coincidir amb el món deis adults, però que els ajuda a comunicar-se i a entendre les situacions en les quals estan immersos. Els nens més joves són capaços d'utilitzar categories nacionals de manera similar als adolescents. Segon, la identitat nacional a Catalunya es construeix al voltant del nucli de la llengua parlada a casa. A través de tot I'estudi es pot veure un resultat consistent i reiterat. Els infants d'un entom familiar en què s'usa només el castellà s'identifiquen com a pertanyents a tots dos grups nacionals, Espanyol i Català. Els infants d'un entom familiar que utilitzen només el català s'identifiquen com a pertanyents només al grup Català. Aquestes identificacions guien com aquests nens avaluen i senten envers el propi grup nacional i els altres. A més, sembla que el context sòcio-polític és un vehicle important en la transmissió de les estructures de semblances i que I'estructura d'afecte es transmet principalment a través de I'entom familiar.

A study on the phylogeny and the ecology of ammonia-oxidizing bacteria using a new molecular marker based on the gene amoB

L'agricultura i la industrialització han causat un augment significatiu del nombre d'ambients rics en amoni. La presència de compostos nitrogenats redueix la qualitat de l'aigua, causant problemes de toxicitat, deteriorant el medi ambient i fins i tot afectant la salut humana. En conseqüència, la nitrificació s'ha convertit en un procés global que afecta al cicle del nitrogen a la biosfera. Els bacteris oxidadors d'amoni (AOB) són els responsables de l'oxidació de l'amoni a nitrit, i juguen un paper essencial en el cicle del nitrogen. Els primers oxidadors d'amoni foren aïllats a finals del segle XIX, però la lentitud del seu creixement i les dificultats per cultivar-los feren que fins als anys 80, amb els primers estudis emprant el gen 16SrDNA, no s'assolís un coneixement complert d'aquest grup bacterià. Actualment les bases de dades contenen multitud d'entrades amb seqüències corresponents a AOB. L'objectiu d'aquest treball era trobar, desenvolupar i avaluar eines útils i fiables per a l'estudi dels AOB en mostres ambientals. En aquest treball primer descrivim la utilització de la hibridació in situ amb fluorescència (FISH), mitjançant l'aplicació de sondes amb diana en el 16SrRNA dels AOB. La FISH ens va permetre detectar i recomptar aquest grup bacterià; no obstant, aquest mètode no permetia la detecció de noves seqüències, pel que es necessitava una nova eina. Amb aquesta intenció vam aplicar la seqüència de la sonda Nso1225 en una PCR. El fet d'amplificar específicament un fragment del 16SrDNA dels AOB va suposar el desenvolupament d'una nova eina molecular que permetia detectar la presència i diversitat d'aquests bacteris en ambients naturals. Malgrat tot, algunes seqüències pertanyents a bacteris no oxidadors d'amoni del subgrup β dels proteobacteris, eren també obtingudes amb aquesta tècnica. Així mateix, un dels inconvenients de l'ús del 16SrDNA com a marcador és la impossibilitat de detectar simultàniament els AOB que pertanyen als subgrups β i γ dels proteobacteris. El gen amoA, que codifica per la subunitat A de l'enzim amoni monooxigenasa (AMO), era aleshores àmpliament utilitzat com a marcador per a la detecció dels AOB. En aquest treball també descrivim la utilització d'aquest marcador en mostres procedents d'un reactor SBR. Aquest marcador ens va permetre identificar seqüències de AOB en la mostra, però la necessitat de detectar amoA mitjançant clonatge fa que l'ús d'aquest marcador requereixi massa temps per a la seva utilització com a eina en estudis d'ecologia microbiana amb moltes mostres. Per altra banda, alguns autors han assenyalat l'obtenció de seqüències de no AOB en utilitzar amoA en un protocol de PCR-DGGE. Amb la finalitat d'obtenir una eina ràpida i rigorosa per detectar i identificar els AOB, vam desenvolupar un joc nou d'oligonucleòtids amb diana en el gen amoB, que codifica per a la subunitat transmembrana de l'enzim AMO. Aquest gen ha demostrat ser un bon marcador molecular pels AOB, oferint, sense tenir en compte afiliacions filogenètiques, una elevada especificitat, sensibilitat i fiabilitat. En aquest treball també presentem una anàlisi de RT-PCR basada en la detecció del gen amoB per a la quantificació del gènere Nitrosococcus. El nou joc d'oligonucleòtids dissenyat permet una enumeració altament específica i sensible de tots els γ-Nitrosococcus coneguts. Finalment, vam realitzar un estudi poligènic, comparant i avaluant els marcadors amoA, amoB i 16SrDNA, i vàrem construir un arbre filogenètic combinat. Com a resultat concloem que amoB és un marcador adequat per a la detecció i identificació dels AOB en mostres ambientals, proporcionant alhora agrupacions consistents en fer inferències filogenètiques. Per altra banda, la seqüència sencera del gen 16S rDNA és indicada com a marcador en estudis amb finalitats taxonòmiques i filogenètiques en treballar amb cultius purs de AOB.

Collaborative recommender agents based on case-based reasoning and trust

La comunitat científica que treballa en Intel·ligència Artificial (IA) ha dut a terme una gran quantitat de treball en com la IA pot ajudar a les persones a trobar el que volen dins d'Internet. La idea dels sistemes recomanadors ha estat extensament acceptada pels usuaris. La tasca principal d'un sistema recomanador és localitzar ítems, fonts d'informació i persones relacionades amb els interessos i preferències d'una persona o d'un grup de persones. Això comporta la construcció de models d'usuari i l'habilitat d'anticipar i predir les preferències de l'usuari. Aquesta tesi està focalitzada en l'estudi de tècniques d'IA que millorin el rendiment dels sistemes recomanadors. Inicialment, s'ha dut a terme un anàlisis detallat de l'actual estat de l'art en aquest camp. Aquest treball ha estat organitzat en forma de taxonomia on els sistemes recomanadors existents a Internet es classifiquen en 8 dimensions generals. Aquesta taxonomia ens aporta una base de coneixement indispensable pel disseny de la nostra proposta. El raonament basat en casos (CBR) és un paradigma per aprendre i raonar a partir de la experiència adequat per sistemes recomanadors degut als seus fonaments en el raonament humà. Aquesta tesi planteja una nova proposta de CBR aplicat al camp de la recomanació i un mecanisme d'oblit per perfils basats en casos que controla la rellevància i edat de les experiències passades. Els resultats experimentals demostren que aquesta proposta adapta millor els perfils als usuaris i soluciona el problema de la utilitat que pateixen el sistemes basats en CBR. Els sistemes recomanadors milloren espectacularment la qualitat dels resultats quan informació sobre els altres usuaris és utilitzada quan es recomana a un usuari concret. Aquesta tesi proposa l'agentificació dels sistemes recomanadors per tal de treure profit de propietats interessants dels agents com ara la proactivitat, la encapsulació o l'habilitat social. La col·laboració entre agents es realitza a partir del mètode de filtratge basat en la opinió i del mètode col·laboratiu de filtratge a partir de confiança. Els dos mètodes es basen en un model social de confiança que fa que els agents siguin menys vulnerables als altres quan col·laboren. Els resultats experimentals demostren que els agents recomanadors col·laboratius proposats milloren el rendiment del sistema mentre que preserven la privacitat de les dades personals de l'usuari. Finalment, aquesta tesi també proposa un procediment per avaluar sistemes recomanadors que permet la discussió científica dels resultats. Aquesta proposta simula el comportament dels usuaris al llarg del temps basat en perfils d'usuari reals. Esperem que aquesta metodologia d'avaluació contribueixi al progrés d'aquesta àrea de recerca.