A proposal of a behavior-based control architecture with reinforcement learning for an autonomous underwater robot

Aquesta tesi proposa l'ús d'un seguit de tècniques pel control a alt nivell d'un robot autònom i també per l'aprenentatge automàtic de comportaments. L'objectiu principal de la tesis fou el de dotar d'intel·ligència als robots autònoms que han d'acomplir unes missions determinades en entorns desconeguts i no estructurats. Una de les premisses tingudes en compte en tots els passos d'aquesta tesis va ser la selecció d'aquelles tècniques que poguessin ésser aplicades en temps real, i demostrar-ne el seu funcionament amb experiments reals. El camp d'aplicació de tots els experiments es la robòtica submarina. En una primera part, la tesis es centra en el disseny d'una arquitectura de control que ha de permetre l'assoliment d'una missió prèviament definida. En particular, la tesis proposa l'ús de les arquitectures de control basades en comportaments per a l'assoliment de cada una de les tasques que composen la totalitat de la missió. Una arquitectura d'aquest tipus està formada per un conjunt independent de comportaments, els quals representen diferents intencions del robot (ex.: "anar a una posició", "evitar obstacles",...). Es presenta una recerca bibliogràfica sobre aquest camp i alhora es mostren els resultats d'aplicar quatre de les arquitectures basades en comportaments més representatives a una tasca concreta. De l'anàlisi dels resultats se'n deriva que un dels factors que més influeixen en el rendiment d'aquestes arquitectures, és la metodologia emprada per coordinar les respostes dels comportaments. Per una banda, la coordinació competitiva és aquella en que només un dels comportaments controla el robot. Per altra banda, en la coordinació cooperativa el control del robot és realitza a partir d'una fusió de totes les respostes dels comportaments actius. La tesis, proposa un esquema híbrid d'arquitectura capaç de beneficiar-se dels principals avantatges d'ambdues metodologies. En una segona part, la tesis proposa la utilització de l'aprenentatge per reforç per aprendre l'estructura interna dels comportaments. Aquest tipus d'aprenentatge és adequat per entorns desconeguts i el procés d'aprenentatge es realitza al mateix temps que el robot està explorant l'entorn. La tesis presenta també un estat de l'art d'aquest camp, en el que es detallen els principals problemes que apareixen en utilitzar els algoritmes d'aprenentatge per reforç en aplicacions reals, com la robòtica. El problema de la generalització és un dels que més influeix i consisteix en permetre l'ús de variables continues sense augmentar substancialment el temps de convergència. Després de descriure breument les principals metodologies per generalitzar, la tesis proposa l'ús d'una xarxa neural combinada amb l'algoritme d'aprenentatge per reforç Q_learning. Aquesta combinació proporciona una gran capacitat de generalització i una molt bona disposició per aprendre en tasques de robòtica amb exigències de temps real. No obstant, les xarxes neurals són aproximadors de funcions no-locals, el que significa que en treballar amb un conjunt de dades no homogeni es produeix una interferència: aprendre en un subconjunt de l'espai significa desaprendre en la resta de l'espai. El problema de la interferència afecta de manera directa en robòtica, ja que l'exploració de l'espai es realitza sempre localment. L'algoritme proposat en la tesi té en compte aquest problema i manté una base de dades representativa de totes les zones explorades. Així doncs, totes les mostres de la base de dades s'utilitzen per actualitzar la xarxa neural, i per tant, l'aprenentatge és homogeni. Finalment, la tesi presenta els resultats obtinguts amb la arquitectura de control basada en comportaments i l'algoritme d'aprenentatge per reforç. Els experiments es realitzen amb el robot URIS, desenvolupat a la Universitat de Girona, i el comportament après és el seguiment d'un objecte mitjançant visió per computador. La tesi detalla tots els dispositius desenvolupats pels experiments així com les característiques del propi robot submarí. Els resultats obtinguts demostren la idoneïtat de les propostes en permetre l'aprenentatge del comportament en temps real. En un segon apartat de resultats es demostra la capacitat de generalització de l'algoritme d'aprenentatge mitjançant el "benchmark" del "cotxe i la muntanya". Els resultats obtinguts en aquest problema milloren els resultats d'altres metodologies, demostrant la millor capacitat de generalització de les xarxes neurals.

Estudi de casos pel control de síntesi d’instruments musicals virtuals mitjançant la veu cantada

Report for the scientific sojourn carried out at the Music Technology Area (Sound Processing and Control Lab), Faculty of Music, McGill University, Montreal, Canada, from October to December 2005.The aim of this research is to study the singing voice for controlling virtual musical instrument synthesis. It includes analysis and synthesis algorithms based on spectral audio processing. After digitalising the acoustic voice signal in the computer, a number of expressive descriptors of the singer are extracted. This process is achieved synchronously, thus all the nuance of the singer performance have been tracked. In a second stage, the extracted parameters are mapped to a sound synthesizer, the so-called digital musical instruments. In order achieve it, several tests with music students of the Faculty of Music, McGill University have been developed. These experiments have contributed to evaluate the system and to derive new control strategies to integrate: clarinet synthesis, bass guitar, visual representation of voice signals.

Control de congestión adaptativo en redes Infiniband

El uso de recursos compartidos en las redes de interconexión de alta performance puede provocar situaciones de congestión de mensajes que degradan notablemente las prestaciones, aumentando la latencia de trasporte y disminuyendo la utilización de la red. Hasta el momento las técnicas que intentan solucionar este problema utilizan la regulación de la inyección de mensajes. Esta limitación de la inyección traslada la contención de mensajes desde los conmutadores hacia los nodos fuente, incrementando el valor de la latencia promedio global, pudiendo alcanzar valores muy elevados. En este trabajo, proponemos una técnica de control de congestión para redes InfiniBand basada en un mecanismo de encaminamiento adaptativo que distribuye el volumen de comunicaciones entre diversas trayectorias alternativas quitando carga de la zona de congestión, lo que permite eliminarla. La experimentación realizada muestra la mejora obtenida en latencia y throughput, respecto al mecanismo de control de congestión original de InfiniBand basado en la regulación de la inyección. El mecanismo propuesto es totalmente compatible y no requiere que se modifique ningún aspecto de la especificación, debido a que se utilizan componentes de gestión definidos en el estándar InfiniBand.

Métodes d'aprenentatge per reforç basats en la política i la seva aplicació a la robótica

Projecte de recerca elaborat a partir d’una estada al Robot Locomotion Group del Massachusetts Institute of Technology, Estats Units, entre març i agost del 2006. Es descriu la feina portada a terme en el camp de l'aprenentatge per reforç (RL), una metodologia molt utilitzada en aprenentatge artificial. En RL, un agent intenta maximitzar un valor escalar (càstig o premi) obtingut com a resultat de la seva interacció amb l'entorn. L'objectiu d'un sistema basat en RL és el de trobar una política d'actuació òptima que relaciona l'estat de l'entorn amb una acció determinada que maximitzi la suma de reforços futurs. El principal avantatge és que no utilitza cap base de dades conegudes, així que l'agent no rep informació sobre quina decisió triar, com succeeix en molts tipus d'aprenentatge, sinó que ha de triar per descobrir aquelles accions que tenen un valor més alt, sent molt adient en robòtica aplicada. Els principals desavantatges són uns temps de convergència sovint elevats i la manca de generalització quan tractem variables contínues. Principalment, el treball s’ha centrat en l'estudi de noves i més complexes metodologies basades en RL que combinessin dos tipus d'algorismes: els basats en funcions de valor i els representats únicament per una política d'actuació. Posteriorment s'analitzà la seva aplicabilitat en aplicacions robòtiques reals. En tots els estudis i les simulacions s’ha utilitzat un braç robòtic dissenyat i contruït al laboratori. El tipus de robot, anomenat Acrobot, és un banc de proves molt utilitzat en els camps de teoria de control i aprenentatge.

Estudi microgenètic sobre el desenvolupament del coneixement lletrat en alumnes de Primària en relació amb textosmodel d'una base de dades Web: influència del suport digital i del format de presentació

Aquest projecte representa una recerca en les classes basat en l'eficàcia de la combinació entre activitats de lectura i d'escriptura, textos i tecnologia. Presenta un currículum bé dissenyat que ofereix material als professors per a planificar la instrucció en primària i en pre-escolar. Els materials són una selecció de textos considerats com uns mediadors de la instrucció. L’estudi proporciona un model preliminar per a un currículum basat en textos que ajuden en la lectura i escriptura i en les habilitats inicials. Les lectures són llibres tipus àlbum. Dues dècades en el camp dels llibres infantils, il•lustradors, autors, editors han prestat una major atenció a les maneres del procés d'adquisició de la lectura i de l'escriptura. Aquest estudi representa un pas per a incloure aquest tipus de materials de lectura. Tres característiques de text s'han identificat: a) el contingut lingüístic a nivell de la paraula, i a nivell de l'estructura del text (repeticions dels patrons sintàctics i textuals); b) la diversitat de gènere dels llibres (llibres de narració i d'informació); i c) el control de la càrrega cognitiva (densitat de paraules, repetició i predicció del contingut i relació il•lustració-text). Els participants en aquest estudi eren 25 nens de primer curs i 23 nens pre-escolars i els seus professors (CEIP Lavinia de Barcelona). L'escola va ser seleccionada per la seva disposició a l'ús de tecnologies i els seus interessos de participar en aquest projecte experimental. Durant l'any 2007-08 van desenvolupar aquests textos, les activitats i el programa de tecnologia (Veure www.princepsiprinceses.blogspot.com, i www.conills.blogspot.com). Els efectes de la qualitat instruccional, de la selecció de textos i de l'ús de la tecnologia s'han d'observar en les diferències en les pràctiques de les professores, en les habilitats dels nens i en l'ús de tecnologies en les sales de classe.

Una aproximació d'aprenentatge automàtic per a extracció d'informació adaptativa

Les tècniques de clustering poden ajudar a reduir la supervisió en processos d'obtenció de patrons per a Extracció d'Informació. En aquest treball, que abarca un període de 4 anys de recerca, es comença per estudiar la representació de documents més adequada per a la tasca de clustering. Per tal d'evitar els biaixos dels mètodes individuals de clustering, es consideren mètodes de clustering conjunt. S'exploren diversos mètodes de combinació supervisada, i s'hi afegeixen estratègies automàtiques per a determinar el nombre de clusters de la combinació. També es consideren mecanismes per a obtenir clusterings conjunts ponderats, així com estratègies de combinació no supervisada. Finalment, els resultats del clustering s'utilitzen en un sistema d'adquisició de patrons per a substituir els elements de supervisió humana. Totes aquestes estratègies i mètodes s'avaluen en tasques de clustering de documents i adquisició de patrons usant dades reals. Es comprova que els mots com representació de documents superen altres models per a la tasca de clustering, així com que el clustering conjunt supera les limitacions dels clusterings individuals, i que les estratègies no supervisades d'adquisició de patrons obtenen resultats competitius respecte a les estratègies supervisades.

Ad-Pay: Programa de control de bons d'hores

Sistema de fidelització de clients mitjançant bons d’hores que el client anirà recarregant i del que se li descomptaran les feines que se li vagin fent. També ha d’ajudar a assegurar-se el cobrament de les feines realitzades. L’aplicació és capaç de mantenir una cartera de clients amb el seu saldo de bons, fer les imposicions de diners i introduir els albarans de les feines produïdes. També mostra dades interessants perquè el gerent de l’empresa client pugui treure les estadístiques necessàries per explotar al màxim la capacitat de la seva empresa.

Anàlisi i tècniques de processat del senyal per a la generació de mapes eòlics

L’emplaçament del projecte es situa a un parc eòlic marítim, on es vol observar el vent a través del radar VAD, Velocity Azimuth Display, per poder controlar la velocitat de rotació dels aerogeneradors, i poder substituir els actuals anemòmetres. No ens centrarem en el control d’aquest, sinó que l’objectiu principal d’aquest projecte és analitzar el funcionament i processat de dades del VAD. Es proposaran, simularan i estudiaran noves tècniques d’estimació espectral per obtenir una millora important amb les mesures de velocitat, direcció i divergència del vent, per tal de construir un radar més robust a pertorbacions. A més a més, també il·lustrarem mapes eòlics obtinguts a partir de tot el processat.

RIA amb sistema modular per a generar consultes dinàmiques a una base de dades

En aquest projecte s’han unificat les dades de l’empresa Solmania i s’han generat estadístiques i informes a diferents formats mitjançant una aplicació RIA implementada amb Adobe Flex. D’aquesta manera es pot fer un control dels paràmetres clau del negoci per ajudar a la companyia a aconseguir els objectius marcats d’una manera eficient. L’aplicatiu permet analitzar des de diversos punts de vista qualsevol tipus d’informació que genera el negoci i fer-ne comparatives de rendiment.

Predictive and distributed routing balancing (PR-DRB): high speed interconnection networks

Current parallel applications running on clusters require the use of an interconnection network to perform communications among all computing nodes available. Imbalance of communications can produce network congestion, reducing throughput and increasing latency, degrading the overall system performance. On the other hand, parallel applications running on these networks posses representative stages which allow their characterization, as well as repetitive behavior that can be identified on the basis of this characterization. This work presents the Predictive and Distributed Routing Balancing (PR-DRB), a new method developed to gradually control network congestion, based on paths expansion, traffic distribution and effective traffic load, in order to maintain low latency values. PR-DRB monitors messages latencies on intermediate routers, makes decisions about alternative paths and record communication pattern information encountered during congestion situation. Based on the concept of applications repetitiveness, best solution recorded are reapplied when saved communication pattern re-appears. Traffic congestion experiments were conducted in order to evaluate the performance of the method, and improvements were observed.

Control d'accés depenent del context: disseny i implementació dins l'entorn PROSES

Amb l’aparició de nous entorns en el món de la informàtica sorgeixen noves necessitats. Un d’aquests entorns és SESAR, un entorn que preveu l’ús massiu de transmissió de dades entre sistemes aeris. L’objecitu principal d’aquest projecte és aconseguir implementar el control d’accés per una aplicació en aquest entorn. El primer pas és dur a terme un estudi exhaustiu dels diferents elements que necessitem per desenvolupar el projecte, així com un anàlisi de l’entorn per extreure les característiques pel control d’accés. Després es presenta el seu disseny i implementació, que acompleix el seu objectiu de gestionar el control d’accés de l’aplicació de correu electrònic en aquest entorn.

Cuadro de mando : control de ventas

La empresa Eatout quiere crear un Cuadro de Mando desde el que llevar el control de ventas de los restaurantes. Actualmente se comprueba qué locales faltan por cerrar la jornada de ventas y se lleva un registro de los errores desde una hoja de cálculo. Con este proyecto se pretende agilizar y facilitar la gestión de ventas, y analizar las posibles causas de esas faltas. Para ello, se creará una aplicación en .NET desde la que gestionarán los cierres que falten por realizar en una jornada indicando cuál ha sido el motivo. Después se analizarán estos datos a través de la herramienta de Business Objects de SAP creando un Cuadro de Mando.

Factores de rendimiento asociados a SPMD

Actualmente existen muchas aplicaciones paralelas/distribuidas en las cuales SPMD es el paradigma más usado. Obtener un buen rendimiento en una aplicación paralela de este tipo es uno de los principales desafíos dada la gran cantidad de aplicaciones existentes. Este objetivo no es fácil de resolver ya que existe una gran variedad de configuraciones de hardware, y también la naturaleza de los problemas pueden ser variados así como la forma de implementarlos. En consecuencia, si no se considera adecuadamente la combinación "software/hardware" pueden aparecer problemas inherentes a una aplicación iterativa sin una jerarquía de control definida de acuerdo a este paradigma. En SPMD todos los procesos ejecutan el mismo código pero computan una sección diferente de los datos de entrada. Una solución a un posible problema del rendimiento es proponer una estrategia de balance de carga para homogeneizar el cómputo entre los diferentes procesos. En este trabajo analizamos el benchmark CG con cargas heterogéneas con la finalidad de detectar los posibles problemas de rendimiento en una aplicación real. Un factor que determina el rendimiento en esta aplicación es la cantidad de elementos nonzero contenida en la sección de matriz asignada a cada proceso. Determinamos que es posible definir una estrategia de balance de carga que puede ser implementada de forma dinámica y demostramos experimentalmente que el rendimiento de la aplicación puede mejorarse de forma significativa con dicha estrategia.

Estudio de los mensajes de control del protocolo multicast PIM SM

OPNET es una herramienta de simulación de redes muy potente, donde se puede configurar cualquier tipo de red existente. Esta herramienta nos ayuda a “probar” sin tener que montar ninguna red física, una gran ventaja sobre todo para protocolos experimentales o para el diseño de los mismos. En este proyecto se utiliza el OPNET para explotar el protocolo multicast PIM-SM. Se establecerá un modelo de red, donde estarán configurados los nodos de forma estratégica para intentar extraer el máximo de información del comportamiento en esta situación del protocolo PIM-SM.

Supervisió i control de la lectura: anàlisi de procediments, judicis metacognitius i resultats de comprensió en estudiants d'Educació Secundària Obligatòria

Els processos de comprensió lectora són complexes, i requereixen de l’ús autorregulat, conscient i deliberat de la metacognició en les seves dues vessants: supervisió i control. L’objectiu d’aquest projecte és analitzar les relacions entre aquests dos components, i la seva repercussió en la comprensió lectora que finalment s’assoleix. Per tal de tractar aquesta qüestió s’han analitzat els processos de lectura seguits per 60 alumnes d’Educació Secundària Obligatòria. La presència i el tipus de relectura ha estat considerada com a mesura de control (estratègia emprada per millorar la pròpia comprensió), mentre que els judicis metacognitius són considerats com a mesura de supervisió. També es va elaborar una prova de comprensió lectora incloent preguntes que requerissin diferents nivells de processament cognitiu, de més superficial a més profund. Els nostres resultats preliminars mostren una relació entre l’ajust dels judicis metacognitius i la comprensió lectora assolida; els lectors que millor entenen el text tendeixen a ser els que millor supervisen la seva comprensió. La relectura també s’ha mostrat útil per millorar la comprensió, ja que els participants obtenen millors resultats després de rellegir. Per últim, s’ha trobat una relació significativa entre l’ajust dels judicis metacognitius i la relectura. D’una banda, aquests resultats subratllen la importància de la supervisió i el control en la comprensió lectora, i ofereixen evidències per explicar les complexes relacions entre supervisió, control, i resultats de comprensió. A més, els processos de lectura i els objectius amb què hom rellegeix apareixen com a temes rellevants que requereixen ser investigats per comprendre millor la interacció entre els processos de supervisió i control en la comprensió lectora. D’altra banda, els resultats tenen valuoses implicacions educatives, ja que proporcionen evidències de la importància d’ensenyar processos metacognitius des d’un punt de vista estratègic, en contraposició a les “tècniques”, per tal de millorar la comprensió lectora.