Towards Direct Policy Search Reinforcement Learning for Robot Control

This paper proposes a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot. Although the dominant approach, when using RL, has been to apply value function based algorithms, the system here detailed is characterized by the use of direct policy search methods. Rather than approximating a value function, these methodologies approximate a policy using an independent function approximator with its own parameters, trying to maximize the future expected reward. The policy based algorithm presented in this paper is used for learning the internal state/action mapping of a behavior. In this preliminary work, we demonstrate its feasibility with simulated experiments using the underwater robot GARBI in a target reaching task

Gradient-based reinforcement learning techniques for underwater robotics behavior learning

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG.

A proposal of a behavior-based control architecture with reinforcement learning for an autonomous underwater robot

Aquesta tesi proposa l'ús d'un seguit de tècniques pel control a alt nivell d'un robot autònom i també per l'aprenentatge automàtic de comportaments. L'objectiu principal de la tesis fou el de dotar d'intel·ligència als robots autònoms que han d'acomplir unes missions determinades en entorns desconeguts i no estructurats. Una de les premisses tingudes en compte en tots els passos d'aquesta tesis va ser la selecció d'aquelles tècniques que poguessin ésser aplicades en temps real, i demostrar-ne el seu funcionament amb experiments reals. El camp d'aplicació de tots els experiments es la robòtica submarina. En una primera part, la tesis es centra en el disseny d'una arquitectura de control que ha de permetre l'assoliment d'una missió prèviament definida. En particular, la tesis proposa l'ús de les arquitectures de control basades en comportaments per a l'assoliment de cada una de les tasques que composen la totalitat de la missió. Una arquitectura d'aquest tipus està formada per un conjunt independent de comportaments, els quals representen diferents intencions del robot (ex.: "anar a una posició", "evitar obstacles",...). Es presenta una recerca bibliogràfica sobre aquest camp i alhora es mostren els resultats d'aplicar quatre de les arquitectures basades en comportaments més representatives a una tasca concreta. De l'anàlisi dels resultats se'n deriva que un dels factors que més influeixen en el rendiment d'aquestes arquitectures, és la metodologia emprada per coordinar les respostes dels comportaments. Per una banda, la coordinació competitiva és aquella en que només un dels comportaments controla el robot. Per altra banda, en la coordinació cooperativa el control del robot és realitza a partir d'una fusió de totes les respostes dels comportaments actius. La tesis, proposa un esquema híbrid d'arquitectura capaç de beneficiar-se dels principals avantatges d'ambdues metodologies. En una segona part, la tesis proposa la utilització de l'aprenentatge per reforç per aprendre l'estructura interna dels comportaments. Aquest tipus d'aprenentatge és adequat per entorns desconeguts i el procés d'aprenentatge es realitza al mateix temps que el robot està explorant l'entorn. La tesis presenta també un estat de l'art d'aquest camp, en el que es detallen els principals problemes que apareixen en utilitzar els algoritmes d'aprenentatge per reforç en aplicacions reals, com la robòtica. El problema de la generalització és un dels que més influeix i consisteix en permetre l'ús de variables continues sense augmentar substancialment el temps de convergència. Després de descriure breument les principals metodologies per generalitzar, la tesis proposa l'ús d'una xarxa neural combinada amb l'algoritme d'aprenentatge per reforç Q_learning. Aquesta combinació proporciona una gran capacitat de generalització i una molt bona disposició per aprendre en tasques de robòtica amb exigències de temps real. No obstant, les xarxes neurals són aproximadors de funcions no-locals, el que significa que en treballar amb un conjunt de dades no homogeni es produeix una interferència: aprendre en un subconjunt de l'espai significa desaprendre en la resta de l'espai. El problema de la interferència afecta de manera directa en robòtica, ja que l'exploració de l'espai es realitza sempre localment. L'algoritme proposat en la tesi té en compte aquest problema i manté una base de dades representativa de totes les zones explorades. Així doncs, totes les mostres de la base de dades s'utilitzen per actualitzar la xarxa neural, i per tant, l'aprenentatge és homogeni. Finalment, la tesi presenta els resultats obtinguts amb la arquitectura de control basada en comportaments i l'algoritme d'aprenentatge per reforç. Els experiments es realitzen amb el robot URIS, desenvolupat a la Universitat de Girona, i el comportament après és el seguiment d'un objecte mitjançant visió per computador. La tesi detalla tots els dispositius desenvolupats pels experiments així com les característiques del propi robot submarí. Els resultats obtinguts demostren la idoneïtat de les propostes en permetre l'aprenentatge del comportament en temps real. En un segon apartat de resultats es demostra la capacitat de generalització de l'algoritme d'aprenentatge mitjançant el "benchmark" del "cotxe i la muntanya". Els resultats obtinguts en aquest problema milloren els resultats d'altres metodologies, demostrant la millor capacitat de generalització de les xarxes neurals.

L'Aprenentatge en grup per projectes, una experiència enriquidora

Els canvis a la universitat s’estan produint amb un cert recel per part d’alguns a qui costa acoblar-se als dictats del nou marc que proposa l’EEES. Nosaltres portem anys treballant amb grups i per projectes, dintre dels estudis de Enginyeria del Disseny Industrial i Desenvolupament de Productes de la Universitat de Girona, en les assignatures de Projectes. La nostra experiència és molt positiva i concorda amb tot allò que es ve publicant sobre l’aprenentatge basat en grups i el model de treball sobre projectes. D’aquesta manera aconseguim una bona interacció dels estudiants amb allò que nosaltres volem que aprenguin. L’aprenentatge per projectes (APP, o PBL Project Based Learning) es un conjunt de mètodes de treball, una eina d’instrucció que ajuda tant al docent com a l’alumne en el procés d’ensenyament / aprenentatge però que requereix alguns canvis significatius respecte una classe expositiva o un tradicional treball en grup. Presentem el desenvolupament d’aquests mètodes, on a més hem introduït elements innovadors dintre el que es coneix com autogestió del temps i de l’aprenentatge

Xarxa d’Innovació Docent en Aprenentatge Basat en Problemes de la Universitat de Girona. Una experiència d'aprenentatge basat en problemes en un tema de genètica per a psicòlegs

L’experiència que presentem en aquestes jornades ha consistit en organitzar un entorn d’aprenentatge basat en problemes (a partir d’ara ABP) en un grup d’estudiants del primer curs de Psicologia per treballar uns temes de Genètica. En primer lloc, introduirem resumidament la metodologia ABP. En segon lloc, exposarem el context i les particularitats de l’experiència. A continuació s’explicarà el procediment que s’ha seguit per implementar-la i com s’ha avaluat. Al final es fa una reflexió de cares a aconseguir millores en els cursos posteriors. Malgrat l’experiència hagi tingut lloc en els Estudis de Psicologia, ha estat el resultat del treball realitzat pels membres de la Xarxa d’Innovació Docent en Aprenentatge Basat en Problemes.

Ús de l'entorn virtual LAMS per a la creació de seqüències didàctiques col·laboratives i personalitzables

LAMS (Learning Activity Management System), com a projecte de programari lliure basat en tecnologies web, va ser alliberat a la comunitat d'usuaris i desenvolupadors el Febrer del 2005, des d'aquesta data fins avui s'han produït una sèrie d'avenços i innovacions que ha permès fer extensiu l'ús d'aquest entorn a persones amb pocs coneixements de programació i relacionades amb la pedagogia i el disseny instruccional. La investigació portada a terme ha permès a un grup d'investigadors de la Universitat Oberta de Catalunya (UOC) aprofundir en el disseny instruccional de seqüències didàctiques amb LAMS potenciant dos aspectes clau, el treball col·laboratiu virtual i també la personalització de l'aprenentatge per part de l'estudiant. Durant la recerca es va elaborar una guia de disseny instruccional per implementar activitats didàctiques amb LAMS que tinguin les dos característiques anteriorment descrites, i va servir com a referència per portar a terme una prova pilot amb estudiants de la universitat per tal de valorar el seu grau de satisfacció amb el procés d'aprenentatge mitjançant l'ús de l'entorn virtual LAMS. L'estudi revela un elevat grau de satisfacció en quant als dos factors examinats, d'una banda, els estudiants consideren que les activitats proporcionades afavoreixen la construcció de coneixement col·lectiu i, d'altra banda, també consideren que és molt positiu que es pugui personalitzar l'aprenentatge mitjançant l'elecció de les activitats a fer per adquirir una competència específica.

Les Tecnologies de la Informació i la Comunicació : criteris psicopedagògics per al desenvolupament curricular

Els objectius d'aquest treball es concreten en les aportacions que es poden fer des de la psicopedagogia per a definir els criteris que han de guiar el procés d'elaboració del currículum de les TIC en l'ensenyament obligatori i en la manera com el psicopedagog col·labora en aquesta tasca amb altres professionals (tècnics i docents). Així, concretant més les meves intencions, la tasca per a aquest pràcticum consistirà en la revisió de diferents models curriculars sobre les TIC (models d'altres països i propostes parcials dels PCC d'alguns centres d'educació primària de Catalunya), analitzant-los des del punt de vista psicopedagògic i segons un model constructivista de l'ensenyament i de l'aprenentatge, per tal d'arribar a la proposta d'un model propi emmarcat en els principis del currículum prescriptiu marcat per la LOGSE, referits a educació infantil i primària.

Aprenentatge basat en objectius aplicat a un mòdul docent de continguts preclínics del grau de Medicina

L’experiència que es presenta s’ha dut a terme en el mòdul “Morfologia, estructura i funció del cos humà I” de primer curs del Grau de Medicina per tal d’adaptar-se a l’Espai Europeu d’Educació Superior. Particularment es va tenir en compte el fort debat existent en els darrers anys sobre els ensenyaments de pre-grau en àmbits de Ciències de la Salut [1-5] Els objectius principals plantejats en aquest projecte van ser dos: 1) convertir un ensenyament fragmentat de tres matèries afins en un ensenyament integrat i focalitzat per a estudiants de medicina; 2) fer protagonista directe del seu aprenentatge a aquests estudiants procedents d’un ensenyament molt dirigit (ESO i Batxillerat). El mòdul conté coneixements teòrics i pràctics de Biologia Cel·lular, Genètica i Bioquímica, amb la finalitat de donar una visió integrada de l’estructura i funció cel·lular i per tant de l’homeòstasi del cos humà a nivell molecular i cel·lular. La metodologia docent s’ha basat en aprenentatge per objectius. El mòdul s’ha dividit en cinc períodes anomenats Unitats d’Aprenentatge per Objectius (UAOs). S’han dissenyat diferents eines d’ajuda per a aquest autoaprenentatge i a més el seguiment d’aquest procés s’ha realitzat utilitzant diferents tipus de tutories. El contingut del mòdul es completa amb unes sessions pràctiques al laboratori que es fan de forma intensiva amb la finalitat de familiaritzar els estudiants amb les tècniques bàsiques d’un laboratori de recerca biomèdica

Xarxa d’Innovació Docent sobre aprenentatge Reflexiu presentació de la XID-AR

Els participants de la Xarxa d’Innovació Docent en Aprenentatge Reflexiu provenim de disciplines acadèmiques i d’àmbits professionals diferents (Infermeria, Psicologia, Turisme i Educació Social) des dels quals la pràctica docent desenvolupada ens ha portat a aprofundir en l’aprenentatge reflexiu com a metodologia d’ensenyament aprenentatge per millorar la formació dels estudiants. En el context de la UdG, i feta una revisió dels dissenys de les assignatures de segon curs dels estudis de Grau de la UdG, es pot dir que en Graus de sis de les nous Facultats, la reflexió és esmentada de forma majoritària a nivell d’activitats d’aprenentatge i en d’altres a nivell de competències.

Xarxa d'Innovació Docent sobre Aprenentatge Cooperatiu. Bones pràctiques sobre aprenentatge cooperatiu 2011.

Es presenten les línies mestres del treball de la Xarxa d’Innovació Docent sobre Aprenentatge Cooperatiu (XIDAC) de la UdG durant el curs 2010-2011.

El Taller de traducción como metodología didáctica experimental en un marco epistemológico socioconstructivista y humanista

Aquest treball de recerca presenta les diferents fases d’un experiment pilot que vaig projectar i realitzar dins l’àmbit de l’ensenyament de la traducció a un context universitari. L’experiment va consistir en l’aplicació i observació d’una metodologia didàctica innovadora, amb una base epistemològica socioconstructivista i humanista, i en l’avaluació dels resultats obtinguts. Per l’experiment pilot vaig seleccionar com a marc teòric el model socioconstructivista del procés d’ensenyament i aprenentatge proposat per Williams i Burden (1997), que integra instàncies constructivistes, interaccionistes i humanistes. En aquest àmbit vaig elaborar una metodologia didàctica innovadora, el “Taller de Traducció”, modelat sobre el Constructivist Workshop proposat per Don Kiraly (2000: 62-64) al qual vaig aportar algunes modificacions per adequar-lo al context diferent d’ensenyament. El disseny experimental basat en la utilització d’un grup experimental i d’un de control, preveu el recurs a instruments de recollida de dades qualitatives i quantitatives. Les hipòtesis elaborades prospecten l’aparició de determinats efectes com a conseqüència de l’aplicació del tractament experimental (autonomia, motivació i presa de consciència) i, al mateix temps es basen en la pressuposició, sustentat sobre la literatura consultada, que els efectes prospectats milloren el procés d’ensenyament i aprenentatge. Per tant, vaig intentar, per una banda, verificar l’eficàcia del tractament relacionada amb l’aparició dels efectes prospectats i, per una altra, mesurar l’incidència d’aquests efectes sobre el procés d’ensenyament i aprenentatge. A més, vaig dur a terme l’observació i avaluació de la metodologia aplicada respecte la coherència amb les bases epistemològiques socioconstructivistes i a la funcionalitat dins el context universitari on es va aplicar. Totes les dades recollides confirmen la coherència i la funcionalitat de la metodologia aplicada, tant pel que fa a l’eficàcia relacionada amb l’aparició dels efectes prospectats a les hipòtesis elaborades i a la seva incidència sobre la millora del procés d’ensenyament i aprenentatge, tot i que es van detectar algunes fallides a l’experiment pilot que se solucionaran a l’experiment definitiu. Els resultats positius de l’experiment pilot han estat confirmades també per les dades d’altres dos experiments realitzats posteriorment amb altres grups d’estudiants de la mateixa assignatura. Tots els resultats recollits es faran servir per projectar l’experiment definitiu, aportant-hi les modificacions necessàries per eliminar les fallides evidenciades durant la fase d’aplicació de l’experiment pilot i de les seves extensions i seguiments, i serviran com a base per a la meva tesi doctoral a la qual voldria arribar a formular una proposta socioconstrucitivista i humanista integradora per a l’ensenyament de la traducció.

Colegio Nuestra Señora del Carmen-Ikastetxea

Este trabajo se centra en la atención a la diversidad, enfocado en aquellos alumnos con necesidades educativas especiales por dificultades de aprendizaje, por trastorno de déficit de atención, dislexia, inteligencia límite (bordeline) y síndrome de triple X. Con él también se pretende la adaptación de niños de nacionalidad china a nuestros hábitos y se les ilustra en el método silábico para que aprendan el idioma del castellano con prontitud para evitar la dislexia, entre otros problemas.

La integració de persones amb discapacitats en el lleure. Una resposta educativa i social : les colònies integradores

Aquest vol ser un treball que, emmarcat dins l'esfera del lleure, centri la seva atenció en la interrelació dels vèrtexs d'un triangle que formen els següents components: un grup d'infants i d'adolescents, un grup de monitors i unes activitats de lleure. Els objectius van dirigits als nens i als monitors, perquè aquesta empresa la construeixen entre tots els que hi prenen part. La intervenció psicopedagògica vol aconseguir que la interacció d'aquests elements, en aquest context, possibiliti que tots els nens assoleixin uns objectius educatius i socials determinats. No es tracta d'un plantejament descriptiu dels tipus d'aprenentatge que tenen lloc a la colònia, alguns tan evidents com l'aprenentatge per imitació de models o l'aprenentatge vicari per a l'aprenentatge social d'actituds i de comportaments, sinó d'assessorar els monitors sobre com han d'intervenir en les relacions que s'estableixen en el si de la colònia per tal d'arribar a aconseguir els canvis en els comportaments i en les actituds.

Diseño, implementación y evaluación de un juego basado en puzzles para el aprendizaje de redes de ordenadores

El aprendizaje basado en juegos proporciona a los alumnos una forma de aprender más motivadora y gratificante al estudiante. Los juegos educativos permiten a los estudiantes centrarse completamente en un contenido concreto, resultándoles beneficioso a la hora de profundizar su conocimiento en esa materia. Esta forma de educar puede ayudar a revertir la situación actual de desinterés de los alumnos por las asignaturas del área de las ingenierías de las Tecnologías de la Información y la Comunicación (TIC). En este sentido, estudios realizados y estadísticas demuestran que las matriculaciones en este sector han disminuido en los últimos años. Teniendo en cuenta estos factores, en este PFC se ha diseñado un juego educativo, basado en puzzles, para aprender conceptos relacionados con las redes de ordenadores, una de las temáticas principales en el campo de las ingenierías TIC. El diseño del juego está fundamentado en un modelo conceptual que define los elementos necesarios para crear juegos basados en puzzles. Por otra parte, en este PFC se hace uso de estándares educativos (en concreto, de la especificación de IMS Learning Design), para la implementación del juego. De este modo, el juego se beneficia de las ventajas derivadas del uso de estándares educativos: definición, compartición y reutilización de objetos de aprendizaje para el diseño, intercambio y la reutilización de estrategias pedagógicas, facilitando la interoperabilidad de los diseños pedagógicos complejos. Además, el juego se ha implementado con tecnología para Android,pudiendo de esta manera ser utilizado en dispositivos móviles que utilicen esta tecnología. Por último, nuestro juego ha sido evaluado por estudiantes de un centro escolar con el fin de analizar los resultados obtenidos a partir de sus opiniones y valoraciones.

On the industry experience premium and labor mobility

[cat] Hi ha evidència que l'experiència es remunera diferentment segons la indústria. Proposem un model teòric que explica aquestes diferències. Suposem que la mobilitat de treballadors aporta coneixement extern a l'empresa i això augmenta la seva productivitat. Els resultats mostren que l'experiència és millor remunerada en les indústries amb costos de mobilitat baixos, amb molt aprenentatge (learning-by-doing) i alt nivell tecnològic. A més, trobem una relació en forma de U entre la remuneració de l'experiència i el nivell d'absorció de coneixement extern, la substitutibilitat entre diferents tipus de treballadors i la varietat de coneixement dins la indústria. Els resultats són consistents amb l'evidència que les indústries intensives en I and D remuneren millor l'experiència.