Policy gradient based Reinforcement Learning for real autonomous underwater cable tracking

This paper proposes a field application of a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot in cable tracking task. The learning system is characterized by using a direct policy search method for learning the internal state/action mapping. Policy only algorithms may suffer from long convergence times when dealing with real robotics. In order to speed up the process, the learning phase has been carried out in a simulated environment and, in a second step, the policy has been transferred and tested successfully on a real robot. Future steps plan to continue the learning process on-line while on the real robot while performing the mentioned task. We demonstrate its feasibility with real experiments on the underwater robot ICTINEU AUV

Autonomous underwater vehicle control using reinforcement learning policy search methods

Autonomous underwater vehicles (AUV) represent a challenging control problem with complex, noisy, dynamics. Nowadays, not only the continuous scientific advances in underwater robotics but the increasing number of subsea missions and its complexity ask for an automatization of submarine processes. This paper proposes a high-level control system for solving the action selection problem of an autonomous robot. The system is characterized by the use of reinforcement learning direct policy search methods (RLDPS) for learning the internal state/action mapping of some behaviors. We demonstrate its feasibility with simulated experiments using the model of our underwater robot URIS in a target following task

Towards Direct Policy Search Reinforcement Learning for Robot Control

This paper proposes a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot. Although the dominant approach, when using RL, has been to apply value function based algorithms, the system here detailed is characterized by the use of direct policy search methods. Rather than approximating a value function, these methodologies approximate a policy using an independent function approximator with its own parameters, trying to maximize the future expected reward. The policy based algorithm presented in this paper is used for learning the internal state/action mapping of a behavior. In this preliminary work, we demonstrate its feasibility with simulated experiments using the underwater robot GARBI in a target reaching task

Gradient-based reinforcement learning techniques for underwater robotics behavior learning

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG.

A proposal of a behavior-based control architecture with reinforcement learning for an autonomous underwater robot

Aquesta tesi proposa l'ús d'un seguit de tècniques pel control a alt nivell d'un robot autònom i també per l'aprenentatge automàtic de comportaments. L'objectiu principal de la tesis fou el de dotar d'intel·ligència als robots autònoms que han d'acomplir unes missions determinades en entorns desconeguts i no estructurats. Una de les premisses tingudes en compte en tots els passos d'aquesta tesis va ser la selecció d'aquelles tècniques que poguessin ésser aplicades en temps real, i demostrar-ne el seu funcionament amb experiments reals. El camp d'aplicació de tots els experiments es la robòtica submarina. En una primera part, la tesis es centra en el disseny d'una arquitectura de control que ha de permetre l'assoliment d'una missió prèviament definida. En particular, la tesis proposa l'ús de les arquitectures de control basades en comportaments per a l'assoliment de cada una de les tasques que composen la totalitat de la missió. Una arquitectura d'aquest tipus està formada per un conjunt independent de comportaments, els quals representen diferents intencions del robot (ex.: "anar a una posició", "evitar obstacles",...). Es presenta una recerca bibliogràfica sobre aquest camp i alhora es mostren els resultats d'aplicar quatre de les arquitectures basades en comportaments més representatives a una tasca concreta. De l'anàlisi dels resultats se'n deriva que un dels factors que més influeixen en el rendiment d'aquestes arquitectures, és la metodologia emprada per coordinar les respostes dels comportaments. Per una banda, la coordinació competitiva és aquella en que només un dels comportaments controla el robot. Per altra banda, en la coordinació cooperativa el control del robot és realitza a partir d'una fusió de totes les respostes dels comportaments actius. La tesis, proposa un esquema híbrid d'arquitectura capaç de beneficiar-se dels principals avantatges d'ambdues metodologies. En una segona part, la tesis proposa la utilització de l'aprenentatge per reforç per aprendre l'estructura interna dels comportaments. Aquest tipus d'aprenentatge és adequat per entorns desconeguts i el procés d'aprenentatge es realitza al mateix temps que el robot està explorant l'entorn. La tesis presenta també un estat de l'art d'aquest camp, en el que es detallen els principals problemes que apareixen en utilitzar els algoritmes d'aprenentatge per reforç en aplicacions reals, com la robòtica. El problema de la generalització és un dels que més influeix i consisteix en permetre l'ús de variables continues sense augmentar substancialment el temps de convergència. Després de descriure breument les principals metodologies per generalitzar, la tesis proposa l'ús d'una xarxa neural combinada amb l'algoritme d'aprenentatge per reforç Q_learning. Aquesta combinació proporciona una gran capacitat de generalització i una molt bona disposició per aprendre en tasques de robòtica amb exigències de temps real. No obstant, les xarxes neurals són aproximadors de funcions no-locals, el que significa que en treballar amb un conjunt de dades no homogeni es produeix una interferència: aprendre en un subconjunt de l'espai significa desaprendre en la resta de l'espai. El problema de la interferència afecta de manera directa en robòtica, ja que l'exploració de l'espai es realitza sempre localment. L'algoritme proposat en la tesi té en compte aquest problema i manté una base de dades representativa de totes les zones explorades. Així doncs, totes les mostres de la base de dades s'utilitzen per actualitzar la xarxa neural, i per tant, l'aprenentatge és homogeni. Finalment, la tesi presenta els resultats obtinguts amb la arquitectura de control basada en comportaments i l'algoritme d'aprenentatge per reforç. Els experiments es realitzen amb el robot URIS, desenvolupat a la Universitat de Girona, i el comportament après és el seguiment d'un objecte mitjançant visió per computador. La tesi detalla tots els dispositius desenvolupats pels experiments així com les característiques del propi robot submarí. Els resultats obtinguts demostren la idoneïtat de les propostes en permetre l'aprenentatge del comportament en temps real. En un segon apartat de resultats es demostra la capacitat de generalització de l'algoritme d'aprenentatge mitjançant el "benchmark" del "cotxe i la muntanya". Els resultats obtinguts en aquest problema milloren els resultats d'altres metodologies, demostrant la millor capacitat de generalització de les xarxes neurals.

El Cas integrat. Un aprenentatge integral i integrador. L'experiència de l'Escola Universitària d'Infermeria Sant Joan de Déu de Barcelona

Potenciar una Europa del coneixement on l’aprenentatge continuat durant la vida és un element essencial per a obtenir una major competitivitat Europea, a l’hora que es promociona la cooperació i mobilitat entre universitats, és l’objectiu principal de l’Espai Europeu d’Educació Superior. Sota aquesta directriu, és necessari potenciar la reflexió i la capacitat crítica de les persones en formació. Crear espais on l’alumne/a passi a ser el centre dels processos d’ensenyança-aprenentatge, on es faciliti que reflexioni sobre allò que està fent i com ho fa, quins processos segueix per entendre situacions i com les interpreta. Potenciar que l’alumne/a aprengui a aprendre, aprendre per la vida, perquè sigui una persona amb ment oberta i capaç d’adaptar-se i modificar la realitat quan sigui necessari. L’EUI Sant Joan de Déu, que es caracteritza pel seu esperit innovador i la sensibilitat envers els canvis, implanta una nova metodologia docent anomenada Cas Integrat (C.I.). El Cas Integrat és una activitat docent que facilita a l’estudiant comprendre les diferents temàtiques que el composen de forma integrada i a la vegada integradora amb l’equip, posicionant-se activament en el seu aprenentatge. És un mètode que es nodreix dels principis de l’aprenentatge basat en problemes (ABP). Es tracta de la descripció d’una situació hipotètica construïda a través de les aportacions dels diferents professors que participen en el cas. És una metodologia docent que es diferencia de les que s’havia utilitzat fins ara. En aquest mètode s’aglutinen continguts de diferents assignatures, que comporta un treball conjunt i continuat del professorat. Ressaltem que el C. I. fomenta el treball en equip, la responsabilitat en l’aprenentatge, augmenta la relació entre els tutors i els estudiants i també potencia la visió integral dels continguts curriculars. També és cert que ens hem trobat amb dificultats com limitacions per part d’alguns estudiants a l’hora de buscar informació, reticències per part d’alguns estudiants en la manera com hem construït els grups, la complexitat a l’hora d’avaluar ja que s’avaluen molts ítems i el fet de compaginar horaris

Experiència d'implementació de l'Aprenentatge Basat en Problemes (ABP) al primer curs dels estudis de medicina en una facultat de nova creació

La implementació de l’Espai Europeu d’Educació Superior a les facultats comporta canvis importants, especialment dirigits cap a uns estudis més centrats en l’estudiant. Un puntal en aquest nou mètode docent és l'Aprenentatge Basat en Problemes (ABP) o Problem Based Learning (PBL), una metodologia didàctica en la qual l'alumne aprèn els conceptes de cada mòdul mitjançant la resolució de problemes o casos clínics adequadament dissenyats i formulats per l’equip docent. La implementació de l’ABP exigeix, doncs, una planificació de la docència organitzada en grups petits (10-12 alumnes per sessió) amb un tutor que només guia i resol dubtes. No fa exposició de coneixements que els estudiants necessàriament han d’obtenir mitjançant el seu treball. L’objectiu d’aquest treball és descriure l’experiència portada a terme a la Facultat de Medicina de la UdG durant el curs 2008-09 aplicant la metodologia docent de l’ABP, així com els resultats obtinguts en l’avaluació de l’alumnat i del professorat. Aquesta metodologia ha requerit una sèrie d’estratègies de planificació i gestió per part dels diferents agents implicats que condicionaran l’èxit de l’aprenentatge de l’estudiant. Ha calgut tenir presents una sèrie de recursos que s’han de gestionar convenientment per a garantir la viabilitat del mètode: professorat motivat, figura d’un coordinador de mòdul, material docent i disseny d’horaris específics, reconversió dels espais de l’aulari, constitució d’una Unitat d’Educació Mèdica i vincles d’assessorament pedagògic específics, entre d’altres. Del total d’alumnes matriculats a primer de medicina (n=89) els resultats disponibles són els següents: 86,2% d’aprovats amb una nota mitjana de 7,2. L’índex d’abandonament ha estat de l’1,25%. Pel que fa als tutors, la proporció amb una valoració per sota del 6 és d’un 3,7%. Conclosa aquesta primera experiència d’implementació de la metodologia ABP cal plantejar els propers passos. Actualment està tenint lloc la planificació de segon curs en la qual es pretén aprofundir en les millores possibles. Els esforços de primer es van centrar a iniciar el camí, a determinar un projecte adequat, a planificar els mòduls i recursos, a dotar-ho d’eines adequades, a desenvolupar nous materials i, sobretot, a adaptar la mentalitat d’alumnes i professors. Cal incidir en la difusió dels resultats

Anàlisi crític de la nostra experiència docent en Dret Financer i Tributari de la avaluació del procés d'aprenentatge de l'estudiant adaptat a l'Espai Europeu d'Educació Superior (EEES)

Aquesta comunicació té com a objecte exposar i analitzar críticament la nostra experiència d’innovació docent desenvolupada des del curs 2004-2005 i fins a l’actualitat a la Universitat Pompeu Fabra, i des del curs 2008-2009 a la Universitat de Girona. L’experiència es dirigeix a adaptar les assignatures troncals de Dret financer i tributari de la Llicenciatura en Dret als principis i metodologia de l’Espai Europeu d’Educació Superior (EEES). En particular, la comunicació es centra en els aspectes relatius a l’avaluació del procés d’aprenentatge de l’estudiant. Entre d’altres qüestions, s’exposen quins instruments ens han resultat més eficaços per a guiar a l’alumne en el seu procés d’autoaprenentatge i quins ens proposem desenvolupar per a millorar (guies d’estudi; qüestionaris Moodle; tutories; etc.). També es destaca la necessitat de coordinar les diverses assignatures d’un mateix curs (p. ex. a efectes d’aconseguir una distribució coherent de la càrrega de treball de l’estudiant) i de buscar alternatives perquè els estudiants puguin compaginar el seguiment de l’avaluació contínua amb les seves eventuals obligacions professionals

Claus per a la implicació dels estudiants: llibertat controlada. Correcció entre iguals: una experiència docent polivalent

Ensenyar a participar és instruir els futurs professionals a viure amb una visió crítica sobre el món i a pensar en la feina de l’arquitecte no solament des del punt de vista de la tekne sinó també des del punt de vista ètic i moral: disciplina que ensenya les regles que han de dirigir l’activitat lliure de l’home. Des de l’inici del segle XX diversos autors amb diversos punts de vista sobre la pedagogia van assenyalar la importància d’aprendre a partir d’activitats (la tekne), aspecte que comporta la idea d’una major participació i coordinació (element ètic) de l’alumnat. De fet, l’adaptació de la Universitat espanyola a l’espai europeu d’ensenyament superior, segons el Conveni de Bolonya de 1999, no només significa un canvi tècnic pel que fa al càlcul dels crèdits i la seva distribució, sinó que comporta sobretot —i aquest és l’aspecte més interessant i suggeridor d’aquest procés— l’anomenat canvi cultural, en què tot el cos docent ha d’implicar-se per tal d’aplicar el nou model en el qual l’element ètic, que comporta un actitud critica i responsable, de l’ensenyament assumeix més protagonisme. Model que hauria d’estimular la implicació critica de l’alumnat i el desenvolupament cooperatiu d’un pensament científic elaborat des de l’autonomia personal

Anàlisi d'una experiència d'aprenentatge col.laboratiu en un entorn virtual en l'àmbit de l'ensenyament superior. 'Análisis de una experiencia de aprendizaje colaborativo en un entorno virtual en el ámbito de la enseñanza superior'.

Resumen tomado del autor

La competència "El treball col·laboratiu": una oportunitat per a incorporar les TIC en la didàctica universitària. Descripció de l'experiència amb la plataforma ACME (UdG) = La competencia "El trabajo colaborativo": una oportunidad para incorporar las TIC en la didáctica universitaria. Descripción de la experiencia con la plataforma ACME (UdG)

L'article és una reflexió sobre els requisits de formació dels professionals que demana la societat del coneixement. Un dels objectius més importants que ha de tenir la universitat en la societat del coneixement és la formació de professionals competents que tinguin prou eines intel·lectuals per a enfrontar-se a la incertesa de la informació, a la consciència que aquesta té una data de caducitat a curt termini i a l'ansietat que això provoca. Però, a més, també han de ser capaços de definir i crear les eines de treball amb què donaran sentit i eficàcia a aquest coneixement mudable i mutant. Per això, l'espai europeu d'ensenyament superior prioritza la competència transversal del treball col·laboratiu amb l'objectiu de promoure un aprenentatge autònom, compromès i adaptat a les noves necessitats de l'empresa del segle xxi. En aquest context, es presenta l'entorn teòric que fonamenta el treball desenvolupat a la plataforma informàtica ACME, que uneix el treball col·laboratiu i l'aprenentatge semipresencial o blended learning. Així mateix, es descriuen amb detall alguns exemples de wikis, paradigma del treball col·laboratiu, fets en assignatures impartides per la Universitat de Girona en l'espai virtual ACME

La Reflexió sobre la pràctica i l'avaluació mitjançant autoavaluació i coavaluació, en la formació inicial universitària: una experiència als estudis de mestre/a-educació física per aplicar al grau de mestre/a de primària

Es presenta una experiència de reflexió i avaluació formadora als estudis de Mestre (curs 2010-11) Entre altres activitats, es dissenyà una unitat didàctica de jocs cooperatius, la qual es dugué a terme en una escola de l'entorn de Girona. Cada sessió fou dirigida per dos estudiants, i la resta observaren i avaluaren l'acció docent. Una part de la qualificació final provenia d'un procés d'autoavaluació i coavaluació, en relació a la confecció de la unitat didàctica i la conducció de les sessions. Les dades obtingudes assenyalen, entre altres conclusions, un elevat grau d'implicació dels estudiants, tant en el disseny i conducció de les sessions com en l'avaluació

Maria Antònia Canals. El GAMAR, l'experiència de tocar les matemàtiques

El reglets de Maria Antònia Canals són unes caixes plenes de peces de fusta. N'hi ha de diferent mida i color. La combinació de les peces proporciona la possibilitat de resoldre problemes matemàtics sense escriure cap número: l'experiència de tocar la matemàtica. La professora Canals els té a disposició dels mestres al seu despatx del Gabinet de Materials i de Recerca per a la Matemàtica a l'Escola (GAMAR)

La Implantació de l’aprenentatge basat en problemes (APB-APP) en l’educació universitària: anàlisi d’una experiència

En aquest document es detalla l’experiència que s’ha portat a terme en l’Escola Politècnica Superior de la UdG. Concretament en l’assignatura de Fonaments Físics per l’enginyeria en l’àmbit de les titulacions de Disseny Industrial i d’Enginyeria Tècnica Industrial especialitat en Mecànica. L’objectiu general de l’activitat és aportar als alumnes els coneixements bàsics sobre camps elèctrics i teoria de circuits, des dels fonaments conceptuals, passant per l’aplicació dels conceptes en problemes fins a realitzar un esquema del procés, així com la utilització de les noves tecnologies tot aplicant com a tècnica d’aprenentatge basat en problemes: Project Based Learning (APB)

Guia per a l'adaptació a l'espai europeu d'educació superior: 4. Activitats d'aprenentatge = Guía para la adaptación al espacio europeo de educación superior: 4. Actividades de aprendizaje = Guide to Adaptation to the European Higher Education Area: 4. Learning Activities

Aquest quadern és el quart lliurement de la Guia per a l'adaptació a l'espai europeo superior. Té l'origen en el debat de la Comissió de Seguiment del Pla Pilot d'adaptació a l'Espai Europeu d'Educació Superior de la UdG i del grup de treball que s'ha constituït l'estiu del 2006 expressament per tractar el tema de les activitats d'aprenentatge