Semi-online neural-Q_leaming for real-time robot learning

Reinforcement learning (RL) is a very suitable technique for robot learning, as it can learn in unknown environments and in real-time computation. The main difficulties in adapting classic RL algorithms to robotic systems are the generalization problem and the correct observation of the Markovian state. This paper attempts to solve the generalization problem by proposing the semi-online neural-Q_learning algorithm (SONQL). The algorithm uses the classic Q_learning technique with two modifications. First, a neural network (NN) approximates the Q_function allowing the use of continuous states and actions. Second, a database of the most representative learning samples accelerates and stabilizes the convergence. The term semi-online is referred to the fact that the algorithm uses the current but also past learning samples. However, the algorithm is able to learn in real-time while the robot is interacting with the environment. The paper shows simulated results with the "mountain-car" benchmark and, also, real results with an underwater robot in a target following behavior

Embedding Emotional Context in Recommender Systems

Emotions are crucial for user's decision making in recommendation processes. We first introduce ambient recommender systems, which arise from the analysis of new trends on the exploitation of the emotional context in the next generation of recommender systems. We then explain some results of these new trends in real-world applications through the smart prediction assistant (SPA) platform in an intelligent learning guide with more than three million users. While most approaches to recommending have focused on algorithm performance. SPA makes recommendations to users on the basis of emotional information acquired in an incremental way. This article provides a cross-disciplinary perspective to achieve this goal in such recommender systems through a SPA platform. The methodology applied in SPA is the result of a bunch of technology transfer projects for large real-world rccommender systems

A proposal of a behavior-based control architecture with reinforcement learning for an autonomous underwater robot

Aquesta tesi proposa l'ús d'un seguit de tècniques pel control a alt nivell d'un robot autònom i també per l'aprenentatge automàtic de comportaments. L'objectiu principal de la tesis fou el de dotar d'intel·ligència als robots autònoms que han d'acomplir unes missions determinades en entorns desconeguts i no estructurats. Una de les premisses tingudes en compte en tots els passos d'aquesta tesis va ser la selecció d'aquelles tècniques que poguessin ésser aplicades en temps real, i demostrar-ne el seu funcionament amb experiments reals. El camp d'aplicació de tots els experiments es la robòtica submarina. En una primera part, la tesis es centra en el disseny d'una arquitectura de control que ha de permetre l'assoliment d'una missió prèviament definida. En particular, la tesis proposa l'ús de les arquitectures de control basades en comportaments per a l'assoliment de cada una de les tasques que composen la totalitat de la missió. Una arquitectura d'aquest tipus està formada per un conjunt independent de comportaments, els quals representen diferents intencions del robot (ex.: "anar a una posició", "evitar obstacles",...). Es presenta una recerca bibliogràfica sobre aquest camp i alhora es mostren els resultats d'aplicar quatre de les arquitectures basades en comportaments més representatives a una tasca concreta. De l'anàlisi dels resultats se'n deriva que un dels factors que més influeixen en el rendiment d'aquestes arquitectures, és la metodologia emprada per coordinar les respostes dels comportaments. Per una banda, la coordinació competitiva és aquella en que només un dels comportaments controla el robot. Per altra banda, en la coordinació cooperativa el control del robot és realitza a partir d'una fusió de totes les respostes dels comportaments actius. La tesis, proposa un esquema híbrid d'arquitectura capaç de beneficiar-se dels principals avantatges d'ambdues metodologies. En una segona part, la tesis proposa la utilització de l'aprenentatge per reforç per aprendre l'estructura interna dels comportaments. Aquest tipus d'aprenentatge és adequat per entorns desconeguts i el procés d'aprenentatge es realitza al mateix temps que el robot està explorant l'entorn. La tesis presenta també un estat de l'art d'aquest camp, en el que es detallen els principals problemes que apareixen en utilitzar els algoritmes d'aprenentatge per reforç en aplicacions reals, com la robòtica. El problema de la generalització és un dels que més influeix i consisteix en permetre l'ús de variables continues sense augmentar substancialment el temps de convergència. Després de descriure breument les principals metodologies per generalitzar, la tesis proposa l'ús d'una xarxa neural combinada amb l'algoritme d'aprenentatge per reforç Q_learning. Aquesta combinació proporciona una gran capacitat de generalització i una molt bona disposició per aprendre en tasques de robòtica amb exigències de temps real. No obstant, les xarxes neurals són aproximadors de funcions no-locals, el que significa que en treballar amb un conjunt de dades no homogeni es produeix una interferència: aprendre en un subconjunt de l'espai significa desaprendre en la resta de l'espai. El problema de la interferència afecta de manera directa en robòtica, ja que l'exploració de l'espai es realitza sempre localment. L'algoritme proposat en la tesi té en compte aquest problema i manté una base de dades representativa de totes les zones explorades. Així doncs, totes les mostres de la base de dades s'utilitzen per actualitzar la xarxa neural, i per tant, l'aprenentatge és homogeni. Finalment, la tesi presenta els resultats obtinguts amb la arquitectura de control basada en comportaments i l'algoritme d'aprenentatge per reforç. Els experiments es realitzen amb el robot URIS, desenvolupat a la Universitat de Girona, i el comportament après és el seguiment d'un objecte mitjançant visió per computador. La tesi detalla tots els dispositius desenvolupats pels experiments així com les característiques del propi robot submarí. Els resultats obtinguts demostren la idoneïtat de les propostes en permetre l'aprenentatge del comportament en temps real. En un segon apartat de resultats es demostra la capacitat de generalització de l'algoritme d'aprenentatge mitjançant el "benchmark" del "cotxe i la muntanya". Els resultats obtinguts en aquest problema milloren els resultats d'altres metodologies, demostrant la millor capacitat de generalització de les xarxes neurals.

Guia per a l'adaptació a l'espai europeu d'educació superior: 4. Activitats d'aprenentatge = Guía para la adaptación al espacio europeo de educación superior: 4. Actividades de aprendizaje = Guide to Adaptation to the European Higher Education Area: 4. Learning Activities

Aquest quadern és el quart lliurement de la Guia per a l'adaptació a l'espai europeo superior. Té l'origen en el debat de la Comissió de Seguiment del Pla Pilot d'adaptació a l'Espai Europeu d'Educació Superior de la UdG i del grup de treball que s'ha constituït l'estiu del 2006 expressament per tractar el tema de les activitats d'aprenentatge

Guia per a l'adaptació a l'espai europeu d'educació superior: 5. Avaluació de l'aprenentatge = Guía para la adaptación al espacio europeo de educación superior = Guide to Adaptation to the European Higher Education Area

Aquest quadern és el cinquè lliurement de la Guia per a l'adaptació a l'espai europeu d'educació superior. Té l'origen en el debat de la Comissió de Seguiment del Pla pilot d'Adaptació a l'Espai Europeu d'Educació Superior de la UdG i del grup de treball que s'ha constituït expressament per tractar el tema de l'avaluació dels aprenentatges

Aprenentatge per problemes

Presentació de l’experiència que s’ha portat a terme en l’Escola Politècnica Superior de la UdG en l’assignatura de Fonaments Físics per l’Enginyeria aplicant com a tècnica l’aprenentatge basat en problemes: Project Based Learning (APB)

L'Aprenentatge autònom del software estadístic

El procés de convergència cap a l’Espai Europeu d’Educació Superior ens ha fet reflexionar, entre d’altres aspectes, sobre les competències que l’alumne ha de desenvolupar per tal d’exercir la seva professió en el futur. Una d’aquestes competències, en el cas dels estadístics, és la de ser capaç d’utilitzar de manera autònoma el software especialitzat que serà la seva futura eina de treball. En aquest estudi ens plantegem augmentar el nivell d’autonomia dels alumnes d’aplicacions informàtiques dins de la Diplomatura d’Estadística mitjançant la realització d’activitats d’autoaprenentatge. Els resultats ens permeten concloure que efectivament la realització d’aquest tipus d’activitats augmenten la capacitat de l’alumne per treballar de manera autònoma davant de l’ordinador

L'Aprenentatge en grup per projectes, una experiència enriquidora

Els canvis a la universitat s’estan produint amb un cert recel per part d’alguns a qui costa acoblar-se als dictats del nou marc que proposa l’EEES. Nosaltres portem anys treballant amb grups i per projectes, dintre dels estudis de Enginyeria del Disseny Industrial i Desenvolupament de Productes de la Universitat de Girona, en les assignatures de Projectes. La nostra experiència és molt positiva i concorda amb tot allò que es ve publicant sobre l’aprenentatge basat en grups i el model de treball sobre projectes. D’aquesta manera aconseguim una bona interacció dels estudiants amb allò que nosaltres volem que aprenguin. L’aprenentatge per projectes (APP, o PBL Project Based Learning) es un conjunt de mètodes de treball, una eina d’instrucció que ajuda tant al docent com a l’alumne en el procés d’ensenyament / aprenentatge però que requereix alguns canvis significatius respecte una classe expositiva o un tradicional treball en grup. Presentem el desenvolupament d’aquests mètodes, on a més hem introduït elements innovadors dintre el que es coneix com autogestió del temps i de l’aprenentatge

Noves eines d'aprenentatge autònom en organització d'empreses

En un nou escenari on la formació canvia l’enfocament des del formador cap a l’alumne i on l’aprenentatge s’orienta de manera més autònoma i reflexiva, les noves tecnologies de la informació i comunicació (TIC) ofereixen un ampli ventall de possibilitats per desenvolupar millores en els processos formatius. Un grup de professors del Departament d’Economia i Organització d’Empreses de la Universitat de Barcelona estan treballant en el disseny i la implantació de nous recursos i materials docents innovadors, emmarcats en l’ús de les TIC, tant com a suport de la docència presencial com per recolzar-hi l’aprenentatge autònom. En aquest sentit, l’objectiu de la present comunicació és presentar l’experiència del professorat que la subscriu en l’ús de mitjans digitals i multimèdia per a l’aprenentatge de diverses assignatures de l’àrea d’Organització d’Empreses

Fonaments d'una plataforma digital universitària lliure com a reforç en l'aprenentatge de les matemàtiques

El canvi cap a un paradigma d’ensenyament centrat en l’alumne ha incrementat el debat dels processos d’ensenyament i d’aprenentatge. En aquest marc de treball, el debat originat en torn de si un alumne universitari disposa dels suficients recursos per repassar autònomament principis matemàtics bàsics no ofereix una resposta gens clara. I aquesta resposta és important, especialment en les titulacions on les matemàtiques s’utilitzen principalment com a eina de modelatge, tal i com succeeix en les titulacions impartides en la Facultat de Ciències Econòmiques i Empresarials(FCEE) de la Universitat de Girona(UdG). L’equip docent en Matemàtiques per a l’Economia de la UdG està duent a terme la construcció d’un recurs que intenta fomentar el treball continu de les lleis matemàtiques. Aquesta eina didàctica tecnològica, anomenada plataforma virtual universitària lliure, neix de l’aplicació a les plataformes universitàries de les idees aportades pels corrents de ideologia lliure, com són la famosa enciclopèdia digital Wikipedia o el projecte gnui. La plataforma virtual universitària lliure és un recurs tecnològic format per la combinació de dos recursos independents habituals en tota plataforma universitària, com són un servidor d’arxius ftp i una eina d’avaluació, amb una estructura de funcionament modelada per les següents condicions: 1) Tota llei matemàtica de qualsevol assignatura de les titulacions impartides en la FCEE de la UdG pot ser treballada en el recurs. 2) Només les lleis matemàtiques podran ser treballades en el recurs. 3) El recurs ha de facilitar als alumnes el llistat de lleis que ha de dominar en una assignatura qualsevol. 4) El recurs ha de facilitar als alumnes material de treball per a una llei d’un llistat. 5) Només les lleis que surtin en un llistat poden contenir materials de treball. 6) Tots els alumnes de la FCEE de la UdG poden entrar al recurs. 7) Tots els professors de la FCEE de la UdG poden crear o modificar qualsevol arxiu o prova d’avaluació. 8) Només els professors de la FCEE de la UdG poden crear o modificar arxius o proves d’avaluació. 9) El recurs d’avaluació ha de proporcionar a un alumne informació immediata sobre el coneixement actual de les lleis d’un llistat. 10) Els enunciats dels exercicis de lleis dels materials de treball sempre han d’anar acompanyats amb la solució corresponent. 11) Tot enunciat d’un exercici de llei ha de tenir associat un exemple completament resolt

El Cas integrat. Un aprenentatge integral i integrador. L'experiència de l'Escola Universitària d'Infermeria Sant Joan de Déu de Barcelona

Potenciar una Europa del coneixement on l’aprenentatge continuat durant la vida és un element essencial per a obtenir una major competitivitat Europea, a l’hora que es promociona la cooperació i mobilitat entre universitats, és l’objectiu principal de l’Espai Europeu d’Educació Superior. Sota aquesta directriu, és necessari potenciar la reflexió i la capacitat crítica de les persones en formació. Crear espais on l’alumne/a passi a ser el centre dels processos d’ensenyança-aprenentatge, on es faciliti que reflexioni sobre allò que està fent i com ho fa, quins processos segueix per entendre situacions i com les interpreta. Potenciar que l’alumne/a aprengui a aprendre, aprendre per la vida, perquè sigui una persona amb ment oberta i capaç d’adaptar-se i modificar la realitat quan sigui necessari. L’EUI Sant Joan de Déu, que es caracteritza pel seu esperit innovador i la sensibilitat envers els canvis, implanta una nova metodologia docent anomenada Cas Integrat (C.I.). El Cas Integrat és una activitat docent que facilita a l’estudiant comprendre les diferents temàtiques que el composen de forma integrada i a la vegada integradora amb l’equip, posicionant-se activament en el seu aprenentatge. És un mètode que es nodreix dels principis de l’aprenentatge basat en problemes (ABP). Es tracta de la descripció d’una situació hipotètica construïda a través de les aportacions dels diferents professors que participen en el cas. És una metodologia docent que es diferencia de les que s’havia utilitzat fins ara. En aquest mètode s’aglutinen continguts de diferents assignatures, que comporta un treball conjunt i continuat del professorat. Ressaltem que el C. I. fomenta el treball en equip, la responsabilitat en l’aprenentatge, augmenta la relació entre els tutors i els estudiants i també potencia la visió integral dels continguts curriculars. També és cert que ens hem trobat amb dificultats com limitacions per part d’alguns estudiants a l’hora de buscar informació, reticències per part d’alguns estudiants en la manera com hem construït els grups, la complexitat a l’hora d’avaluar ja que s’avaluen molts ítems i el fet de compaginar horaris

Els Mòduls integrals d'aprenentatge (MIAPS)

El pressupòsit bàsic d'aquesta experiència és que el nou model d'Espai Europeu d’Educació Superior pretén un major equilibri entre l'aprenentatge de l'alumnat i l'ensenyament del professor, fent més èmfasi en el primer. En aquest context, hem desenvolupat una eina que denominem "mòduls integrals d’aprenentatge (MIAPS)". L'experiència s'ha desenvolupat en els estudis de criminologia que, com bé es sap, va néixer en la cruïlla entre el model actual i el model de Bolonya, d'imminent implantació. Atès que no tenia sentit implantar un estudi sobre la base d'un model que ja estava condemnat a desaparèixer, centrat fonamentalment en l'ensenyament d'un temari, i en el qual el crèdit es corresponia amb 10 hores de classe; vàrem adoptar per un sistema més pròxim al nou model, basat en les hores del treball de l'alumne (1 cr = 25h). En aquest context, varem considerar que el 50% de les hores de treball de l'alumne haurien de correspondre's amb hores de contacte amb el professor, de les quals, almenys el 30% haurien de ser sessions presencials i la resta de tutories. L'altre 50% haurien de correspondre a hores de treball autònom. És precisament dintre d'aquestes hores de treball autònom que desenvolupem els MIAPS. Amb la finalitat d'homogeneïtzar l'estudi, es va establir que cada MIAP hauria de comportar unes 6 hores de treball de l'alumne. Els MIAPS són concebuts com a espais que combinen informació i activitat. Des d'aquest punt de vista, cada MIAP integra una unitat temàtica. En ella es recull la informació bàsica del tema i conté els vincles necessaris per a fitar adequadament el tema. Però addicionalment, el MIAP incorpora una sèrie d'activitats que es consideren necessàries i adequades per a aconseguir els coneixements i desenvolupar les competències vinculades al MIAP. Així, per exemple, si es pretén que una persona conegui els plantejaments d'una determinada teoria criminològica, el MIAP, a més de recollir la informació bàsica, relaciona, mitjançant vincles, altra informació que serveix per a contextualitzar el tema i ampliar i aprofundir la informació. Però el MIAP no es limita a un document que només proporciona informació, sinó que és també un document d'activitats. Si entre les competències relacionades està el treball en grup i l'anàlisi i resolució de problemes; el MIAP hauria d’incorporar, per exemple, un cas pràctic que han de treballar en grups i resoldre els problemes plantejats. El MIAP permet incorporar exercicis d'avaluació o autoavaluació. Els MIAPS estan pensats com a eines (documents interactius) que permeten treballar i desenvolupar aquelles temàtiques o aspectes que, en principi, no són objecte de classes presencials. Deixant les sessions presencials per fer coses diferents a repetir “allò que el professor sap”, i que generalment es pot trobar escrit. Des d'aquest punt de vista, els MIAPS són documents "complexos", en el sentit que incorporen una sèrie de recursos que van des de la informació a activitats d'avaluació o autoavaluació, passant per activitats de recerca, treballs en grups, elaboració de mapes conceptuals, etc. Així mateix, els MIAPS incorporen mecanismes que serveixen per a fer el seguiment de l'alumnat en el seu procés d'aprenentatge. Un aspecte important que vull ressaltar és que, entre els exercicis que l’alumnat pot desenvolupar, està la possibilitat fer les aportacions als MIAPS, a partir del seu procés d'aprenentatge. Aquesta eina es combina perfectament amb una avaluació continuada i amb metodologies com el portafolio o l'e-portafolio. Cal advertir que els MIAPS no tenen relació amb el tradicional "apunts" de classe o amb una recopilació de materials de lectura, sinó que constituïxen uns veritables documents de treball. El suport dels MIAPS és virtual i l’alumnat accedeix de forma restringida mitjançant la seva clau

La Simulació: nova eina d'aprenentatge de competències transversals

La integració de les noves tecnologies de la informació i la comunicació (NTICs) a l’educació superior representa noves oportunitats i reptes d’innovació que han de conduir cap a una transformació i millora de la qualitat docent i oferir oportunitats als estudiants d’adquirir competències que els resultaran útils per a la seva futura vida laboral. Són variades les possibilitats que ofereixen les NTICS a la docència. En aquest article s’estudien les formes en què la incorporació de les NTICS es concreta a l’Escola Universitària de Turisme i Oci (EUTO) que imparteix dues titulacions: Turisme (180ECTS) i Màster Oficial en Direcció i Planificació del Turisme (120ECTS), ambdues adaptades a l’EEES, fent incidència en la metodologia participativa de la simulació d’empreses. Més concretament, es pretén donar a conèixer l’experiència i resultats de la creació d’una empresa turística simulada, el Vila Daurada Resort” a l’EUTO, un instrument d’aprenentatge innovador i novedós en l’àmbit universitari que permet als alumnes desenvolupar habilitats i capacitats, en un entorn gairebé real, que els ha de permetre accedir amb més garanties al món laboral

La Docència universitària entre les exigències dels continguts i els processos d'aprenentatge

La Declaració de Bolonya, en prescriure un marc general per al desenvolupament harmònic d'un espai europeu d'educació superior, proposa cinc àmbits de desenvolupament: - L'adopció d'un sistema de titulacions - L'adopció d'un sistema d'estudis basat essencialment en dos cicles L'establiment d'un sistema de crèdits - La promoció de la mobilitat - La promoció de la cooperació europea per assegurar la qualitat de l'educació superior i la promoció de les dimensions europees dirigides cap al desenvolupament curricular, cooperació entre institucions, esquemes de mobilitat i programes d'estudi, integració de la formació i investigació (ministres europeus d'Educació, 1999). (...)

Aprenentatge interactiu a través de l'experimentació: un laboratori virtual de psicologia bàsica

El Laboratori Virtual de Psicologia Bàsica (LVPB) és una eina que pretén aprofitar les noves tecnologies per donar un nou enfocament al procés d’aprenentatge dels processos psicològics bàsics. Amb el LVPB s’acompanya a l’estudiant en un recorregut a través d’experiments que s’han convertit en clàssics de la Psicologia Cognitiva amb l’objectiu d’assolir coneixements relacionats amb els processos cognitius a partir de la pròpia experiència. La plataforma conté experiments provinents de l’estudi de l’atenció, l’emoció, el llenguatge, la memòria, la motivació, el pensament i la percepció