Efficient learning of reactive robot behaviors with a Neural-Q_learning approach

The purpose of this paper is to propose a Neural-Q_learning approach designed for online learning of simple and reactive robot behaviors. In this approach, the Q_function is generalized by a multi-layer neural network allowing the use of continuous states and actions. The algorithm uses a database of the most recent learning samples to accelerate and guarantee the convergence. Each Neural-Q_learning function represents an independent, reactive and adaptive behavior which maps sensorial states to robot control actions. A group of these behaviors constitutes a reactive control scheme designed to fulfill simple missions. The paper centers on the description of the Neural-Q_learning based behaviors showing their performance with an underwater robot in a target following task. Real experiments demonstrate the convergence and stability of the learning system, pointing out its suitability for online robot learning. Advantages and limitations are discussed

Adaption of Courses and Learning Environment to the User Context in dotLRN

The explosive growth of Internet during the last years has been reflected in the ever-increasing amount of the diversity and heterogeneity of user preferences, types and features of devices and access networks. Usually the heterogeneity in the context of the users which request Web contents is not taken into account by the servers that deliver them implying that these contents will not always suit their needs. In the particular case of e-learning platforms this issue is especially critical due to the fact that it puts at stake the knowledge acquired by their users. In the following paper we present a system that aims to provide the dotLRN e-learning platform with the capability to adapt to its users context. By integrating dotLRN with a multi-agent hypermedia system, online courses being undertaken by students as well as their learning environment are adapted in real time

Cap a un model per interpretar i facilitar l'aprendre: estratègies i recursos per a la reflexió-acció en i des de la pràctica

1.- L'enquadrament d'aquest treball de recerca s'ha fet en i des de la praxis. EI que interessa és descobrir i proposar instruments pedagògics d'ajuda, assequibles i contextualitzats, especialment en el terreny de la comunicació i la interacció Educador-Educand. La metodologia que s'ha fet servir és de caire qualitatiu, etnogràfic, en un enfocament basat en la investigació-acció. La visió de la persona és volgudament holística; els sentiments, els significats, I' orientació personal, I' autodirecció. esdevenen elements centrals. La hipòtesi de treball, en la qual es fonamenta la recerca, podria formular-se així: 'En la pràctica, els Educadors, d'una forma més o menys reflexiva, perceben i interpreten el procés d'aprendre dels Educands; hi intervenen, el mediatitzen; n'avaluen la direcció i l'encert". A partir d'aquest supòsit, l'investigador veu convenient donar resposta a tres qüestions centrals: A) Com comprenem i interpretem els Educadors el procés d'aprendre dels Educands?; B) Quin tipus d'intervenció resultarà adient per promoure i/o facilitar l'aprendre?; C) Amb quins instruments i estratègies comptem per ajudar pedagògicament? 2.- Per llegir l'aprendre, l'investigador fa ús d'un model mental, indispensable per ordenar les dades de l'experiència. Convé, per tant, explicitar-lo, fer-ne ciència, coneixement compartit. En aquesta direcció de treball se li plantegen dos tipus d'interrogants: A) Quins són els elements comuns a qualsevol experiència d'aprenentatge?; Quina mena d'activitat o experiència personal desenvolupen tots els Educands; i B) Com es manifesta aquesta experiència? Amb quins indicadors? Quina mena de "text" llegeix l'Educador per orientar la seva intervenció d'ajuda? 3.- L'aprenentatge. en aquest treball, és considerat per l'investigador com la resultant de tres processos personals: el posicionament, l'estratègia i l'avaluació. Quan l'Educador vol compartir amb l'Educand el seu procés idiosincràtic d'aprendre, procura reconstruir amb ell aquestes tres accions bàsiques: A) Com es posiciona: què tem o desitja, què creu, què espera, quines expectatives viu, com es motiva? B) Quines són les seves pautes d'actuació: com treballa, com memoritza, com recupera la informació que té a la memòria, què fa davant d'un problema... ? C) Què busca; què és important per a ella; què pretén... ? 4.- Davant la complexitat dels missatges emesos per l'Educand l'investigador opta per llegir tres tipus de "textos": els productes i els resultats; les conductes; i els missatges parlats. Entre tots tres, pensa, podrà trobar elements i indicadors adequats per fonamentar, sempre hipotèticament, la seva actuació pedagògica. 5.- Procura sobretot detectar i fer existir els èxits, aquells productes i/o resultats que l'Educand troba valuosos, per tal d'ajudar-lo a prendre consciència dels seu repertori personal d'estratègies i capacitats. En aquest àmbit es proposen tres actituds o enfocaments del treball d'ajuda: A) El primer fa referència a la presa de consciència de l'estratègia personal, que s'amaga darrera el producte valorat. B) El segon apunta cap al respecte per l'estratègia que cadascú executa i, per tant, li és familiar. L'Educand la necessita. Es la seva. Es troba en la seva experiència, encara que no necessàriament existeixi en la seva construcció conscient. C) El tercer ,el duu a valorar l'estratègia d'acord amb les finalitats de l'Educand. La seva adequació es legitima pel que es proposa. Partim del supòsit que tota conducta es troba dirigida per un propòsit a vegades difícil de copsar i no sempre recomanable per a l'Educand. 6.- La conducta percebuda de l'Educand és entesa com un missatge, un conjunt d'indicadors de la seva activitat contextualitzada, interna i externa; missatge que, en relació amb altres, com els productes i les verbalitzacions, manifesta fragments dels seus significats, projectes, estratègies, valors. Es fa un èmfasi especial en les conductes "internes", els gestos mentals, l'acció interior, tramesa per mitja de microcomportaments sovint no conscient, i certificada per mitjà de la verbalització del viscut. 7.- Parlar amb l'Educand suposa dues menes d'accions: escoltar i emetre. Escoltem per comprendre; emetem per perfilar la comprensió i també per ajudar. En l'emissió, el missatge pedagògic té dues funcions: a) rellançar i orientar el pensament i l'autoexploració de l'Educand; i b) influir per tal que desenvolupi amb èxit el seu projecte d'aprendre. Interessa d'una manera especial ajudar a integrar en la consciència de l'Educand aquests elements de la seva experiència que poden facilitar-li l'adquisició del coneixement. I entenem que, en aquesta empresa, la paraula i la interacció verbal poden tenir-hi un joc important. Per aquesta raó s'ha considerat necessari oferir un model d'anàlisi de la interacció i els missatges verbals. 8.- "Les persones aprenen sempre, amb recursos, processos i sistemes de valoració idiosincràtics, per fa qual cosa la seva orientació en el context esdevé un referent central en el disseny de l'ajuda pedagògica i en la seva avaluació". Aquesta és la hipòtesi de sortida per dissenyar la intervenció pedagògica. Tothom aprèn, inevitablement; la qüestió és quina cosa està aprenent i de quina manera els seus resultats d'ara són mediatitzats per l'experiència passada i, alhora, condicionen el seu aprendre futur. L'aprenent es posiciona, anticipa el procés d' aprendre, valora la seva. capacitat per desenvolupar-lo amb èxit, es motiva en una determinada direcció, d'acord amb la seva experiència, els seus aprenentatges anteriors. Executa estratègies, mostra un tipus d'intel·ligència, una forma personal de processar la informació. Pretén quelcom. És un sistema obert en relació amb el medi: hi ha uns valors que dirigeixen la seva presa de decisions. Utilitza uns criteris propis, una gamma personal d'opcions conscients. Avalua el que fa, el resultat que obté i la seva capacitat personal. 9.- L'ajuda pedagògica que I' autor proposa s'encamina sobretot a facilitar en l'Educand la descoberta dels seus propis recursos. Es tracta de portar-lo cap a la consideració atenta de la seva pròpia experiència, per amplificar-la i fer-la existir com a recurs conscient . Ha dibuixat i experimentat tres conjunts d'intervenció cadascun enfocat vers un àmbit de l'experiència d'aprendre, el qual col·loca com a prioritari, sense oblidar qualsevol dels altres que pugui ser rellevant, per comprendre o ajudar. A) Intervenció sobre el posicionament. En aquest àmbit enfoca l'estil de motivació que executa l'Educand, mira de corregir-lo, si cal, a partir de l'anàlisi i la comprensió de les seves formes de motivar-se quan ell viu l'èxit. Treballa proposant objectius paradoxals de fracàs gairebé impossible, buscant l'assoliment de petits èxits, potser aparentment insignificants, però estratègics; prescriu l'automatisme, per modificar-lo si l'Educand ho desitja; comprova el procés d'anticipació de I' experiència que l'aprenent es construeix per orientar-se; l'ajuda a contextualitzar anticipació i a fer ús dels seus Ilenguatges interns més eficaços i còmodes;... B) Intervenció sobre les estratègies i processos. En un segon enfocament, no necessàriament posterior al descrit, considera les estratègies de I'Educand, també a partir dels seus encerts i èxits. Mira de portar-lo cap a fa descripció i presa de consciència de les seves maneres de fer mes còmodes i segures, les que lliguen amb les seves preferències cerebrals. Quan viu dificultats, el convida a explorar les excepcions, els moments en els quals les seves realitzacions són satisfactòries. Pretén sobretot modificar les seves creences limitants, posant-lo en conflicte amb els fets de l'experiència. A vegades, caldrà facilitar l'adquisició d'estratègies i procediments nous que l'Educand considera plausibles. Es tracta específicament de fer existir opcions noves d'actuació per tal d'assolir allò que vol i/o necessita. C) Intervenció sobre el sistema de valors de l'Educand. L'Educand viu uns valors, els quals expliquen el seu món intern les conductes que realitza i els resultats que obté. Aquest àmbit és col·locat, en el model, al centre del procés d'aprendre. Hom actua amb propòsits determinats, no necessariament conscients. L'obertura de la persona a l'experiència d'aprendre es dirigeix segons criteris i valors irrenunciables. 10.- L 'Educador procura compartir els objectius de l'Educand i els seus projectes per assolir-los; vol tanmateix que se'n faci coneixedor i director responsable. Per a això li convé preguntar-se per quina mena d'experiència està desenvolupant i quin sentit ecològic te per a ell. L'Educador, el seu model del món, la seva persona, està compromès en el procés d'ajuda. No és només un tècnic que aplica recursos objectius. El seu model de comunicació, el seu pensament, les seves expectatives i anticipacions, tenen un pes considerable en el tipus d'intervenció pedagògica que durà a terme i, d'escreix, en el tipus d' aprenentatge que facilita. En la intervenció, l'Educador parteix d'una avaluació intencionadament positiva, centrada en els recursos i les solucions, en la metacognició i l'autoregulació dels processos, a partir de premisses que pressuposen l'èxit personal.