Gradient-based reinforcement learning techniques for underwater robotics behavior learning

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG.

A proposal of a behavior-based control architecture with reinforcement learning for an autonomous underwater robot

Aquesta tesi proposa l'ús d'un seguit de tècniques pel control a alt nivell d'un robot autònom i també per l'aprenentatge automàtic de comportaments. L'objectiu principal de la tesis fou el de dotar d'intel·ligència als robots autònoms que han d'acomplir unes missions determinades en entorns desconeguts i no estructurats. Una de les premisses tingudes en compte en tots els passos d'aquesta tesis va ser la selecció d'aquelles tècniques que poguessin ésser aplicades en temps real, i demostrar-ne el seu funcionament amb experiments reals. El camp d'aplicació de tots els experiments es la robòtica submarina. En una primera part, la tesis es centra en el disseny d'una arquitectura de control que ha de permetre l'assoliment d'una missió prèviament definida. En particular, la tesis proposa l'ús de les arquitectures de control basades en comportaments per a l'assoliment de cada una de les tasques que composen la totalitat de la missió. Una arquitectura d'aquest tipus està formada per un conjunt independent de comportaments, els quals representen diferents intencions del robot (ex.: "anar a una posició", "evitar obstacles",...). Es presenta una recerca bibliogràfica sobre aquest camp i alhora es mostren els resultats d'aplicar quatre de les arquitectures basades en comportaments més representatives a una tasca concreta. De l'anàlisi dels resultats se'n deriva que un dels factors que més influeixen en el rendiment d'aquestes arquitectures, és la metodologia emprada per coordinar les respostes dels comportaments. Per una banda, la coordinació competitiva és aquella en que només un dels comportaments controla el robot. Per altra banda, en la coordinació cooperativa el control del robot és realitza a partir d'una fusió de totes les respostes dels comportaments actius. La tesis, proposa un esquema híbrid d'arquitectura capaç de beneficiar-se dels principals avantatges d'ambdues metodologies. En una segona part, la tesis proposa la utilització de l'aprenentatge per reforç per aprendre l'estructura interna dels comportaments. Aquest tipus d'aprenentatge és adequat per entorns desconeguts i el procés d'aprenentatge es realitza al mateix temps que el robot està explorant l'entorn. La tesis presenta també un estat de l'art d'aquest camp, en el que es detallen els principals problemes que apareixen en utilitzar els algoritmes d'aprenentatge per reforç en aplicacions reals, com la robòtica. El problema de la generalització és un dels que més influeix i consisteix en permetre l'ús de variables continues sense augmentar substancialment el temps de convergència. Després de descriure breument les principals metodologies per generalitzar, la tesis proposa l'ús d'una xarxa neural combinada amb l'algoritme d'aprenentatge per reforç Q_learning. Aquesta combinació proporciona una gran capacitat de generalització i una molt bona disposició per aprendre en tasques de robòtica amb exigències de temps real. No obstant, les xarxes neurals són aproximadors de funcions no-locals, el que significa que en treballar amb un conjunt de dades no homogeni es produeix una interferència: aprendre en un subconjunt de l'espai significa desaprendre en la resta de l'espai. El problema de la interferència afecta de manera directa en robòtica, ja que l'exploració de l'espai es realitza sempre localment. L'algoritme proposat en la tesi té en compte aquest problema i manté una base de dades representativa de totes les zones explorades. Així doncs, totes les mostres de la base de dades s'utilitzen per actualitzar la xarxa neural, i per tant, l'aprenentatge és homogeni. Finalment, la tesi presenta els resultats obtinguts amb la arquitectura de control basada en comportaments i l'algoritme d'aprenentatge per reforç. Els experiments es realitzen amb el robot URIS, desenvolupat a la Universitat de Girona, i el comportament après és el seguiment d'un objecte mitjançant visió per computador. La tesi detalla tots els dispositius desenvolupats pels experiments així com les característiques del propi robot submarí. Els resultats obtinguts demostren la idoneïtat de les propostes en permetre l'aprenentatge del comportament en temps real. En un segon apartat de resultats es demostra la capacitat de generalització de l'algoritme d'aprenentatge mitjançant el "benchmark" del "cotxe i la muntanya". Els resultats obtinguts en aquest problema milloren els resultats d'altres metodologies, demostrant la millor capacitat de generalització de les xarxes neurals.

Guia per a l'adaptació a l'espai europeu d'educació superior: 4. Activitats d'aprenentatge = Guía para la adaptación al espacio europeo de educación superior: 4. Actividades de aprendizaje = Guide to Adaptation to the European Higher Education Area: 4. Learning Activities

Aquest quadern és el quart lliurement de la Guia per a l'adaptació a l'espai europeo superior. Té l'origen en el debat de la Comissió de Seguiment del Pla Pilot d'adaptació a l'Espai Europeu d'Educació Superior de la UdG i del grup de treball que s'ha constituït l'estiu del 2006 expressament per tractar el tema de les activitats d'aprenentatge

Modificación del método enseñanza-aprendizaje en asignaturas técnicas

La capacidad de adaptación ha de ser una constante en nuestras profesiones. Las empresas solicitan competencias a nuestros ingenieros que van mas allá de los meros conocimientos teóricos y prácticos, otorgando gran importancia a la capacidad de trabajar en equipo, de adquirir compromisos y asumir responsabilidades, de idear y emprender, así como a la sensibilización social y ecológica, a la capacidad de autoaprendizaje, todo ello sin olvidarnos del conocimiento y manejo de las nuevas tendencias tecnológicas. Los responsables académicos de la universidad han de dar respuesta a las exigencias específicas de la sociedad mediante principios de actuación innovadores. La universidad debe formar titulados que se incorporen en condiciones adecuadas al mundo del trabajo, es decir, la formación ha de ser realista vinculada con el entorno social y laboral. Simultáneamente pensamos que no se puede formar titulados únicamente con criterios de simple adecuación a la vida laboral; se ha de cuidar al mismo tiempo la formación básica e instrumental. Por todo ello, los profesores de la asignatura ‘Tecnología de Materiales’, perteneciente al 4° curso de Ingeniería Industrial, de la Univers idad de Oviedo (España) hemos llevado a cabo durante el curso 2007-2008 una adaptación del proceso enseñanza-aprendizaje. Para ello hemos incorporado en la asignatura la realización de un proyecto en grupos que posteriormente habría de ser defendido ante los profesores y el resto de compañeros. Esta adaptación permite la adquisición de conocimientos específicos de la asignatura, y posibilita la adquisición de habilidades generales que mejoran la actividad profesional (trabajo en equipo, exposición oral y escrita, argumentación, de capacidad de análisis y síntesis etc.). Pensamos que estas ideas han de primar en su actuación, y estar presentes en todos sus programas y planes futuros. Finalizado el proyecto los alumnos cumplimentaron una encuesta de satisfacción así como otra de autoevaluación del trabajo realizado, pues creemos que la reflexión sobre un trabajo hecho ayuda a tomar conciencia sobre su realidad. Posteriormente estas encuestas fueron contrastadas con la valoración otorgada por los profesores, pretendiendo observar con ello hasta que punto los estudiantes reconocen sus destrezas o limitaciones y permitiéndoles al mismo tiempo utilizar las opiniones externas como contraste de las percepciones subjetivas. Ninguna usada en exclusividad de las otras es autosuficiente, sino que deben ser complementarias. Con todo esto, intentamos formar al alumno no sólo en competencias específicas (conocimientos técnico-profesionales), sino en competencias instrumentales (destrezas lingüísticas, capacidades metodológicas…) y competencias interpersonales (capacidad de crítica, trabajo en equipo…), altamente demandadas en el mercado laboral

Es adequada la avaluación del aprendizaje continuado mediante pruebas parciales y un examen final?

Se ha llevado a cabo un estudio para determinar la utilidad de basar la evaluación de los estudiantes mediante la utilización de pruebas parciales y un examen final. Los resultados obtenidos muestran que la simple aplicación de pruebas parciales sin ningún proceso de feedback no son adecuados ya que no mejoran los contenidos y competencias adquiridos por los estudiantes. Se obtienen los mismos resultados en los exámenes finales tanto cuando se han realizado pruebas parciales sin revisión como cuando únicamente se evalúa con el método tradicional de una examen final. El único resultado apreciable en el caso de aplicar pruebas parciales es una mejora sustancial en el porcentaje de aprobados de las asignaturas. Además, este incremento de los aprobados es superior cuanto mayor sea el peso que tienen las pruebas parciales sobre la calificación definitiva. Cuando se llevan a cabo procesos de feedback para corregir las deficiencias observadas en los conocimientos y competencias adquiridos por los alumnos se obtiene una mejora significativa en los niveles de compresión obtenidos por los estudiantes. Por lo tanto, es imprescindible diseñar sistemas de evaluación continuada en los que exista algún proceso de feedback adecuado sobre los estudiantes si se quiere mejorar su proceso de aprendizaje. Este hecho también requiere una revisión y remodelación de los contenidos de las asignaturas ya que es imprescindible preveer un número de horas sustancial para los procesos de revisión

El Proceso de enseñanza-aprendizaje centrado en el alumno: experiencias de la adaptación de los estudios de economía de la Universidad de Valencia al nuevo marco del EEES

El Proyecto de Innovación Educativa (PIE) de la licenciatura de Economía en la Universidad de Valencia tiene como objetivo principal potenciar el desarrollo académico y personal de los estudiantes. En este PIE el estudiante es el centro y eje de su propio aprendizaje y se fomenta el trabajo autónomo y autogestionado por él, tutorización personalizada y el uso de metodologías docentes comunicativas y activas. Los cambios a acometer en el marco del Espacio Europeo de Educación Superior (EEES) requieren una mayor participación e interacción entre todos aquellos que participan en el proceso enseñanza-aprendizaje, esto es, alumnos, profesores, coordinadores, agentes sociales, etc., con el consiguiente cambio de rol que ello conlleva. Por esta razón, en el PIE de Economía se ha tratado de potenciar la formación y coordinación de los profesores implicados en el proyecto; la implantación de metodologías activas que promuevan el proceso de enseñanza-aprendizaje del estudiante de forma autónoma y colaborativa –antes que la mera transmisión de contenidos-; el diseño de sistemas de evaluación que se ajusten a los objetivos a alcanzar por los estudiantes, expresados no sólo en términos de conocimientos (como se venía haciendo de forma tradicional) sino que también deben considerar el aprendizaje en función de las competencias que los estudiantes deben adquirir; y la utilización de las nuevas tecnologías de la información y la comunicación (“Aula Virtual”). En este trabajo mostramos cómo se ha desarrollado el primer curso de implantación del PIE en la Licenciatura de Economía. Para ello, abordamos los puntos fuertes detectados en el proceso e identificamos las principales áreas sobre las que creemos es necesario actuar para promover la mejora en la coordinación y en los procesos de enseñanza-aprendizaje. Palabras clave: Áreas de mejora; Espacio Europeo de Educación Superior; Licenciatura en Economía; Proyecto de Innovación Educativa; Puntos fuertes, Aprendizaje autónomo

Las Plataformas virtuales como herramienta de aprendizaje en el campo jurídico-laboral (documentación y autoevaluación)

Esta comunicación tiene como objeto la presentación de tres experiencias docentes, que se pusieron en marcha en dos Universidades de diferentes Comunidades Autónomas, en concreto Galicia y el Principado de Asturias. El punto en común que poseen dichas experiencias no es otro que la utilización de una plataforma virtual como herramienta de apoyo en la docencia. Su contenido se estructura en torno a cuatro epígrafes. En el primero se describe en qué consiste esta herramienta de trabajo, que es la plataforma virtual, así como la utilidad que su empleo puede presentar para las asignaturas afectadas por la experiencia que aquí se comenta y que constituye el otro punto en común que presentan las tres experiencias, cual es que se trata de asignaturas jurídicas y específicamente de asignaturas impartidas por el mismo área de conocimiento: Derecho del Trabajo y de la Seguridad Social. Los tres siguientes epígrafes corresponden a la descripción de otras tantas experiencias, que se pusieran en marcha en la Licenciatura de Ciencias del Trabajo de la Universidad de Oviedo, en la Diplomatura de Relaciones Laborales de la Universidad de Oviedo y, por último, en el Programa Oficial de Postgrado en Gestión y Dirección Laboral de la Universidad de Santiago de Compostela. Como se puede comprobar, hemos trabajado con alumnos que poseen diferentes niveles académicos, lo que, a nuestro juicio, constituye un elemento importante de cara a la obtención exposición de las conclusiones que se ofrecen al final de este trabajo

Diseño de un curso completo de la titulación de psicología según un modelo centrado en el aprendizaje (adaptación al EEES)

La planificación de la docencia centrada en el estudiante en base a un modelo de aprendizaje, tal y como se recoge en los criterios de la convergencia con el Espacio Europeo de Educación Superior, requiere la reorganización del currículo que se ofrece al alumno. Para ello, deben tenerse en cuenta aspectos tales como la coordinación de las competencias a adquirir en un determinado curso de la Titulación, la coordinación y diversificación de las tareas mediante las cuales el estudiante va a adquirir las competencias, y el diseño de estrategias de evaluación continua. Todo ello, debe ser adecuadamente planificado, no sólo para lograr un currículo coherente, sino que debe tenerse en cuenta el modo en que éste se organiza de manera que el esfuerzo que debe invertir un estudiante esté homogéneamente distribuido a lo largo de todo el periodo lectivo y no exceda el número de horas de trabajo no presencial establecido en el currículo. Con este objetivo, la Facultad de Psicología de la Universidad del País Vasco, en el marco de un Programa para la Innovación de la Docencia impulsado por el Vicerrectorado de Calidad e Innovación Docente de dicha Universidad, ha llevado a cabo una experiencia de implantación de un curso completo siguiendo los criterios antes expuestos

Un Sistema de evaluación de competencias centrado en el estudiante. La implicación del profesor y el rol del estudiante no como participante sino como responsable de su aprendizaje

El proceso de convergencia con el Espacio Europeo de Educación Superior representa un auténtico reto para las universidades en el que se hace imprescindible una revisión y reconceptualización de la relación profesor-estudiante para incidir en la mejora del proceso de aprendizaje y potenciar la innovación educativa. El nuevo paradigma resalta la importancia que representa la educación en términos de adquisición de competencias por parte del estudiante. El término competencia se ha convertido en un elemento clave de las nuevas titulaciones universitarias. En consecuencia, la evaluación de competencias es indispensable para afrontar con éxito el reto al que se enfrentan las universidades y constituye un requisito imprescindible para garantizar una educación de calidad basada en la mejora continua. Este trabajo describe la implementación de un sistema de evaluación cuya finalidad es evaluar el desempeño y logro de los estudiantes en las competencias propias de una titulación en Administración y Dirección de Empresas de la Facultat d’Economia IQS de la Universitat Ramon Llull. El trabajo plantea puntos de reflexión sobre el papel y compromiso del profesor en el proceso evaluativo y analiza la importancia que cobra la implicación activa del estudiante. Éste ya no como participante sino también como responsable de su aprendizaje

Reflexiones sobre una experiencia de autogestion del aprendizaje: el aprendizaje cooperativo en la materia del derecho del trabajo

En esta comunicación se describe la aplicación de una nueva técnica de aprendizaje cooperativo, denominada técnica puzzle de Aronson, a los alumnos de la asignatura de “Derecho del Trabajo y de la Seguridad Social II” de la Facultad de Derecho de la Universidad de Santiago de Compostela. Esta nueva técnica de aprendizaje busca el trabajar una lección de la asignatura, la más importante, la de la extinción del contrato de trabajo, mediante la integración de los alumnos en equipos, concretamente en dos, el grupo puzzle y el grupo de expertos. El desarrollo de esta técnica consume seis fases diferentes: la de la información a los alumnos y preparación de la documentación a entregar, la de la constitución de los grupos puzzle y reparto del material, la de la constitución de los grupos de expertos, la del comienzo del trabajo cooperativo, la de la conclusión de éste y la de la exposición del trabajo final o, en su caso, resolución de preguntas y evaluación del profesor. Como todo, esta técnica tiene ventajas e inconvenientes, pero bien aplicada las primeras superan a los segundos. Entre las múltiples ventajas, cabe destacar la mayor interacción entre los alumnos, su mayor motivación para aprender, su mayor responsabilidad individual y colectiva, el aprendizaje del trabajo en equipo y otras similares. Por su parte, entre los inconvenientes conviene citar la masificación de las aulas o la mayor carga de trabajo para el profesor

Pautas metacognitivas y proyectos colaborativos asesorados por antiguos alumnos como instrumentos que promueven un aprendizaje autorregulado

La presente comunicación da cuenta de cómo dos instrumentos de mediación, las pautas metacognitivas y los proyectos colaborativos vinculados a antiguos alumnos, se ven puestos en práctica con estudiantes de primer curso de traducción alemán-español siguiendo un enfoque autonomizador de la enseñanza de esa disciplina basado en el socio-constructivismo. De acuerdo con dicho enfoque, ambos instrumentos –convenientemente integrados en secuencias de tareas– sirven al docente para transferir progresivamente a los estudiantes el control sobre su aprendizaje, haciéndolos cada vez más capaces de desarrollar por sí mismos las competencias inherentes al ejercicio de la actividad traductora. En efecto, tal y como revela el análisis cualitativo y cuantitativo de los datos aportados por esos dos instrumentos en el curso de una investigación en el aula, la aplicación de los mismos conduce a una incipiente autorregulación de los estudiantes entendida como la capacidad tanto para interiorizar principios y estrategias traductivos como para desarrollar el proceso de traducción reflexionando colaborativamente

Aprendizaje léxico y desarrollo de la gramática: vocabulario verbal, aceleración morfológica y complejidad sintáctica

This paper studies the initial development of certain language components. More precisely, we analyse the relation between three aspects that are closely involved in the grammar of the verb: morphological productivity, syntactic complexity, and verb vocabulary learning. The study is based on data about the relationship between lexical development and grammatical development, and also on proposals that a critical mass of vocabulary is needed in order to develop a grammatical component. The sample comprised six subjects who are monolingual or bilingual in Catalan andlor Spanish. Results show a morphological spurt some time afer the learning of a certain quantity of verbs. Moreover, syntactic complexity is only evident some months after this morphological spurt

La incidencia de la toma de apuntes sobre el aprendizaje significativo. Un estudio de enseñanza superior.= The incidence of notetaking on meaningful learning. A study of higher education.

En este estudio presentamos una experiencia llevada a cabo con estudiantes de la asignatura “Psicología de la Educación” de diferentes centros universitarios. Tomando como marco de referencia las teorías constructivistas del aprendizaje, el objetivo de nuestro trabajo se centra en comprobar la incidencia de la utilización de diferentes estrategias de enseñanza por parte del profesor y de determinadas estrategias de aprendizaje en el proceso de registrar la información por parte de los estudiantes, en la significatividad del aprendizaje. Los resultados obtenidos muestran que en los grupos donde los profesores han utilizado estrategias de enseñanza diferentes a la clase magistral, se ha producido un cambio positivo en las respuestas de los estudiantes o se ha mantenido el mismo nivel, mientras que el grupo donde se ha utilizado una metodología magistral, el nivel de respuesta es inferior. Así mismo, hemos podido observar como los grupos de estudiantes que utilizan las estrategias de aprendizaje seleccionadas para tomar apuntes mejoran su nivel de respuestas, lo cual no se produce en el grupo control

El Fotolog como herramienta de aprendizaje para los futuros maestros

En el contexto universitario estamos asistiendo a un proceso de cambio a diferentes niveles. Los nuevos grados nos inclinan hacia una enseñanza-aprendizaje por competencias y a la evaluación continua en la que el alumno debe ser el protagonista y sujeto activo de su aprendizaje. Ante esta situación nos preguntamos, ¿conoce el profesor cómo acceden a la información los jóvenes de hoy? ¿Sabe cuáles son sus estrategias y recursos? Si el alumno es el protagonista de su aprendizaje, es propio que el docente conozca los nuevos modos del estudiante tanto de acceder a la información como a gestarla. Si enseñar es un acto de empatía, cabe pensar cómo podemos conectar con los estudiantes ante sus nuevas formas de buscar, procesar y sintetizar la información. En este trabajo presentamos una experiencia que realizamos en la Facultat de Formació del Professorat de la Universitat de Barcelona en la asignatura de Didáctica de la educación visual y plástica. La particularidad estriba en que utilizamos una herramienta muy popular en el entorno cotidiano de los jóvenes de hoy: el fotolog. Adecuamos los contenidos a las nuevas formas de recepción e interacción de los estudiantes en un proceso de descubrimiento, exploración y creación donde el fotolog fue el medio para desarrollar los contenidos. Contenidos, por otra parte, también creados de acuerdo a los intereses que se iban presentando en el día a día

El Blog como herramienta docente para la autogestión del aprendizaje. Un ejemplo en historiografía

Ante los retos del EEES, la experiencia de la asignatura Tendencias Historiográficas II se ha propuesto desarrollar un proceso de enseñanza – aprendizaje mediante un bloc que facilite el desarrollo del pensamiento crítico en el alumnado, un conocimiento adecuado de las grandes formas de hacer historia en la actualidad y la capacidad de aplicar este conocimiento para valorar los textos historiográficos (y, por tanto, para capacitar al alumnado para aplicarlo en otras circunstancias). Pieza clave de este proceso ha sido el uso del blog del profesor y de los blogs del alumnado para elaborar comentarios de textos que sean accesibles para todos, permitan la autoevaluación del alumnado y el desarrollo de su aprendizaje autónomo, y, en último término, consigan un aprendizaje significativo. El texto expone los objetivos que se proponían, el desarrollo de la asignatura, evalúa los resultados obtenidos y, finalmente, reflexiona sobre los efectos del uso de Internet sobre nuestra forma de trabajar y de pensar