Gradient-based reinforcement learning techniques for underwater robotics behavior learning

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG.

Preparadurías estudiantiles como proceso de aprendizaje colaborativo entre estudiantes de ingeniería de la UNEXPO, Vicerectorado de Puerto Ordaz

Se trata de una investigación que se realizó en la Universidad Nacional Experimental Politécnica "Antonio José de Sucre" (UNEXPO), Vicerrectorado Puerto Ordaz, Venezuela, referida al estudio e intervención educativa en el programa de preparadurías (mecanismo de asesoramiento académico entre estudiantes de ingeniería), en el ámbito de matemática I (asignatura crítica), que desarrolló procesos participativos de enseñanza-aprendizaje en aula fundamentados en una metodología colaborativa, de cara a la promoción de un cambio educativo. La investigación tiene como propósito promover la mejora de los procesos de enseñanza aprendizaje que se desarrollan en este programa, facilitando la participación de los preparadores en un proceso de intervención. Las acciones que orientaron la intervención en el aula, se fundamentan en una concepción constructivista y sociocultural de los procesos de enseñanza-aprendizaje, que otorgan un papel preponderante a la actividad del alumno mediada por factores de su contexto educativo. Desde el punto de vista metodológico, estamos frente a un tipo de investigación interpretativa, sustentada operacionalmente por la metodología cualitativa. Para llevarla a cabo, se definieron tres fases interconectadas en el proceso investigativo: descriptiva, de intervención y valoración; destacando que la fase intervención en el aula, se inspiró en la investigación-acción, como mecanismo indagatorio y propulsor de la transformación en la práctica. En estas fases, fue predominante la identificación de informantes clave de acuerdo a momentos y ámbitos de actuación y combinaciones que relacionaban técnicas narrativas como los grupos de discusión, entrevistas cualitativas y la observación, entre otras. Los resultados más resaltantes, tienden a realizar una caracterización exhaustiva de las preparadurías, describir de forma pormenorizada la experiencia vivida con los preparadores, la cual trata de aportar una estrategia pedagógica en matemática I, traducida en el aprovechamiento de las relaciones simétricas entre alumnos en ambientes colaborativos. La investigación permite a la UNEXPO, otras universidades y a la comunidad educativa, evaluar la posibilidades que ofrece una propuesta innovadora de enseñanza-aprendizaje en matemática I, que puede orientar las acciones pedagógicas en una de las asignaturas con más bajo porcentaje de promoción; combinando la colaboración, participación; explorando y aprovechando las relaciones entre iguales en ambientes alternativos de aprendizaje como las preparadurías.