Iniciación del alumno al campo de la investigación en una asignatura multidisciplinar orientada a la robótica

La asignatura de libre elección en la que se realizó la experiencia que se indica pretende ser un trampolín de iniciación para aquellos alumnos de la Universidad Europea de Madrid que tengan inquietud por descubrir el mundo de la robótica. Con una clase de alumnos procedentes de muchas titulaciones distintas, Licenciado en Odontología, Ingeniero de Caminos, Canales y Puertos, Ingeniero Industrial, Ingeniero Informático, Ingeniero en Telecomunicaciones, Técnicos en Obras Públicas y alumnos internacionales, el reto de hacer de la asignatura algo interesante para ellos implicaba saber adaptarse a distintos niveles tanto disciplinar (varias carreras) como académico (los alumnos eran tanto de los primeros cursos como de los últimos). Basándose en el uso del portafolio y el aprendizaje basado en problemas se fueron inculcando los conocimientos básicos necesarios para desarrollar lo que sería el final de la asignatura. Este objetivo final es el que hizo que los alumnos vieran de cerca la labor de un investigador y un grupo de trabajo multidisciplinar. El reto consistió en que debían hacer una solicitud 'ficticia' de un proyecto PROFIT. Los PROFIT constituyen programas de ayuda y fomento a la investigación técnica convocados por el Ministerio de Industria, Turismo y Comercio. Las plantillas son accesibles desde Internet y de esta forma los alumnos pudieron realizar una memoria clara y precisa de sus proyectos. Además, como elemento final de evaluación se invitó a dos profesores expertos en robótica de otra universidad al día de la presentación en el que los alumnos entregaban la memoria y defendían sus trabajos. Tres profesores en total, dos de otra universidad y el profesor de la asignatura asistieron a su defensa y pusieron de manera independiente los trabajos en orden según sus preferencias, al ser 5 grupos la nota debía ponerse entre 10, 9, 8, 7 y 6. La media de la decisión de los tres profesores configuró la nota final

Odometria i planificació de trajectòries amb el robot e-puck

En el laboratori docent de robòtica s'utilitzen robots mòbils autònoms per treballar aspectes relacionats amb el posicionament, el control de trajectòries, la construcció de mapes... Es disposa de cinc robots comercials anomenats “e-puck”, que es caracteritzen per les seves dimensions reduïdes, dos motors i un conjunt complet de sensors. Aquests robots es programen en C++ utilitzant el simulador Webots, que disposa d'un conjunt de llibreries per programar el robot. També es disposa d'un entorn de proves on els robots es poden moure i evitar obstacles. Donat el poc temps que disposen els estudiants que realitzen pràctiques en aquest laboratori, és d'interès desenvolupar un software que contingui ja el posicionament del robot mitjançant odometria i també varis algoritmes de control de trajectòries. Per últim, en el laboratori es disposa de càmeres i targes d'adquisició de dades. Així doncs els objectius que s'han proposat per el projecte són: 1. Estudi de la documentació i software proporcinats pels fabricants del robot i de l'entorn Webots; 2. Programació del software de l'odometria i realització de proves per comprovar-ne la precisió; 3. Disseny, programació i verificació del software dels algoritmes de planificació de trajectòries. Realització d'experiments per a comprovar-ne el funcionament i 4. Disseny, programació i verificació d'un sistema de visió artificial que permeti conèixer la posició absoluta del robot en l'entorn

Practicum 2.0. El diario digital compartido sustituye a la memoria tradicional

La utilización de la Web 2.0 surge como una oportunidad para potenciar cada uno de los aspectos relacionados al acto educativo y por tanto es una herramienta enriquecedora de los procesos de enseñanza y de aprendizaje. Dentro del campo de la evaluación, la colaboración entre pares permite un aprendizaje más significativo, cómo lo explican algunas teorías por ejemplo, la del aprendizaje social. A través de las redes sociales y el conectivismo propio de la Web 2.0, se enriquece cada vez más el proceso evaluativo, ya que no sólo participan pares si no también otras personas que forman parte del contexto, puntualmente en cada momento de la formación. El diario digital compartido a través de la Web 2.0 puede ser una alternativa para potenciar el practicum de los estudiantes de magisterio e incluso de cualquier otro grado que requiera el desarrollo de memorias que reflejen una práctica profesionalizadora. Dentro del ámbito del Espacio Europeo de Educación Superior, la evaluación por competencias es un factor inminente y determinante para el logro de ciertas habilidades propias de las profesiones en las que se están formando los estudiantes de todas las carreras, es por esto necesario replantearse el desarrollo de estrategias así como de herramientas que permitan la integración de las nuevas tendencias educativas y los avances tecnológicos, sin olvidar los principios fundamentales de la formación de profesionales eficientes dentro del campo laboral. Se plantea por tanto, a través de diversos instrumentos desarrollados en la Web 2.0 contribuir en los procesos evaluativos de estudiantes de magisterio que cursan el practicum, potenciando procesos reflexivos y permitiendo la generación de conocimientos a través de la autoevaluación y la colaboración de todos los individuos implicados en el proceso, incluso, facilitan al profesor el llevar a cabo una evaluación continua más práctica y objetiva

Programació del robot e-puck amb Microsoft Robotics Studio

Microsoft Robotics Studio (MRS) és un entorn per a crear aplicacions per a robots utilitzant una gran varietat de plataformes hardware. Conté un entorn de simulació en el que es pot modelar i simular el moviment del robot. Permet també programar el robot, i executar-lo en l’entorn simulat o bé en el real. MRS resol la comunicació entre els diferents processos asíncrons que solen estar presents en el software de control d’un robot: processos per atendre sensors, actuadors, sistemes de control, comunicacions amb l’exterior,... MRS es pot utilitzar per modelar nous robots utilitzant components que ja estiguin disponibles en les seves llibreries, o també permet crear component nous. Per tal de conèixer en detall aquesta eina, seria interessant utilitzar-la per programa els robots e-pucks, uns robots mòbils autònoms de petites dimensions que disposen de dos motors i un complet conjunt de sensors. El que es vol és simular-los, realitzar un programa de control, realitzar la interfície amb el robot i comprovar el funcionament amb el robot real

Introducción de la perspectiva de género en la docencia universitaria

En esta comunicación presentamos en qué consiste organizar la docencia desde la perspectiva de género, qué es la competencia en perspectiva de género, ejemplificamos los conceptos presentados y aportamos algunas evidencias de los sesgos de género actuales en algunas carreras, desde el punto de vista de las competencias que las definen. Introducir la perspectiva de género en la docencia universitaria significar someter los distintos aspectos que la componen a un análisis reflexivo que identifique posibles sesgos de género y los elimine. Desde el punto de vista del diseño de las asignaturas, implica que los elementos que la componen contemplen dicha perspectiva: especialmente la organización de las asignaturas, el desarrollo de los contenidos de las unidades docentes, el tipo de ejemplos utilizados, el lenguaje y la fuentes usadas, la forma de relacionarse con el alumnado, etc.. En concreto, implica tener en cuenta dicha perspectiva en la definición de las competencias, en las actividades formativas diseñadas para su logro así como en su desempeño, y apoyar la elaboración de los contenidos en la producción científica de mujeres y hombres. Es decir, la aplicación de esta perspectiva depende, en buena medida, de su concreción en la variedad de tareas que se llevan a cabo en la docencia de una asignatura. Eso va desde la selección de los ejemplos hasta los modelos y teorías que explican los fenómenos, desde el tipo de atención prestada por profesorado al alumnado hasta el cumplimiento de objetivos. Desde la composición de los equipos de trabajo, hasta quien toma nota de forma habitual. Desde la organización del temario y del programa de la asignatura hasta las formas de evaluación y su descripción. Desde el tipo de sesión expositiva hasta el uso de las tutorías

An hybrid methodology for RL-based behavior coordination in a target following mission with an AUV

Proposes a behavior-based scheme for high-level control of autonomous underwater vehicles (AUVs). Two main characteristics can be highlighted in the control scheme. Behavior coordination is done through a hybrid methodology, which takes in advantages of the robustness and modularity in competitive approaches, as well as optimized trajectories

Hybrid coordination of reinforcement learning-based behaviors for AUV control

This paper proposes a hybrid coordination method for behavior-based control architectures. The hybrid method takes advantages of the robustness and modularity in competitive approaches as well as optimized trajectories in cooperative ones. This paper shows the feasibility of applying this hybrid method with a 3D-navigation to an autonomous underwater vehicle (AUV). The behaviors are learnt online by means of reinforcement learning. A continuous Q-learning implemented with a feed-forward neural network is employed. Realistic simulations were carried out. The results obtained show the good performance of the hybrid method on behavior coordination as well as the convergence of the behaviors

Efficient learning of reactive robot behaviors with a Neural-Q_learning approach

The purpose of this paper is to propose a Neural-Q_learning approach designed for online learning of simple and reactive robot behaviors. In this approach, the Q_function is generalized by a multi-layer neural network allowing the use of continuous states and actions. The algorithm uses a database of the most recent learning samples to accelerate and guarantee the convergence. Each Neural-Q_learning function represents an independent, reactive and adaptive behavior which maps sensorial states to robot control actions. A group of these behaviors constitutes a reactive control scheme designed to fulfill simple missions. The paper centers on the description of the Neural-Q_learning based behaviors showing their performance with an underwater robot in a target following task. Real experiments demonstrate the convergence and stability of the learning system, pointing out its suitability for online robot learning. Advantages and limitations are discussed

Semi-online neural-Q_leaming for real-time robot learning

Reinforcement learning (RL) is a very suitable technique for robot learning, as it can learn in unknown environments and in real-time computation. The main difficulties in adapting classic RL algorithms to robotic systems are the generalization problem and the correct observation of the Markovian state. This paper attempts to solve the generalization problem by proposing the semi-online neural-Q_learning algorithm (SONQL). The algorithm uses the classic Q_learning technique with two modifications. First, a neural network (NN) approximates the Q_function allowing the use of continuous states and actions. Second, a database of the most representative learning samples accelerates and stabilizes the convergence. The term semi-online is referred to the fact that the algorithm uses the current but also past learning samples. However, the algorithm is able to learn in real-time while the robot is interacting with the environment. The paper shows simulated results with the "mountain-car" benchmark and, also, real results with an underwater robot in a target following behavior

Vision-based localization of an underwater robot in a structured environment

This paper presents a vision-based localization approach for an underwater robot in a structured environment. The system is based on a coded pattern placed on the bottom of a water tank and an onboard down looking camera. Main features are, absolute and map-based localization, landmark detection and tracking, and real-time computation (12.5 Hz). The proposed system provides three-dimensional position and orientation of the vehicle along with its velocity. Accuracy of the drift-free estimates is very high, allowing them to be used as feedback measures of a velocity-based low-level controller. The paper details the localization algorithm, by showing some graphical results, and the accuracy of the system

A behavior-based scheme using reinforcement learning for autonomous underwater vehicles

This paper presents a hybrid behavior-based scheme using reinforcement learning for high-level control of autonomous underwater vehicles (AUVs). Two main features of the presented approach are hybrid behavior coordination and semi on-line neural-Q_learning (SONQL). Hybrid behavior coordination takes advantages of robustness and modularity in the competitive approach as well as efficient trajectories in the cooperative approach. SONQL, a new continuous approach of the Q_learning algorithm with a multilayer neural network is used to learn behavior state/action mapping online. Experimental results show the feasibility of the presented approach for AUVs

Policy gradient based Reinforcement Learning for real autonomous underwater cable tracking

This paper proposes a field application of a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot in cable tracking task. The learning system is characterized by using a direct policy search method for learning the internal state/action mapping. Policy only algorithms may suffer from long convergence times when dealing with real robotics. In order to speed up the process, the learning phase has been carried out in a simulated environment and, in a second step, the policy has been transferred and tested successfully on a real robot. Future steps plan to continue the learning process on-line while on the real robot while performing the mentioned task. We demonstrate its feasibility with real experiments on the underwater robot ICTINEU AUV

Autonomous underwater vehicle control using reinforcement learning policy search methods

Autonomous underwater vehicles (AUV) represent a challenging control problem with complex, noisy, dynamics. Nowadays, not only the continuous scientific advances in underwater robotics but the increasing number of subsea missions and its complexity ask for an automatization of submarine processes. This paper proposes a high-level control system for solving the action selection problem of an autonomous robot. The system is characterized by the use of reinforcement learning direct policy search methods (RLDPS) for learning the internal state/action mapping of some behaviors. We demonstrate its feasibility with simulated experiments using the model of our underwater robot URIS in a target following task

Towards Direct Policy Search Reinforcement Learning for Robot Control

This paper proposes a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot. Although the dominant approach, when using RL, has been to apply value function based algorithms, the system here detailed is characterized by the use of direct policy search methods. Rather than approximating a value function, these methodologies approximate a policy using an independent function approximator with its own parameters, trying to maximize the future expected reward. The policy based algorithm presented in this paper is used for learning the internal state/action mapping of a behavior. In this preliminary work, we demonstrate its feasibility with simulated experiments using the underwater robot GARBI in a target reaching task

Estimating the motion of an underwater robot from a monocular image sequence

When underwater vehicles perform navigation close to the ocean floor, computer vision techniques can be applied to obtain quite accurate motion estimates. The most crucial step in the vision-based estimation of the vehicle motion consists on detecting matchings between image pairs. Here we propose the extensive use of texture analysis as a tool to ameliorate the correspondence problem in underwater images. Once a robust set of correspondences has been found, the three-dimensional motion of the vehicle can be computed with respect to the bed of the sea. Finally, motion estimates allow the construction of a map that could aid to the navigation of the robot