Towards Direct Policy Search Reinforcement Learning for Robot Control

This paper proposes a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot. Although the dominant approach, when using RL, has been to apply value function based algorithms, the system here detailed is characterized by the use of direct policy search methods. Rather than approximating a value function, these methodologies approximate a policy using an independent function approximator with its own parameters, trying to maximize the future expected reward. The policy based algorithm presented in this paper is used for learning the internal state/action mapping of a behavior. In this preliminary work, we demonstrate its feasibility with simulated experiments using the underwater robot GARBI in a target reaching task

Intelligent task-level grasp mapping for robot control

In the future, robots will enter our everyday lives to help us with various tasks.For a complete integration and cooperation with humans, these robots needto be able to acquire new skills. Sensor capabilities for navigation in real humanenvironments and intelligent interaction with humans are some of the keychallenges.Learning by demonstration systems focus on the problem of human robotinteraction, and let the human teach the robot by demonstrating the task usinghis own hands. In this thesis, we present a solution to a subproblem within thelearning by demonstration field, namely human-robot grasp mapping. Robotgrasping of objects in a home or office environment is challenging problem.Programming by demonstration systems, can give important skills for aidingthe robot in the grasping task.The thesis presents two techniques for human-robot grasp mapping, directrobot imitation from human demonstrator and intelligent grasp imitation. Inintelligent grasp mapping, the robot takes the size and shape of the object intoconsideration, while for direct mapping, only the pose of the human hand isavailable.These are evaluated in a simulated environment on several robot platforms.The results show that knowing the object shape and size for a grasping taskimproves the robot precision and performance

JXTA-Overlay P2P Platform and Its Application for Robot Control

The design of an efficient collaborative multirobot framework that ensures the autonomy and the individualrequirements of the involved robots is a very challenging task. This requires designing an efficient platform for inter-robot communication. P2P is a good approach to achieve this goal. P2P aims at making the communication ubiquitous thereby crossing the communication boundary and has many attractive features to use it as a platform for collaborative multi-robot environments. In this work, we present the JXTA Overlay P2P system and its application for robot control. Since JXTAOverlay is able to overcome Firewalls, Routers and NATs, it is possible to control end-devices in a WAN without changing the network security policy. We used JXTA-Overlay for the control of robot motors. We evaluated the proposed system by many experiments and have shown that the proposed system has a good performance and can be used successfully for the control of robot.

Efficient learning of reactive robot behaviors with a Neural-Q_learning approach

The purpose of this paper is to propose a Neural-Q_learning approach designed for online learning of simple and reactive robot behaviors. In this approach, the Q_function is generalized by a multi-layer neural network allowing the use of continuous states and actions. The algorithm uses a database of the most recent learning samples to accelerate and guarantee the convergence. Each Neural-Q_learning function represents an independent, reactive and adaptive behavior which maps sensorial states to robot control actions. A group of these behaviors constitutes a reactive control scheme designed to fulfill simple missions. The paper centers on the description of the Neural-Q_learning based behaviors showing their performance with an underwater robot in a target following task. Real experiments demonstrate the convergence and stability of the learning system, pointing out its suitability for online robot learning. Advantages and limitations are discussed

Mobile robot experimental modeling and control strategies using sensor fusion

This research work deals with the problem of modeling and design of low level speed controller for the mobile robot PRIM. The main objective is to develop an effective educational, and research tool. On one hand, the interests in using the open mobile platform PRIM consist in integrating several highly related subjects to the automatic control theory in an educational context, by embracing the subjects of communications, signal processing, sensor fusion and hardware design, amongst others. On the other hand, the idea is to implement useful navigation strategies such that the robot can be served as a mobile multimedia information point. It is in this context, when navigation strategies are oriented to goal achievement, that a local model predictive control is attained. Hence, such studies are presented as a very interesting control strategy in order to develop the future capabilities of the system. In this context the research developed includes the visual information as a meaningful source that allows detecting the obstacle position coordinates as well as planning the free obstacle trajectory that should be reached by the robot

Control remoto (web) de un robot Aibo

El robot Aibo disposa de la llibreria Aibo Remote Framework per controlar-lo remotament mitjançant un PC i una xarxa inalàmbrica, també per accedir a informació d'estat del robot, o per veure les imatges que l'Aibo capta. Combinant Remote Framework i php s'ha creat una aplicació web que permet controlar Aibos diferents remotament per Internet, així com tenir accés a les imatges subjectives de cadascun dels Aibos. A més, la tecnologia existent d'streaming permet que l'aplicació web tingui un vídeo incrustat que possibilita veure en directe els Aibos mitjançant una càmera web enfocada cap a ells.

Experimental Modeling and Control Strategies on an Open Mobile Robot Platform PRIM

This research work deals with the problem of modeling and design of low level speed controller for the mobile robot PRIM. The main objective is to develop an effective educational tool. On one hand, the interests in using the open mobile platform PRIM consist in integrating several highly related subjects to the automatic control theory in an educational context, by embracing the subjects of communications, signal processing, sensor fusion and hardware design, amongst others. On the other hand, the idea is to implement useful navigation strategies such that the robot can be served as a mobile multimedia information point. It is in this context, when navigation strategies are oriented to goal achievement, that a local model predictive control is attained. Hence, such studies are presented as a very interesting control strategy in order to develop the future capabilities of the system

A Camera-Projector System for Robot Positioning by Visual Servoing

Positioning a robot with respect to objects by using data provided by a camera is a well known technique called visual servoing. In order to perform a task, the object must exhibit visual features which can be extracted from different points of view. Then, visual servoing is object-dependent as it depends on the object appearance. Therefore, performing the positioning task is not possible in presence of nontextured objets or objets for which extracting visual features is too complex or too costly. This paper proposes a solution to tackle this limitation inherent to the current visual servoing techniques. Our proposal is based on the coded structured light approach as a reliable and fast way to solve the correspondence problem. In this case, a coded light pattern is projected providing robust visual features independently of the object appearance

Plane-to-plane positioning from image-based visual servoing and structured light

In this paper we face the problem of positioning a camera attached to the end-effector of a robotic manipulator so that it gets parallel to a planar object. Such problem has been treated for a long time in visual servoing. Our approach is based on linking to the camera several laser pointers so that its configuration is aimed to produce a suitable set of visual features. The aim of using structured light is not only for easing the image processing and to allow low-textured objects to be treated, but also for producing a control scheme with nice properties like decoupling, stability, well conditioning and good camera trajectory

Predictive motion control of a mirosot mobile robot

This paper discusses predictive motion control of a MiRoSoT robot. The dynamic model of the robot is deduced by taking into account the whole process - robot, vision, control and transmission systems. Based on the obtained dynamic model, an integrated predictive control algorithm is proposed to position precisely with either stationary or moving obstacle avoidance. This objective is achieved automatically by introducing distant constraints into the open-loop optimization of control inputs. Simulation results demonstrate the feasibility of such control strategy for the deduced dynamic model

Control d'un robot de 3 graus de llibertat

Partint d'una estructura robòtica de 3 graus de llibertat, s'ha de fer el disseny deles unitats de potència i control , muntatge, conexionat, programació i posta enmarxa per poder generar trajectòries des d'un PC.Per aconseguir l'objectiu s'han realitzat les següents fites:a) Ajust i modificacions mecàniques de la estructura robòticaSubstitució de xavetes i canvi de pinyons.b) Implementar, modificar i ajustar elements elèctrics del robot.Substitució de motor elèctric espatllat, realitzar un nou cablejat cap a lanova unitat de control i substitució d'un sensor de posició.c) Disseny i muntatge de la unitat de potènciaSelecció de la targeta MD03 per controlar l'alimentació, velocitat i sentitde gir del motors, que controlen els 3 graus de llibertat. Mecanització enuna caixa incloent: fusibles, amperímetres i connectors. Cablejat elèctric iposta en funcionament.d) Disseny, muntatge elèctric i programació de la unitat de control.Selecció del PLC S7300Escollir el tipus de comunicacions que es realitzaran tant amb la unitat depotència com amb el PC.Disseny plànols elèctrics mitjançant el programa EPLAN.Mecanització, cablejat i posta en marxa del disseny elèctric.El disseny del software es realitzarà mitjançant l'eina de programacióSTEP7 de SiemensProgramació del PLC per poder treballar diferents tipus de moviments itrajectòriese) Disseny i programació de la interfície d'usuari des d'un PCProgramació d'una interfície gràfica mitjançant WinCC Flexible per tal quel'usuari només introduint dades pugui fer que el robot es mogui demanera manual o semiautomàtica . També s'ha programat per tal quegeneri trajectòries en mode automàtic.S'ha programat una illa de pick and place a mode d'exemplificació.

Integració de la posició GPS per fer el control del moviment d'un robot

L’objectiu d’aquest treball és fer un estudi dels diferents tipus de sistemes de posicionament global que hi ha en el mercat, elegir un mòdul receptor assequible per poder analitzar-lo i veure si disposa de les característiques adequades per integrar-lo en un robot autònom d’exploració del projecte Sant Bernardo. S’hauran de fer les anàlisis de la precisió del mòdul en les diferents direccions cardinals, es a dir Nord, Sud, Est, Oest i altura i veure la diferència d’error que hi ha en cada una, veure si la precisió varia molt en diferents situacions, com en cel obert, en sotabosc, costat i interior edificis. A més a més s’haurà de mirar la repetibilitat, la diferencia d’error amb diferentnombre de satèl•lits connectats i si disposa de suficient velocitat de processat per a podar corregir la posició del robot en moviment. Un cop analitzades les característiques del mòdul receptor elegit, es decidirà si aquest ésadequat per fer les correccions de posició del robot, o s’haurà d’adquirir un mòdul de característiques superiors i per tant molt més car per a dura a terme adequadament la correcció de la posició

Control de posició del robot wifibot

Aquest projecte pretén presentar de forma clara i detallada l’estructura i el funcionament del robot així com dels components que el conformen. Aquesta informació és de vital importància a l’hora de desenvolupar aplicacions per al robot. Un cop descrites les característiques del robot s’analitzaran les eines necessàries i/o disponibles per poder desenvolupar programari per cada nivell de la forma més senzilla i eficient possible. Posteriorment s’analitzaran els diferents nivells de programació i se’n contrastaran els avantatges i els inconvenients de cada un. Aquest anàlisi es començarà fent pel nivell més alt i anirà baixant amb la intenció de no entrar en nivells més baixos del necessari. Baixar un nivell en la programació suposa haver de crear aplicacions sempre compatibles amb els nivells superiors de forma que com més es baixa més augmenta la complexitat. A partir d’aquest anàlisi s’ha arribat a la conclusió que per tal d’aprofitar totes les prestacions del robot és precís arribar a programar en el nivell més baix del robot. Finalment l’objectiu és obtenir una sèrie de programes per cada nivell que permetin controlar el robot i fer-lo seguir senzilles trajectòries

Disseny i control d'un robot equilibrista sobre dues rodes

Dissenyar un robot equilibrista i construir-lo. A més implementar les funcions per poder fer que s'aguanti dret. El robot ens permetrà transportar documents i ens detectarà obstacles mentres fa el transport. Estarà controlat per una aplicació java construida especialment per poder fer el control per bluetooth i també podrem monitoritzar informació i fer canvis en la configuració.