Hand gesture recognition system based in computer vision and machine learning: Applications on human-machine interaction

Tese de Doutoramento em Engenharia de Eletrónica e de Computadores

Definition of multibody system

This chapter presents a general view of multibody system concept and definition by describing the main features associated with spatial systems. The mechanical components, which can be modeled as rigid or flexible, are constrained by kinematic pair of different types. Additionally, the bodies can be actuated upon by force elements and external forces due to interaction with environment. This chapter also presents some examples of application of multibody systems that can include automotive vehicles, mechanisms, robots and biomechanical systems.

Manipulador Robótico

El uso de robots industriales junto con los sistemas de diseño asistidos por computadora (CAD), y los sistemas de fabricación asistidos por computadora (CAM), son la última tendencia en automatización de los procesos de fabricación. Aunque el crecimiento del mercado de la industria Robótica ha sido lento en comparación con los primeros años de la década de los 80´s, de acuerdo a algunas predicciones, la industria de la robótica está en su infancia. Ya sea que éstas predicciones se realicen completamente, o no, es claro que la industria robótica, en una forma o en otra, permanecerá. En la actualidad el uso de los robots industriales está concentrado en operaciones muy simples, como tareas repetitivas que no requieren tanta precisión. En los 80´s las tareas relativamente simples como las máquinas de inspección, transferencia de materiales, pintado automotriz, y soldadura son económicamente viables para ser robotizadas. Los análisis de mercado en cuanto a fabricación predicen que en ésta década y en las posteriores los robots industriales incrementarán su campo de aplicación, ésto debido a los avances tecnológicos en sensórica, los cuales permitirán tareas mas sofisticadas. El futuro es muy incierto y seguramente los ROBOTS tendrán mucho que ver en nuestra vida diaria en los próximos años y tenemos que lograr que la Argentina no solo este presente, en desarrollos que ameriten una publicación Internacional, si no también que puedan ser, en conjunción con la Universidad, la industria y aportes de capitales privados, diseñados, construidos, aplicados y comercializados según las necesidades de nuestro medio, desde el reemplazo de miembros humanos a personas con discapacidades, el alivio al hombre en tareas inhumanas y también en aplicaciones industriales aun no explotadas. Actualmente la investigación en el área de robótica en la Argentina, esta enfocada a problemas de electrónica y control. La mecánica no forma parte de dicho ambiente científico como puede verse en las 4 últimas Jornadas Argentinas de Robótica. En todos los casos se trabaja en la investigación de algoritmos o métodos de control montados en pequeños robots comerciales. El proyecto ROBOT-01 propone la construcción de un manipulador de 7 grados de libertad, aplicando las mas modernas técnicas de Simulación, diseño, CAD-3D, materiales compuestos, construcción de micro-mecánica, electrónica y software. El brazo manipulador estará diseñado para ser continuado o asociado con una mano robótica y con una base móvil autónoma, las que serán encaradas en proyectos futuros, o con interacción con otros grupos de investigación similares de otras Universidades

Adaptive Regelung von Robotersystemen in Kontaktaufgaben

Contact Tasks of Robotic Systems, Mobile Legged Robots, Industrial Manipulators, Service Operations, Robot's Locomotion, Adaptive Control, Impedance/Force Control

A propósito de Hipermembrana de Marcel•lí Antúnez Roca

Treball dividit en quatre parts: 1.- Recorregut epistemológic dels performances de Marcel•lí Antúnez fins a Hipermembrana. 2.- Breu exploració dels diversos camps des dels quals s'aborda l'estudi de l'obra de l'artista dividits en dos vessants: a)- Món viu: explora el biològic, la carn i el cos. b)- Món inert: explora la tecnologia, el posthumà, els robots, cyborgs i androides, el cyberpunk i el postcyberpunk. 3.- Breu exposició de l'actual sistema de treball de Marcel•lí Antúnez, la sistematúrgia. 4.- A partir de la problemàtica perceptiva que comporta el treball de l'artista s'esbossen unes primeres conclusions.

Control remoto (web) de un robot Aibo

El robot Aibo disposa de la llibreria Aibo Remote Framework per controlar-lo remotament mitjançant un PC i una xarxa inalàmbrica, també per accedir a informació d'estat del robot, o per veure les imatges que l'Aibo capta. Combinant Remote Framework i php s'ha creat una aplicació web que permet controlar Aibos diferents remotament per Internet, així com tenir accés a les imatges subjectives de cadascun dels Aibos. A més, la tecnologia existent d'streaming permet que l'aplicació web tingui un vídeo incrustat que possibilita veure en directe els Aibos mitjançant una càmera web enfocada cap a ells.

Programación de un robot autónomo: diseño, construcción, programación e integración de un robot autónomo en el entorno Pyro

En aquest projecte, s'ha dissenyat, construït i programat un robot autònom, dotat de sistema de locomoció i sensors que li permeten navegar sense impactar en un entorn controlat. Per assolir aquests objectius s'ha dissenyat i programat una unitat de control que gestiona el hardware de baix volum de dades amb diferents modes d'operació, abstraient-lo en una única interfície. Posteriorment s'ha integrat aquest sistema en l'entorn de robòtica Pyro. Aquest entorn permet usar i adaptar, segons es necessiti, eines d'intel·ligència artificial ja desenvolupades.

Implementation of robotic laparoscopic cholecystectomy in a university hospital.

BACKGROUND: Robot surgery is a further step towards new potential developments in minimally invasive surgery. Surgeons must keep abreast of these new technologies and learn their limits and possibilities. Robot-assisted laparoscopic cholecystectomy has not yet been performed in our institution. The purpose of this report is to present the pathway of implementation of robotic laparoscopic cholecystectomy in a university hospital. METHODS: The Zeus(R) robot system was used. Experimental training was performed on animals. The results of our experimental training allowed us to perform our first two clinical cases. RESULTS: Robot arm set-up and trocar placement required 53 and 35 minutes. Operative time were 59 and 45 minutes respectively. The overall operative time was 112 and 80 minutes, respectively. There were no intraoperative complications. Patients were discharged from the hospital after an overnight stay. CONCLUSION: Robotic laparoscopic cholecystectomy is safe and patient recovery similar to those of standard laparoscopy. At present, there are no advantages of robotic over conventional surgery. Nevertheless, robots have the potential to revolutionise the way surgery is performed. Robot surgery is not reserved for a happy few. This technology deserves more attention because it has the potential to change the way surgery is performed.

Robot educatiu per un PBL en enginyeria informàtica

En aquest projecte s’ha estudiat el disseny d’una plataforma robòtica mòbil per un PBL (Aprenentatge Basat en Problemes) en enginyeria informàtica. El principal objectiu és introduir aquest model en l’ensenyament universitari, com a complement de diferents assignatures de primer curs. Per arribar a aconseguir aquests objectius, s’ha dissenyat i construït una plataforma robòtica, dirigida per un microcontrolador i dotada de diversos sensors per interactuar amb l’entorn. El robot permet diferents tipus de programació i esta especialment dissenyada per ser una bona experiència educativa.

Object recognition for autonomous objects: comparison of two approaches

Report for the scientific sojourn at the Swiss Federal Institute of Technology Zurich, Switzerland, between September and December 2007. In order to make robots useful assistants for our everyday life, the ability to learn and recognize objects is of essential importance. However, object recognition in real scenes is one of the most challenging problems in computer vision, as it is necessary to deal with difficulties. Furthermore, in mobile robotics a new challenge is added to the list: computational complexity. In a dynamic world, information about the objects in the scene can become obsolete before it is ready to be used if the detection algorithm is not fast enough. Two recent object recognition techniques have achieved notable results: the constellation approach proposed by Lowe and the bag of words approach proposed by Nistér and Stewénius. The Lowe constellation approach is the one currently being used in the robot localization project of the COGNIRON project. This report is divided in two main sections. The first section is devoted to briefly review the currently used object recognition system, the Lowe approach, and bring to light the drawbacks found for object recognition in the context of indoor mobile robot navigation. Additionally the proposed improvements for the algorithm are described. In the second section the alternative bag of words method is reviewed, as well as several experiments conducted to evaluate its performance with our own object databases. Furthermore, some modifications to the original algorithm to make it suitable for object detection in unsegmented images are proposed.

Anàlisi del Microsoft Robotics Studio

Cada cop més s’utilitzen robots en molts àmbits de la vida, els quals han de ser programats, i el fet que Microsoft s’impliqui aportant una eina de programació resulta interessant. Aprendre a programar robots i colònies de robots amb aquesta eina, la qual està tenint una bona acollida, és molt important, per això en aquest projecte s’ha fet una anàlisi crítica de MRS i del material docent associat a l’aplicació. Els resultats i conclusions obtinguts han estat, d’una banda, que és la millor eina de programació de robots, en termes generals, i d’altra, una guia iniciativa a l’entorn MRS, accessible a la direcció: http://shades.uab.cat/MSRS.

NXT: el robot de Lego

Treball de recerca realitzat per un alumne d'ensenyament secundari i guardonat amb un Premi CIRIT per fomentar l'esperit cientí­fic del Jovent l'any 2009. L'NXT és un robot creat per l'empresa Lego que disposa d'un controlador, de diversos servo motors i de sensors (tacte, llum, ultrasons, so...). Es programa mitjançant un programa especial, pensat per nois i noies de catorze anys, anomenat Lego Mindstorms. S'estudia el funcionament d'aquest programa i les parts del sistema de control del robot. L'estudi engloba el controlador, quatre sensors i els servomotors.

Interfaz de usuario de un sistema multi-robot de reconocimiento de superficies con Google Earth

Els sistemes multi-robot de reconeixement de superfícies es poden utilitzar tant per a l'exploració de llocs remots, de difícil accés o perillosos. Normalment, els robots no són autònoms, depenen d'operadors humans per dirigir-los. La informació que capten ha de ser processada i mostrada a l'usuari o usuària del sistema de forma intel·ligible. Un exemple d'aplicació seria el d'un sistema multirobot format per diversos helicòpters no tripulats que proporciona informació d'una àrea que ha patit algun desastre. El sistema informàtic recolliria la informació i la transmetria al coordinador de l'operatiu d'assistència de l'emergència. La idea del projecte és la de combinar la informació proporcionada pel sistema multi-robot amb la de la zona disponible a Google Earth i fer d'aquesta eina l'interfície d'usuari de l'aplicació.

ETIKETAGGER: herramienta para el etiquetaje de secuencias de imágenes

La adaptación del reconocimiento de objetos sobre la robótica móvil requiere un enfoque y nuevas aplicaciones que optimicen el entrenamiento de los robots para obtener resultados satisfactorios. Es conocido que el proceso de entrenamiento es largo y tedioso, donde la intervención humana es absolutamente necesaria para supervisar el comportamiento del robot y la dirección hacia los objetivos. Es por esta razón que se ha desarrollado una herramienta que reduce notablemente el esfuerzo humano que se debe hacer para esta supervisión, automatizando el proceso necesario para obtener una evaluación de resultados, y minimizando el tiempo que se malgasta debido a errores humanos o falta de infraestructuras.

Simulador de conducció enfocat a la investigació

El desenvolupament de sistemes d’assistència a la conducció (ADAS) és, avui dia, una de les àrees de recerca de més interès pel Centre de Visió per Computador. A partir de la informació adquirida per sensors instal·lats en un vehicle, els ADAS assisteixen al conductor per tal d’evitar situacions de perill. La validació d’aquests sistemes però, requereix de l’obtenció "manual" de les dades que defineixen l’entorn de conducció de forma precisa: una tasca costosa i subjecta a l’error humà. Per tal de resoldre aquest problema, en aquest projecte s’ha implementat IOCS, un simulador de conducció creat a partir d’un de robots, capaç de crear entorns realistes de conducció i d’obtenir, simultàniament, les dades sobre l’entorn inferides per un ADAS i les que el descriuen objectivament. Aquesta funcionalitat facilita extremadament el procés de validació actual dels sistemes d’assistència a la conducció.