Integrazione di algoritmi di visione basati su flusso ottico per il controllo di un velivolo senza pilota

Il lavoro svolto in questa tesi si colloca nell’area della robotica aerea e della visione artificiale attraverso l’integrazione di algoritmi di visione per il controllo di un velivolo senza pilota. Questo lavoro intende dare un contributo al progetto europeo SHERPA (Smart collaboration between Humans and ground-aErial Robots for imProving rescuing activities in Alpine environments), coordinato dall’università di Bologna e con la compartecipazione delle università di Brema, Zurigo, Twente, Leuven, Linkopings, del CREATE (Consorzio di Ricerca per l’Energia e le Applicazioni Tecnologiche dell’Elettromagnetismo), di alcune piccole e medie imprese e del club alpino italiano, che consiste nel realizzare un team di robots eterogenei in grado di collaborare con l’uomo per soccorrere i dispersi nell’ambiente alpino. L’obiettivo di SHERPA consiste nel progettare e integrare l’autopilota all’interno del team. In tale contesto andranno gestiti problemi di grande complessità, come il controllo della stabilità del velivolo a fronte di incertezze dovute alla presenza di vento, l’individuazione di ostacoli presenti nella traiettoria di volo, la gestione del volo in prossimità di ostacoli, ecc. Inoltre tutte queste operazioni devono essere svolte in tempo reale. La tesi è stata svolta presso il CASY (Center for Research on Complex Automated Systems) dell’università di Bologna, utilizzando per le prove sperimentali una PX4FLOW Smart Camera. Inizialmente è stato studiato un autopilota, il PIXHAWK, sul quale è possibile interfacciare la PX4FLOW, in seguito sono stati studiati e simulati in MATLAB alcuni algoritmi di visione basati su flusso ottico. Infine è stata studiata la PX4FLOW Smart Camera, con la quale sono state svolte le prove sperimentali. La PX4FLOW viene utilizzata come interfaccia alla PIXHAWK, in modo da eseguire il controllo del velivolo con la massima efficienza. E’ composta da una telecamera per la ripresa della scena, un giroscopio per la misura della velocità angolare, e da un sonar per le misure di distanza. E’ in grado di fornire la velocità di traslazione del velivolo, e quest’ultima, integrata, consente di ricostruire la traiettoria percorsa dal velivolo.

Robotica evolutiva: stato dell'arte e sviluppi futuri

Le azioni che un robot dovrà intraprendere per riuscire a portare a termine un determinato task non sono sempre note a priori. In situazioni dove l’ambiente in cui il robot si muove e con cui interagisce risulta impredicibile, variabile o persino ignoto, diventa pressocché impossibile progettare un algoritmo universale, che tenga conto di tutte le possibili variabili, avvalendosi dei metodi classici di programmazione e design. La Robotica Evolutiva (ER) è una branca della Computazione Evolutiva (EC) che si occupa di risolvere questo problema avvalendosi di specifici Algoritmi Evolutivi (EA) applicati alla robotica. Gli utilizzi della Robotica Evolutiva sono molteplici e spaziano dalla ricerca di soluzioni per problemi/task complessi allo studio e alla riproduzione di fenomeni fisiologici e biologici per riuscire a comprendere (o ipotizzare) l’evoluzione di alcuni tratti genetici presenti nel genere animale/umano. Lo scopo di questo elaborato è di predisporre una base, una visione generale per chiunque voglia intraprendere studi approfonditi nella Robotica Evolutiva, esaminando lo stato attuale delle sperimentazioni, gli obiettivi raggiunti e le sfide che ogni ricercatore di ER deve affrontare ogni giorno per riuscire portare questo campo di studi nel mondo reale, fuori dall’ambiente simulato e ideale.

3D visual sensing of human hand for remote operation of a robotic hand

New low cost sensors and open free libraries for 3D image processing are making important advances in robot vision applications possible, such as three-dimensional object recognition, semantic mapping, navigation and localization of robots, human detection and/or gesture recognition for human-machine interaction. In this paper, a novel method for recognizing and tracking the fingers of a human hand is presented. This method is based on point clouds from range images captured by a RGBD sensor. It works in real time and it does not require visual marks, camera calibration or previous knowledge of the environment. Moreover, it works successfully even when multiple objects appear in the scene or when the ambient light is changed. Furthermore, this method was designed to develop a human interface to control domestic or industrial devices, remotely. In this paper, the method was tested by operating a robotic hand. Firstly, the human hand was recognized and the fingers were detected. Secondly, the movement of the fingers was analysed and mapped to be imitated by a robotic hand.

Calibración de cámaras de tiempo de vuelo: ajuste adaptativo del tiempo de integración y análisis de la frecuencia de modulación

La percepción de profundidad se hace imprescindible en muchas tareas de manipulación, control visual y navegación de robots. Las cámaras de tiempo de vuelo (ToF: Time of Flight) generan imágenes de rango que proporcionan medidas de profundidad en tiempo real. No obstante, el parámetro distancia que calculan estas cámaras es fuertemente dependiente del tiempo de integración que se configura en el sensor y de la frecuencia de modulación empleada por el sistema de iluminación que integran. En este artículo, se presenta una metodología para el ajuste adaptativo del tiempo de integración y un análisis experimental del comportamiento de una cámara ToF cuando se modifica la frecuencia de modulación. Este método ha sido probado con éxito en algoritmos de control visual con arquitectura ‘eye-in-hand’ donde el sistema sensorial está compuesto por una cámara ToF. Además, la misma metodología puede ser aplicada en otros escenarios de trabajo.

A graded course of simple manual training exercises for educating the hand and eye,

Mode of access: Internet.

Hand-book of diseases of the eye : a text-book for students and practitioners /

Mode of access: Internet.

An elementary course in free-hand geometrical drawing, for schools, and for the training of the eye and hand destined to mechanical pursuits and arts of geometrical design.

Mode of access: Internet.

Neural Network Evidence for the Coupling of Presaccadic Visual Remapping to Predictive Eye Position Updating.

As we look around a scene, we perceive it as continuous and stable even though each saccadic eye movement changes the visual input to the retinas. How the brain achieves this perceptual stabilization is unknown, but a major hypothesis is that it relies on presaccadic remapping, a process in which neurons shift their visual sensitivity to a new location in the scene just before each saccade. This hypothesis is difficult to test in vivo because complete, selective inactivation of remapping is currently intractable. We tested it in silico with a hierarchical, sheet-based neural network model of the visual and oculomotor system. The model generated saccadic commands to move a video camera abruptly. Visual input from the camera and internal copies of the saccadic movement commands, or corollary discharge, converged at a map-level simulation of the frontal eye field (FEF), a primate brain area known to receive such inputs. FEF output was combined with eye position signals to yield a suitable coordinate frame for guiding arm movements of a robot. Our operational definition of perceptual stability was "useful stability," quantified as continuously accurate pointing to a visual object despite camera saccades. During training, the emergence of useful stability was correlated tightly with the emergence of presaccadic remapping in the FEF. Remapping depended on corollary discharge but its timing was synchronized to the updating of eye position. When coupled to predictive eye position signals, remapping served to stabilize the target representation for continuously accurate pointing. Graded inactivations of pathways in the model replicated, and helped to interpret, previous in vivo experiments. The results support the hypothesis that visual stability requires presaccadic remapping, provide explanations for the function and timing of remapping, and offer testable hypotheses for in vivo studies. We conclude that remapping allows for seamless coordinate frame transformations and quick actions despite visual afferent lags. With visual remapping in place for behavior, it may be exploited for perceptual continuity.

Pose estimation of a humanoid robot using images from a mobile external camera

NOGUEIRA, Marcelo B. ; MEDEIROS, Adelardo A. D. ; ALSINA, Pablo J. Pose Estimation of a Humanoid Robot Using Images from an Mobile Extern Camera. In: IFAC WORKSHOP ON MULTIVEHICLE SYSTEMS, 2006, Salvador, BA. Anais... Salvador: MVS 2006, 2006.

Fast and accurate hand pose detection for human-robot interaction

[EN]Enabling natural human-robot interaction using computer vision based applications requires fast and accurate hand detection. However, previous works in this field assume different constraints, like a limitation in the number of detected gestures, because hands are highly complex objects difficult to locate. This paper presents an approach which integrates temporal coherence cues and hand detection based on wrists using a cascade classifier. With this approach, we introduce three main contributions: (1) a transparent initialization mechanism without user participation for segmenting hands independently of their gesture, (2) a larger number of detected gestures as well as a faster training phase than previous cascade classifier based methods and (3) near real-time performance for hand pose detection in video streams.

Manipolazione robotica mobile per il settore agroalimentare - Pianificazione di traiettorie per la Sloshing Suppression

Movimentazione, da parte di un braccio robotico, di un recipiente riempito con un liquido nello spazio tridimensionale. Sistema di trasferimento liquidi basato sul KUKA youBot, piattaforma open source per la ricerca scientifica. Braccio robotico a 5 gradi di libertà con struttura ortho-parallel e cinematica risolvibile in forma chiusa tramite l’applicazione di Pieper. Studio dei modi di vibrare dei liquidi e modellizzazione dei fenomeni ondosi tramite modello equivalente di tipo pendolo. Analisi delle metodologie di controllo di tipo feed-forward volte a sopprimere la risposta oscillatoria di un tipico sistema vibratorio. Filtraggio delle traiettorie di riferimento da imporre allo youBot, in modo tale da sopprimere le vibrazioni in uscita della massa d’acqua movimentata. Analisi e comparazione delle metodologie di input shaping e filtro esponenziale. Validazione sperimentale delle metodologie proposte implementandole sul manipolatore youBot. Misura dell’entità del moto ondoso basata su dati acquisiti tramite camera RGBD ASUS Xtion PRO LIVE. Algoritmo di visione per l’elaborazione offline dei dati acquisiti, con output l’andamento dell’angolo di oscillazione del piano interpolante la superficie del liquido movimentato.

Sistema di guida robot per operazioni di pick and place

Uno dei fattori che ha favorito la diffusione della robotica è legato alla nascita, allo sviluppo e al perfezionamento dei sistemi di guida robot. Per guida robot si intende un sistema di visione artificiale capace di guidare un robot durante lo svolgimento di un determinato compito. All'interno di questo elaborato di tesi, verrà illustrato in dettaglio un sistema di guida robot realizzato per una operazione di pick and place 2D multistrato. Sebbene la procedura proposta sia stata sviluppata per risolvere un problema specifico, la sua validità è del tutto generale e può essere estesa anche ad altre applicazioni appartenenti alla stessa categoria.

Pose estimation of a humanoid robot using images from a mobile external camera

NOGUEIRA, Marcelo B. ; MEDEIROS, Adelardo A. D. ; ALSINA, Pablo J. Pose Estimation of a Humanoid Robot Using Images from an Mobile Extern Camera. In: IFAC WORKSHOP ON MULTIVEHICLE SYSTEMS, 2006, Salvador, BA. Anais... Salvador: MVS 2006, 2006.

A ROS-based software architecture for a versatile collaborative dual-armed autonomous mobile robot for the manufacturing industry

The industrial context is changing rapidly due to advancements in technology fueled by the Internet and Information Technology. The fourth industrial revolution counts integration, flexibility, and optimization as its fundamental pillars, and, in this context, Human-Robot Collaboration has become a crucial factor for manufacturing sustainability in Europe. Collaborative robots are appealing to many companies due to their low installation and running costs and high degree of flexibility, making them ideal for reshoring production facilities with a short return on investment. The ROSSINI European project aims to implement a true Human-Robot Collaboration by designing, developing, and demonstrating a modular and scalable platform for integrating human-centred robotic technologies in industrial production environments. The project focuses on safety concerns related to introducing a cobot in a shared working area and aims to lay the groundwork for a new working paradigm at the industrial level. The need for a software architecture suitable to the robotic platform employed in one of three use cases selected to deploy and test the new technology was the main trigger of this Thesis. The chosen application consists of the automatic loading and unloading of raw-material reels to an automatic packaging machine through an Autonomous Mobile Robot composed of an Autonomous Guided Vehicle, two collaborative manipulators, and an eye-on-hand vision system for performing tasks in a partially unstructured environment. The results obtained during the ROSSINI use case development were later used in the SENECA project, which addresses the need for robot-driven automatic cleaning of pharmaceutical bins in a very specific industrial context. The inherent versatility of mobile collaborative robots is evident from their deployment in the two projects with few hardware and software adjustments. The positive impact of Human-Robot Collaboration on diverse production lines is a motivation for future investments in research on this increasingly popular field by the industry.