Designing a Computer Vision System for Underwater Robotic Interventions

This thesis deals with the challenging problem of designing systems able to perceive objects in underwater environments. In the last few decades research activities in robotics have advanced the state of art regarding intervention capabilities of autonomous systems. State of art in fields such as localization and navigation, real time perception and cognition, safe action and manipulation capabilities, applied to ground environments (both indoor and outdoor) has now reached such a readiness level that it allows high level autonomous operations. On the opposite side, the underwater environment remains a very difficult one for autonomous robots. Water influences the mechanical and electrical design of systems, interferes with sensors by limiting their capabilities, heavily impacts on data transmissions, and generally requires systems with low power consumption in order to enable reasonable mission duration. Interest in underwater applications is driven by needs of exploring and intervening in environments in which human capabilities are very limited. Nowadays, most underwater field operations are carried out by manned or remotely operated vehicles, deployed for explorations and limited intervention missions. Manned vehicles, directly on-board controlled, expose human operators to risks related to the stay in field of the mission, within a hostile environment. Remotely Operated Vehicles (ROV) currently represent the most advanced technology for underwater intervention services available on the market. These vehicles can be remotely operated for long time but they need support from an oceanographic vessel with multiple teams of highly specialized pilots. Vehicles equipped with multiple state-of-art sensors and capable to autonomously plan missions have been deployed in the last ten years and exploited as observers for underwater fauna, seabed, ship wrecks, and so on. On the other hand, underwater operations like object recovery and equipment maintenance are still challenging tasks to be conducted without human supervision since they require object perception and localization with much higher accuracy and robustness, to a degree seldom available in Autonomous Underwater Vehicles (AUV). This thesis reports the study, from design to deployment and evaluation, of a general purpose and configurable platform dedicated to stereo-vision perception in underwater environments. Several aspects related to the peculiar environment characteristics have been taken into account during all stages of system design and evaluation: depth of operation and light conditions, together with water turbidity and external weather, heavily impact on perception capabilities. The vision platform proposed in this work is a modular system comprising off-the-shelf components for both the imaging sensors and the computational unit, linked by a high performance ethernet network bus. The adopted design philosophy aims at achieving high flexibility in terms of feasible perception applications, that should not be as limited as in case of a special-purpose and dedicated hardware. Flexibility is required by the variability of underwater environments, with water conditions ranging from clear to turbid, light backscattering varying with daylight and depth, strong color distortion, and other environmental factors. Furthermore, the proposed modular design ensures an easier maintenance and update of the system over time. Performance of the proposed system, in terms of perception capabilities, has been evaluated in several underwater contexts taking advantage of the opportunity offered by the MARIS national project. Design issues like energy power consumption, heat dissipation and network capabilities have been evaluated in different scenarios. Finally, real-world experiments, conducted in multiple and variable underwater contexts, including open sea waters, have led to the collection of several datasets that have been publicly released to the scientific community. The vision system has been integrated in a state of the art AUV equipped with a robotic arm and gripper, and has been exploited in the robot control loop to successfully perform underwater grasping operations.

Pleasant sweeping grooming touch in rhesus monkey: effects on autonomic nervous system and its codification in posterior insular and secondary somatosensory cortex

Il tatto assume un'importanza fondamentale nella vita quotidiana, in quanto ci permette di discriminare le caratteristiche fisiche di un oggetto specifico, di identificarlo e di eventualmente integrare le suddette informazioni tattili con informazioni provenienti da altri canali sensoriali. Questa è la componente sensoriale-discriminativa del tatto. Tuttavia quotidianamente il tatto assume un ruolo fondamentale durante le diverse interazioni sociali, positive, come quando abbracciamo o accarezziamo una persona con cui abbiamo un rapporto affettivo e negative, per esempio quando allontaniamo una persona estranea dal nostro spazio peri-personale. Questa componente è la cosiddetta dimensione affettiva-motivazionale, la quale determina la codifica della valenza emotiva che l'interazione assume. Questa componente ci permette di creare, mantenere o distruggere i legami sociali in relazione al significato che il tocco assume durante l'interazione. Se per esempio riceviamo una carezza da un familiare, questa verrà percepita come piacevole e assumerà un significato affiliativo. Questo tipo di tocco è comunente definito come Tocco Sociale (Social Touch). Gli aspetti discriminativi del tatto sono stati ben caratterizzati, in quanto storicamente, il ruolo del tatto è stato considerato quello di discriminare le caratteristiche di ciò che viene toccato, mentre gli aspetti affettivi sono stati solo recentemente indagati considerando la loro importanza nelle interazioni sociali. Il tocco statico responsabile dell'aspetto discriminante attiva a livello della pelle le grandi fibre mieliniche (Aβ), modulando a livello del sistema nervoso centrale le cortecce sensoriali, sia primarie che secondarie. Questo permette la codifica a livello del sistema nervoso centrale delle caratteristiche fisiche oggettive degli oggetti toccati. Studi riguardanti le caratteristiche del tocco affiliativo sociale hanno messo in evidenza che suddetta stimolazione tattile 1) è un particolare tocco dinamico che avviene sul lato peloso delle pelle con una velocità di 1-10 cm/sec; 2) attiva le fibre amieliniche (fibre CT o C-LTMRs); 3) induce positivi effetti autonomici, ad esempio la diminuzione della frequenza cardiaca e l'aumento della variabilità della frequenza cardiaca; e 4) determina la modulazione di regioni cerebrali coinvolte nella codifica del significato affiliativo dello stimolo sensoriale periferico, in particolare la corteccia insulare. Il senso del tatto, con le sue due dimensioni discriminativa e affiliativa, è quotidianamente usato non solo negli esseri umani, ma anche tra i primati non umani. Infatti, tutti i primati non umani utilizzano la componente discriminativa del tatto per identificare gli oggetti e il cibo e l'aspetto emotivo durante le interazioni sociali, sia negative come durante un combattimento, che positive, come durante i comportamenti affiliativi tra cui il grooming. I meccanismi di codifica della componente discriminativa dei primati non umani sono simili a quelli umani. Tuttavia, si conosce ben poco dei meccanismi alla base della codifica del tocco piacevole affiliativo. Pur essendo ben noto che i meccanorecettori amilienici C-LTMRs sono presenti anche sul lato peloso della pelle dei primati non umani, attualmente non ci sono studi riguardanti la correlazione tra il tocco piacevole e la loro modulazione, come invece è stato ampiamente dimostrato nell'uomo. Recentemente è stato ipotizzato (Dunbar, 2010) il ruolo delle fibre C-LTMRs durante il grooming, in particolare durante il cosiddetto swepping. Il grooming è costituito da due azioni motorie, lo sweeping e il picking che vengono eseguite in modo ritmico. Durante lo sweeping la scimmia agente muove il pelo della scimmia ricevente con un movimento a mano aperta, per poter vedere il preciso punto della pelle dove eseguire il picking, ovvero dove prendere la pelle a livello della radice del pelo con le unghie dell'indice e del pollice e tirare per rimuovere parassiti o uova di parassiti e ciò che è rimasto incastrato nel pelo. Oltre il noto ruolo igenico, il grooming sembra avere anche una importante funzione sociale affiliativa. Come la carezza nella società umana, cosi il grooming tra i primati non umani è considerato un comportamento. Secondo l'ipotesi di Dunbar l'attivazione delle C-LTMRs avverrebbe durante lo sweeping e questo porta a supporre che lo sweeping, come la carezza umana, costituisca una componente affiliativa del grooming, determinando quindi a contribuire alla sua codifica come comportamento sociale. Fino ad ora non vi è però alcuna prova diretta a sostegno di questa ipotesi. In particolare, 1) la velocità cui viene eseguito lo sweeping è compatibile con la velocità di attivazione delle fibre CT nell'uomo e quindi con la velocità tipica della carezza piacevole di carattere sociale affiliativo (1-10 cm/sec)?; 2) lo sweeping induce la stessa modulazione del sistema nervoso autonomo in direzione della modulazione del sistema vagale, come il tocco piacevole nell'uomo, attraverso l'attivazione delle fibre CT?; 3) lo sweeping modula la corteccia insulare, cosi come il tocco piacevole viene codificato come affiliativo nell'uomo mediante le proiezioni delle fibre CT a livello dell'insula posteriore? Lo scopo del presente lavoro è quella di testare l'ipotesi di Dunbar sopra citata, cercando quindi di rispondere alle suddette domande. Le risposte potrebbero consentire di ipotizzare la somiglianza tra lo sweeping, caratteristico del comportamento affiliativo di grooming tra i primati non umani e la carezza. In particolare, abbiamo eseguito 4 studi pilota. Nello Studio 1 abbiamo valutato la velocità con cui viene eseguito lo sweeping tra scimmie Rhesus, mediante una analisi cinematica di video registrati tra un gruppo di scimmie Rhesus. Negli Studi 2 e 3 abbiamo valutato gli effetti sul sistema nervoso autonomo dello sweeping eseguito dallo sperimentatore su una scimmia Rhesus di sesso maschile in una tipica situazione sperimentale. La stimolazione tattile è stata eseguita a diverse velocità, in accordo con i risultati dello Studio 1 e degli studi umani che hanno dimostrato la velocità ottimale e non ottimale per l'attivazione delle C-LTMRs. In particolare, nello Studio 2 abbiamo misurato la frequenza cardiaca e la variabilità di questa, come indice della modulatione vagale, mentre nello Studio 3 abbiamo valutato gli effetti dello sweeping sul sistema nervoso autonomo in termini di variazioni di temperatura del corpo, nello specifico a livello del muso della scimmia. Infine, nello Studio 4 abbiamo studiato il ruolo della corteccia somatosensoriale secondaria e insulare nella codifica dello sweeping. A questo scopo abbiamo eseguito registrazioni di singoli neuroni mentre la medesima scimmia soggetto sperimentale dello Studio 2 e 3, riceveva lo sweeping a due velocità, una ottimale per l'attivazione delle C-LTMRs secondo gli studi umani e i risultati dei tre studi sopra citati, ed una non ottimale. I dati preliminari ottenuti, dimostrano che 1) (Studio 1) lo sweeping tra scimmie Rhesus viene eseguito con una velocità media di 9.31 cm/sec, all'interno dell'intervallo di attivazione delle fibre CT nell'uomo; 2) (Studio 2) lo sweeping eseguito dallo sperimentatore sulla schiena di una scimmia Rhesus di sesso maschile in una situazione sperimentale determina una diminuzione della frequenza cardiaca e l'aumento della variabilità della frequenza cardiaca se eseguito alla velocità di 5 e 10 cm/sec. Al contrario, lo sweeping eseguito ad una velocità minore di 1 cm/sec o maggiore di 10 cm/sec, determina l'aumento della frequenza cardiaca e la diminuzione della variabilità di questa, quindi il decremento dell'attivazione del sistema nervoso parasimpatico; 3) (Studio 3) lo sweeping eseguito dallo sperimentatore sulla schiena di una scimmia Rhesus di sesso maschile in una situazione sperimentale determina l'aumento della temperatura corporea a livello del muso della scimmia se eseguito alla velocità di 5-10 cm/sec. Al contrario, lo sweeping eseguito ad una velocità minore di 5 cm/sec o maggiore di 10 cm/sec, determina la diminuzione della temperatura del muso; 4) (Studio 4) la corteccia somatosensoriale secondaria e la corteccia insulare posteriore presentano neuroni selettivamente modulati durante lo sweeping eseguito ad una velocità di 5-13 cm/sec ma non neuroni selettivi per la codifica della velocità dello sweeping minore di 5 cm/sec. Questi risultati supportano l'ipotesi di Dunbar relativa al coinvolgimento delle fibre CT durante lo sweeping. Infatti i dati mettono in luce che lo sweeping viene eseguito con una velocità (9.31 cm/sec), simile a quella di attivazione delle fibre CT nell'uomo (1-10 cm/sec), determina gli stessi effetti fisiologici positivi in termini di frequenza cardiaca (diminuzione) e variabilità della frequenza cardiaca (incremento) e la modulazione delle medesime aree a livello del sistema nervoso centrale (in particolare la corteccia insulare). Inoltre, abbiamo dimostrato per la prima volta che suddetta stimolazione tattile determina l'aumento della temperatura del muso della scimmia. Il presente studio rappresenta la prima prova indiretta dell'ipotesi relativa alla modulazione del sistema delle fibre C-LTMRs durante lo sweeping e quindi della codifica della stimolazione tattile piacevole affiliativa a livello del sistema nervoso centrale ed autonomo, nei primati non umani. I dati preliminari qui presentati evidenziano la somiglianza tra il sistema delle fibre CT dell'uomo e del sistema C-LTMRs nei primati non umano, riguardanti il Social Touch. Nonostante ciò abbiamo riscontrato alcune discrepanze tra i risultati da noi ottenuti e quelli invece ottenuti dagli studi umani. La velocità media dello sweeping è di 9.31 cm / sec, rasente il limite superiore dell’intervallo di velocità che attiva le fibre CT nell'uomo. Inoltre, gli effetti autonomici positivi, in termini di battito cardiaco, variabilità della frequenza cardiaca e temperatura a livello del muso, sono stati evidenziati durante lo sweeping eseguito con una velocità di 5 e 10 cm/sec, quindi al limite superiore dell’intervallo ottimale che attiva le fibre CT nell’uomo. Al contrario, lo sweeping eseguito con una velocità inferiore a 5 cm/sec e superiore a 10 cm/sec determina effetti fisiologici negativo. Infine, la corteccia insula sembra essere selettivamente modulata dallo stimolazione eseguita alla velocità di 5-13 cm/sec, ma non 1-5 cm/sec. Quindi, gli studi sul sistema delle fibre CT nell’uomo hanno dimostrato che la velocità ottimale è 1-10 cm/sec, mentre dai nostri risultati la velocità ottimale sembra essere 5-13 cm / sec. Quindi, nonostante l'omologia tra il sistema delle fibre CT nell'umano deputato alla codifica del tocco piacevole affiliativo ed il sistema delle fibre C-LTMRs nei primati non umani, ulteriori studi saranno necessari per definire con maggiore precisione la velocità ottimale di attivazione delle fibre C-LTMR e per dimostrare direttamente la loro attivazione durante lo sweeping, mediante la misurazione diretta della loro modulazione. Studi in questa direzione potranno confermare l'omologia tra lo sweeping in qualità di tocco affiliativo piacevole tra i primati non umani e la carezza tra gli uomini. Infine, il presente studio potrebbe essere un importante punto di partenza per esplorare il meccanismo evolutivo dietro la trasformazione dello sweeping tra primati non umani, azione utilitaria eseguita durante il grooming, a carezza, gesto puramente affiliativo tra gli uomini.