Structure learning of graphical models for task-oriented robot grasping

In the collective imaginaries a robot is a human like machine as any androids in science fiction. However the type of robots that you will encounter most frequently are machinery that do work that is too dangerous, boring or onerous. Most of the robots in the world are of this type. They can be found in auto, medical, manufacturing and space industries. Therefore a robot is a system that contains sensors, control systems, manipulators, power supplies and software all working together to perform a task. The development and use of such a system is an active area of research and one of the main problems is the development of interaction skills with the surrounding environment, which include the ability to grasp objects. To perform this task the robot needs to sense the environment and acquire the object informations, physical attributes that may influence a grasp. Humans can solve this grasping problem easily due to their past experiences, that is why many researchers are approaching it from a machine learning perspective finding grasp of an object using information of already known objects. But humans can select the best grasp amongst a vast repertoire not only considering the physical attributes of the object to grasp but even to obtain a certain effect. This is why in our case the study in the area of robot manipulation is focused on grasping and integrating symbolic tasks with data gained through sensors. The learning model is based on Bayesian Network to encode the statistical dependencies between the data collected by the sensors and the symbolic task. This data representation has several advantages. It allows to take into account the uncertainty of the real world, allowing to deal with sensor noise, encodes notion of causality and provides an unified network for learning. Since the network is actually implemented and based on the human expert knowledge, it is very interesting to implement an automated method to learn the structure as in the future more tasks and object features can be introduced and a complex network design based only on human expert knowledge can become unreliable. Since structure learning algorithms presents some weaknesses, the goal of this thesis is to analyze real data used in the network modeled by the human expert, implement a feasible structure learning approach and compare the results with the network designed by the expert in order to possibly enhance it.

Programming Robots with an Agent-Oriented BDI-based Control Architecture: Explorations using the JaCa and Webots Platforms

La crescente disponibilità di dispositivi meccanici e -soprattutto - elettronici le cui performance aumentano mentre il loro costo diminuisce, ha permesso al campo della robotica di compiere notevoli progressi. Tali progressi non sono stati fatti unicamente per ciò che riguarda la robotica per uso industriale, nelle catene di montaggio per esempio, ma anche per quella branca della robotica che comprende i robot autonomi domestici. Questi sistemi autonomi stanno diventando, per i suddetti motivi, sempre più pervasivi, ovvero sono immersi nello stesso ambiente nel quale vivono gli essere umani, e interagiscono con questi in maniera proattiva. Essi stanno compiendo quindi lo stesso percorso che hanno attraversato i personal computer all'incirca 30 anni fa, passando dall'essere costosi ed ingombranti mainframe a disposizione unicamente di enti di ricerca ed università, ad essere presenti all'interno di ogni abitazione, per un utilizzo non solo professionale ma anche di assistenza alle attività quotidiane o anche di intrattenimento. Per questi motivi la robotica è un campo dell'Information Technology che interessa sempre più tutti i tipi di programmatori software. Questa tesi analizza per prima cosa gli aspetti salienti della programmazione di controllori per robot autonomi (ovvero senza essere guidati da un utente), quindi, come l'approccio basato su agenti sia appropriato per la programmazione di questi sistemi. In particolare si mostrerà come un approccio ad agenti, utilizzando il linguaggio di programmazione Jason e quindi l'architettura BDI, sia una scelta significativa, dal momento che il modello sottostante a questo tipo di linguaggio è basato sul ragionamento pratico degli esseri umani (Human Practical Reasoning) e quindi è adatto alla implementazione di sistemi che agiscono in maniera autonoma. Dato che le possibilità di utilizzare un vero e proprio sistema autonomo per poter testare i controllori sono ridotte, per motivi pratici, economici e temporali, mostreremo come è facile e performante arrivare in maniera rapida ad un primo prototipo del robot tramite l'utilizzo del simulatore commerciale Webots. Il contributo portato da questa tesi include la possibilità di poter programmare un robot in maniera modulare e rapida per mezzo di poche linee di codice, in modo tale che l'aumento delle funzionalità di questo risulti un collo di bottiglia, come si verifica nella programmazione di questi sistemi tramite i classici linguaggi di programmazione imperativi. L'organizzazione di questa tesi prevede un capitolo di background nel quale vengono riportare le basi della robotica, della sua programmazione e degli strumenti atti allo scopo, un capitolo che riporta le nozioni di programmazione ad agenti, tramite il linguaggio Jason -quindi l'architettura BDI - e perché tale approccio è adatto alla programmazione di sistemi di controllo per la robotica. Successivamente viene presentata quella che è la struttura completa del nostro ambiente di lavoro software che comprende l'ambiente ad agenti e il simulatore, quindi nel successivo capitolo vengono mostrate quelle che sono le esplorazioni effettuate utilizzando Jason e un approccio classico (per mezzo di linguaggi classici), attraverso diversi casi di studio di crescente complessità; dopodiché, verrà effettuata una valutazione tra i due approcci analizzando i problemi e i vantaggi che comportano questi. Infine, la tesi terminerà con un capitolo di conclusioni e di riflessioni sulle possibili estensioni e lavori futuri.

Passive based control on a kuka arm

L'interazione in maniera sicura e compliante è una caratteristica sempre più richiesta per i sistemi robotici. La modellazione di sistemi eseguita tramite l'uso di sistemi port-Hamiltoninani permette di comprendere cosa avviene a livello energetico durante l'interazione e aiuta nella progettazinoe di un controllore tale che il comportamento del sistema controllato sia passivo e sicuro durante essa. Ciò sfocia nel cosiddetto Controllore Intrinsicamente Passivo (IPC). Dal momento che questo un controllo impone la rigidezza desiderata al sistema controllato, è possibile, tra le altre cose, replicare il comportamento del dispositivo RCC (Centro Remoto di Complianza) e di migliorarlo in modo tale che durante l'azione di peg-in-hole il buco sia meno sollecitato dal robot.

Control and navigation of a rover for agricultural purposes

L’obiettivo di questa tesi è di descrivere e implementare via software un modello di rover autonomo per uso in ambito agricolo. La scelta di questo argomento deriva dal fatto che al laboratorio CASY dell’Università di Bologna è stato commissionato un robot che possa aiutare piccoli imprenditori agricoli a essere competitivi con i più grandi. Le funzionalità che il robot avrà, una volta ultimato, andranno dal tagliare l’erba allo spruzzare fertilizzante sugli alberi da frutto. Questa tesi si interessa del progetto del sistema di navigazione. Inizialmente viene introdotto il modello cinematico e in particolare la configurazione differential drive in cui il rover rientra. Successivamente viene elaborato un sistema di controllo basato sulla linearizzazione statica del feedback. Una volta completati il modello e il sistema di controllo si procede con la generazione di traiettoria: vengono analizzati e confrontati alcuni algoritmi per l’inseguimento di una traiettoria definita tramite waypoint. Infine è presentato un algoritmo per la navigazione all’interno di un campo di filari di alberi da frutto. Le uniche informazioni esterne disponibili in questo contesto sono le rilevazioni di sensori di distanza frontali e laterali, in quanto un GPS sarebbe troppo impreciso per gli scopi. Questa tesi costituisce la base per ulteriori sviluppi del progetto. In particolare la realizzazione di un programma di supervisione che stabilisca la modalità di moto da attuare e programmi specifici per le varie funzionalità agricole del rover.

A ROS-based Workspace Control and Trajectory Planner for a seven degrees of freedom Robotic arm

In this Bachelor Thesis I want to provide readers with tools and scripts for the control of a 7DOF manipulator, backed up by some theory of Robotics and Computer Science, in order to better contextualize the work done. In practice, we will see most common software, and developing environments, used to cope with our task: these include ROS, along with visual simulation by VREP and RVIZ, and an almost "stand-alone" ROS extension called MoveIt!, a very complete programming interface for trajectory planning and obstacle avoidance. As we will better appreciate and understand in the introduction chapter, the capability of detecting collision objects through a camera sensor, and re-plan to the desired end-effector pose, are not enough. In fact, this work is implemented in a more complex system, where recognition of particular objects is needed. Through a package of ROS and customized scripts, a detailed procedure will be provided on how to distinguish a particular object, retrieve its reference frame with respect to a known one, and then allow navigation to that target. Together with technical details, the aim is also to report working scripts and a specific appendix (A) you can refer to, if desiring to put things together.

Shape-based compliance control for snake robots

I serpenti robot sono una classe di meccanismi iper-ridondanti che appartiene alla robotica modulare. Grazie alla loro forma snella ed allungata e all'alto grado di ridondanza possono muoversi in ambienti complessi con elevata agilità. L'abilità di spostarsi, manipolare e adattarsi efficientemente ad una grande varietà di terreni li rende ideali per diverse applicazioni, come ad esempio attività di ricerca e soccorso, ispezione o ricognizione. I robot serpenti si muovono nello spazio modificando la propria forma, senza necessità di ulteriori dispositivi quali ruote od arti. Tali deformazioni, che consistono in movimenti ondulatori ciclici che generano uno spostamento dell'intero meccanismo, vengono definiti andature. La maggior parte di esse sono ispirate al mondo naturale, come lo strisciamento, il movimento laterale o il movimento a concertina, mentre altre sono create per applicazioni specifiche, come il rotolamento o l'arrampicamento. Un serpente robot con molti gradi di libertà deve essere capace di coordinare i propri giunti e reagire ad ostacoli in tempo reale per riuscire a muoversi efficacemente in ambienti complessi o non strutturati. Inoltre, aumentare la semplicità e ridurre il numero di controllori necessari alla locomozione alleggerise una struttura di controllo che potrebbe richiedere complessità per ulteriori attività specifiche. L'obiettivo di questa tesi è ottenere un comportamento autonomo cedevole che si adatti alla conformazione dell'ambiente in cui il robot si sta spostando, accrescendo le capacità di locomozione del serpente robot. Sfruttando la cedevolezza intrinseca del serpente robot utilizzato in questo lavoro, il SEA Snake, e utilizzando un controllo che combina cedevolezza attiva ad una struttura di coordinazione che ammette una decentralizzazione variabile del robot, si dimostra come tre andature possano essere modificate per ottenere una locomozione efficiente in ambienti complessi non noti a priori o non modellabili.

Studio dell'influenza dell'Adaptive Cruise Control sul carico di lavoro e sulla condotta di guida degli utenti

Il presente elaborato intende valutare l’influenza che i sistemi di assistenza alla guida (ADAS) hanno sul comportamento dei conducenti, con particolare attenzione alla distrazione ed al workload (carico di lavoro fisico e mentale) che essi provocano. Lo studio si concentrerà in particolare sull’analisi del comportamento di guida dei conducenti a bordo di un veicolo dotato di Adaptive Cruise Control.

Robotics and neurodevelopmental disorder: design and implementation of a system of engagement metrics in human-robot interactions.

In the recent decades, robotics has become firmly embedded in areas such as education, teaching, medicine, psychology and many others. We focus here on social robotics; social robots are designed to interact with people in a natural and interpersonal way, often to achieve positive results in different applications. To interact and cooperate with humans in their daily-life activities, robots should exhibit human-like intelligence. The rapid expansion of social robotics and the existence of various kinds of robots on the market have allowed research groups to carry out multiple experiments. The experiments carried out have led to the collections of various kinds of data, which can be used or processed for psychological studies, and studies in other fields. However, there are no tools available in which data can be stored, processed and shared with other research groups. This thesis proposes the design and implementation of visual tool for organizing dataflows in Human Robot Interaction (HRI).

Integration of ROS for the control of industrial robotic systems in a proprietary environment

The paper deals with the integration of ROS, in the proprietary environment of the Marchesini Group company, for the control of industrial robotic systems. The basic tools of this open-source software are deeply studied to model a full proprietary Pick and Place manipulator inside it, and to develop custom ROS nodes to calculate trajectories; speaking of which, the URDF format is the standard to represent robots in ROS and the motion planning framework MoveIt offers user-friendly high-level methods. The communication between ROS and the Marchesini control architecture is established using the OPC UA standard; the tasks computed are transmitted offline to the PLC, supervisor controller of the physical robot, because the performances of the protocol don’t allow any kind of active control by ROS. Once the data are completely stored at the Marchesini side, the industrial PC makes the real robot execute a trajectory computed by MoveIt, so that it replicates the behaviour of the simulated manipulator in Rviz. Multiple experiments are performed to evaluate in detail the potential of ROS in the planning of movements for the company proprietary robots. The project ends with a small study regarding the use of ROS as a simulation platform. First, it is necessary to understand how a robotic application of the company can be reproduced in the Gazebo real world simulator. Then, a ROS node extracts information and examines the simulated robot behaviour, through the subscription to specific topics.

Feedback control of underactuated cable-driven parallel robots

In this work an Underactuated Cable-Driven Parallel Robot (UACDPR) that operates in the three dimensional Euclidean space is considered. The End-Effector has 6 degrees of freedom and is actuated by 4 cables, therefore from a mechanical point of view the robot is defined underconstrained. However, considering only three controlled pose variables, the degree of redundancy for the control theory can be considered one. The aim of this thesis is to design a feedback controller for a point-to-point motion that satisfies the transient requirements, and is capable of reducing oscillations that derive from the reduced number of constraints. A force control is chosen for the positioning of the End-Effector, and error with respect to the reference is computed through data measure of several sensors (load cells, encoders and inclinometers) such as cable lengths, tension and orientation of the platform. In order to express the relation between pose and cable tension, the inverse model is derived from the kinematic and dynamic model of the parallel robot. The intrinsic non-linear nature of UACDPRs systems introduces an additional level of complexity in the development of the controller, as a result the control law is composed by a partial feedback linearization, and damping injection to reduce orientation instability. The fourth cable allows to satisfy a further tension distribution constraint, ensuring positive tension during all the instants of motion. Then simulations with different initial conditions are presented in order to optimize control parameters, and lastly an experimental validation of the model is carried out, the results are analysed and limits of the presented approach are defined.

Analysis of human posterior EEG alpha frequency as a function of implicit learning of probabilistic lateralized stimuli in a visual detection task

Alpha oscillatory activity has long been associated with perceptual and cognitive processes related to attention control. The aim of this study is to explore the task-dependent role of alpha frequency in a lateralized visuo-spatial detection task. Specifically, the thesis focuses on consolidating the scientific literature's knowledge about the role of alpha frequency in perceptual accuracy, and deepening the understanding of what determines trial-by-trial fluctuations of alpha parameters and how these fluctuations influence overall task performance. The hypotheses, confirmed empirically, were that different implicit strategies are put in place based on the task context, in order to maximize performance with optimal resource distribution (namely alpha frequency, associated positively with performance): “Lateralization” of the attentive resources towards one hemifield should be associated with higher alpha frequency difference between contralateral and ipsilateral hemisphere; “Distribution” of the attentive resources across hemifields should be associated with lower alpha frequency difference between hemispheres; These strategies, used by the participants according to their brain capabilities, have proven themselves adaptive or maladaptive depending on the different tasks to which they have been set: "Distribution" of the attentive resources seemed to be the best strategy when the distribution probability between hemifields was balanced: i.e. the neutral condition task. "Lateralization" of the attentive resources seemed to be more effective when the distribution probability between hemifields was biased towards one hemifield: i.e., the biased condition task.

Augmented Reality for Airport Control Tower: Analysis and Implementation of Safety Nets

With the development of new technologies, Air Traffic Control, in the nearby of the airport, switched from a purely visual control to the use of radar, sensors and so on. As the industry is switching to the so-called Industry 4.0, also in this frame, it would be possible to implement some of the new tools that can facilitate the work of Air Traffic Controllers. The European Union proposed an innovative project to help the digitalization of the European Sky by means of the Single European Sky ATM Research (SESAR) program, which is the foundation on which the Single European Sky (SES) is based, in order to improve the already existing technologies to transform Air Traffic Management in Europe. Within this frame, the Resilient Synthetic Vision for Advanced Control Tower Air Navigation Service Provision (RETINA) project, which saw the light in 2016, studied the possibility to apply new tools within the conventional control tower to reduce the air traffic controller workload, thanks to the improvements in the augmented reality technologies. After the validation of RETINA, the Digital Technologies for Tower (DTT) project was established and the solution proposed by the University of Bologna aimed, among other things, to introduce Safety Nets in a Head-Up visualization. The aim of this thesis is to analyze the Safety Nets in use within the control tower and, by developing a working concept, implement them in a Head-Up view to be tested by Air Traffic Control Operators (ATCOs). The results, coming from the technical test, show that this concept is working and it could be leading to a future implementation in a real environment, as it improves the air traffic controller working conditions also when low visibility conditions apply.

Applicazione ROS 2 di un robot antropomorfo in esecuzione su container VxWorks in architettura IMA

L’elaborato di tesi discute del progetto di integrazione tra ROS 2, framework open-source per lo sviluppo di applicazioni robotiche, e VxWorks, sistema operativo in tempo reale (RTOS), attraverso l’utilizzo di container OCI compliant su VxWorks. L’integrazione è stata svolta all’interno dello stack software di IMA (Industria Macchine Automatiche). Il progetto ha dunque integrato ROS 2 Humble e VxWorks 7 permettendo l’utilizzo di costrutti software di ROS 2 su dei container in esecuzione a livello User su VxWorks. Successivamente è stata creata una applicazione di pick and place con un robot antropomorfo (Universal Robots Ur5e) avvalendosi di ROS 2 Control, framework per l’introduzione e gestione di hardware e controllori, e MoveIt 2, framework per incorporare algoritmi di motion-planning, cinematica, controllo e navigazione. Una volta progettata l’applicazione, il sistema è stato integrato all’interno dell’architettura di controllo di IMA. L’architettura a container VxWorks di IMA è stata estesa per il caso ROS 2, la comunicazione tra campo e applicazione ROS 2 è passata tramite il master EtherCAT e il modulo WebServer presenti nell’architettura IMA. Una volta eseguito il container ROS 2 posizione e velocità dei servo motori sono stati inviati tramite al WebServer di IMA sfruttando la comunicazione VLAN interna. Una volta ricevuto il messaggio, il WebServer si è occupato di trasferirlo al master EtherCAT che in aggiunta si è occupato anche di ottenere le informazioni sullo stato attuale del robot. L’intero progetto è stato sviluppato in prima battuta in ambiente di simulazione per validarne l’architettura. Successivamente si è passati all’installazione in ambiente embedded grazie all’ausilio di IPC sui quali è stato testato l’effettivo funzionamento dell’integrazione all’interno dell’architettura IMA.