Virtual sensing technology applied to a swarm of autonomous robots.

This thesis proposes a novel technology in the field of swarm robotics that allows a swarm of robots to sense a virtual environment through virtual sensors. Virtual sensing is a desirable and helpful technology in swarm robotics research activity, because it allows the researchers to efficiently and quickly perform experiments otherwise more expensive and time consuming, or even impossible. In particular, we envision two useful applications for virtual sensing technology. On the one hand, it is possible to prototype and foresee the effects of a new sensor on a robot swarm, before producing it. On the other hand, thanks to this technology it is possible to study the behaviour of robots operating in environments that are not easily reproducible inside a lab for safety reasons or just because physically infeasible. The use of virtual sensing technology for sensor prototyping aims to foresee the behaviour of the swarm enhanced with new or more powerful sensors, without producing the hardware. Sensor prototyping can be used to tune a new sensor or perform performance comparison tests between alternative types of sensors. This kind of prototyping experiments can be performed through the presented tool, that allows to rapidly develop and test software virtual sensors of different typologies and quality, emulating the behaviour of several hardware real sensors. By investigating on which sensors is better to invest, a researcher can minimize the sensors’ production cost while achieving a given swarm performance. Through augmented reality, it is possible to test the performance of the swarm in a desired virtual environment that cannot be set into the lab for physical, logistic or economical reasons. The virtual environment is sensed by the robots through properly designed virtual sensors. Virtual sensing technology allows a researcher to quickly carry out real robots experiment in challenging scenarios without all the required hardware and environment.

Continual learning on nano drones

Miniaturized flying robotic platforms, called nano-drones, have the potential to revolutionize the autonomous robots industry sector thanks to their very small form factor. The nano-drones’ limited payload only allows for a sub-100mW microcontroller unit for the on-board computations. Therefore, traditional computer vision and control algorithms are too computationally expensive to be executed on board these palm-sized robots, and we are forced to rely on artificial intelligence to trade off accuracy in favor of lightweight pipelines for autonomous tasks. However, relying on deep learning exposes us to the problem of generalization since the deployment scenario of a convolutional neural network (CNN) is often composed by different visual cues and different features from those learned during training, leading to poor inference performances. Our objective is to develop and deploy and adaptation algorithm, based on the concept of latent replays, that would allow us to fine-tune a CNN to work in new and diverse deployment scenarios. To do so we start from an existing model for visual human pose estimation, called PULPFrontnet, which is used to identify the pose of a human subject in space through its 4 output variables, and we present the design of our novel adaptation algorithm, which features automatic data gathering and labeling and on-device deployment. We therefore showcase the ability of our algorithm to adapt PULP-Frontnet to new deployment scenarios, improving the R2 scores of the four network outputs, with respect to an unknown environment, from approximately [−0.2, 0.4, 0.0,−0.7] to [0.25, 0.45, 0.2, 0.1]. Finally we demonstrate how it is possible to fine-tune our neural network in real time (i.e., under 76 seconds), using the target parallel ultra-low power GAP 8 System-on-Chip on board the nano-drone, and we show how all adaptation operations can take place using less than 2mWh of energy, a small fraction of the available battery power.

Factors affecting the mission time of an autonomous mobile robot: a theoretical and experimental investigation

I vantaggi dell’Industria 4.0 hanno stravolto il manufacturing. Ma cosa vuol dire "Industria 4.0"? Essa è la nuova frontiera del manufacturing, basata su princìpi che seguono i passi avanti dei sistemi IT e della tecnologia. Dunque, i suoi pilastri sono: integrazione, verticale e orizzontale, digitalizzazione e automazione. L’Industria 4.0 coinvolge molte aree della supply chain, dai flussi informativi alla logistica. In essa e nell’intralogistica, la priorità è sviluppare dei sistemi di material handling flessibili, automatizzati e con alta prontezza di risposta. Il modello ideale è autonomo, in cui i veicoli fanno parte di una flotta le cui decisioni sono rese decentralizzate grazie all'alta connettività e alla loro abilità di collezionare dati e scambiarli rapidamente nel cloud aziendale.Tutto ciò non sarebbe raggiungibile se ci si affidasse a un comune sistema di trasporto AGV, troppo rigido e centralizzato. La tesi si focalizza su un tipo di material handlers più flessibile e intelligente: gli Autonomous Mobile Robots. Grazie alla loro intelligenza artificiale e alla digitalizzazione degli scambi di informazioni, interagiscono con l’ambiente per evitare ostacoli e calcolare il percorso ottimale. Gli scenari dell’ambiente lavorativo determinano perdite di tempo nel tragitto dei robot e sono queste che dovremo studiare. Nella tesi, i vantaggi apportati dagli AMR, come la loro decentralizzazione delle decisioni, saranno introdotti mediante una literature review e poi l’attenzione verterà sull’analisi di ogni scenario di lavoro. Fondamentali sono state le esperienze nel Logistics 4.0 Lab di NTNU, per ricreare fisicamente alcuni scenari. Inoltre, il software AnyLogic sarà usato per riprodurre e simulare tutti gli scenari rilevanti. I risultati delle simulazioni verranno infine usati per creare un modello che associ ad ogni scenario rilevante una perdita di tempo, attraverso una funzione. Per questo saranno usati software di data analysis come Minitab e MatLab.

Programming Robots with an Agent-Oriented BDI-based Control Architecture: Explorations using the JaCa and Webots Platforms

La crescente disponibilità di dispositivi meccanici e -soprattutto - elettronici le cui performance aumentano mentre il loro costo diminuisce, ha permesso al campo della robotica di compiere notevoli progressi. Tali progressi non sono stati fatti unicamente per ciò che riguarda la robotica per uso industriale, nelle catene di montaggio per esempio, ma anche per quella branca della robotica che comprende i robot autonomi domestici. Questi sistemi autonomi stanno diventando, per i suddetti motivi, sempre più pervasivi, ovvero sono immersi nello stesso ambiente nel quale vivono gli essere umani, e interagiscono con questi in maniera proattiva. Essi stanno compiendo quindi lo stesso percorso che hanno attraversato i personal computer all'incirca 30 anni fa, passando dall'essere costosi ed ingombranti mainframe a disposizione unicamente di enti di ricerca ed università, ad essere presenti all'interno di ogni abitazione, per un utilizzo non solo professionale ma anche di assistenza alle attività quotidiane o anche di intrattenimento. Per questi motivi la robotica è un campo dell'Information Technology che interessa sempre più tutti i tipi di programmatori software. Questa tesi analizza per prima cosa gli aspetti salienti della programmazione di controllori per robot autonomi (ovvero senza essere guidati da un utente), quindi, come l'approccio basato su agenti sia appropriato per la programmazione di questi sistemi. In particolare si mostrerà come un approccio ad agenti, utilizzando il linguaggio di programmazione Jason e quindi l'architettura BDI, sia una scelta significativa, dal momento che il modello sottostante a questo tipo di linguaggio è basato sul ragionamento pratico degli esseri umani (Human Practical Reasoning) e quindi è adatto alla implementazione di sistemi che agiscono in maniera autonoma. Dato che le possibilità di utilizzare un vero e proprio sistema autonomo per poter testare i controllori sono ridotte, per motivi pratici, economici e temporali, mostreremo come è facile e performante arrivare in maniera rapida ad un primo prototipo del robot tramite l'utilizzo del simulatore commerciale Webots. Il contributo portato da questa tesi include la possibilità di poter programmare un robot in maniera modulare e rapida per mezzo di poche linee di codice, in modo tale che l'aumento delle funzionalità di questo risulti un collo di bottiglia, come si verifica nella programmazione di questi sistemi tramite i classici linguaggi di programmazione imperativi. L'organizzazione di questa tesi prevede un capitolo di background nel quale vengono riportare le basi della robotica, della sua programmazione e degli strumenti atti allo scopo, un capitolo che riporta le nozioni di programmazione ad agenti, tramite il linguaggio Jason -quindi l'architettura BDI - e perché tale approccio è adatto alla programmazione di sistemi di controllo per la robotica. Successivamente viene presentata quella che è la struttura completa del nostro ambiente di lavoro software che comprende l'ambiente ad agenti e il simulatore, quindi nel successivo capitolo vengono mostrate quelle che sono le esplorazioni effettuate utilizzando Jason e un approccio classico (per mezzo di linguaggi classici), attraverso diversi casi di studio di crescente complessità; dopodiché, verrà effettuata una valutazione tra i due approcci analizzando i problemi e i vantaggi che comportano questi. Infine, la tesi terminerà con un capitolo di conclusioni e di riflessioni sulle possibili estensioni e lavori futuri.

Autonomous Vehicle and Internet on Vehicles

In questa tesi mi occupo di spiegare come si comportano i veicoli autonomi per prendere tutte le decisioni e come i dati dei sensori di ogni auto vengono condivisi con la flotta di veicoli

Shape-based compliance control for snake robots

I serpenti robot sono una classe di meccanismi iper-ridondanti che appartiene alla robotica modulare. Grazie alla loro forma snella ed allungata e all'alto grado di ridondanza possono muoversi in ambienti complessi con elevata agilità. L'abilità di spostarsi, manipolare e adattarsi efficientemente ad una grande varietà di terreni li rende ideali per diverse applicazioni, come ad esempio attività di ricerca e soccorso, ispezione o ricognizione. I robot serpenti si muovono nello spazio modificando la propria forma, senza necessità di ulteriori dispositivi quali ruote od arti. Tali deformazioni, che consistono in movimenti ondulatori ciclici che generano uno spostamento dell'intero meccanismo, vengono definiti andature. La maggior parte di esse sono ispirate al mondo naturale, come lo strisciamento, il movimento laterale o il movimento a concertina, mentre altre sono create per applicazioni specifiche, come il rotolamento o l'arrampicamento. Un serpente robot con molti gradi di libertà deve essere capace di coordinare i propri giunti e reagire ad ostacoli in tempo reale per riuscire a muoversi efficacemente in ambienti complessi o non strutturati. Inoltre, aumentare la semplicità e ridurre il numero di controllori necessari alla locomozione alleggerise una struttura di controllo che potrebbe richiedere complessità per ulteriori attività specifiche. L'obiettivo di questa tesi è ottenere un comportamento autonomo cedevole che si adatti alla conformazione dell'ambiente in cui il robot si sta spostando, accrescendo le capacità di locomozione del serpente robot. Sfruttando la cedevolezza intrinseca del serpente robot utilizzato in questo lavoro, il SEA Snake, e utilizzando un controllo che combina cedevolezza attiva ad una struttura di coordinazione che ammette una decentralizzazione variabile del robot, si dimostra come tre andature possano essere modificate per ottenere una locomozione efficiente in ambienti complessi non noti a priori o non modellabili.

Geometrico-static modelling of continuum parallel robots

In this thesis, we explore three methods for the geometrico-static modelling of continuum parallel robots. Inspired by biological trunks, tentacles and snakes, continuum robot designs can reach confined spaces, manipulate objects in complex environments and conform to curvilinear paths in space. In addition, parallel continuum manipulators have the potential to inherit some of the compactness and compliance of continuum robots while retaining some of the precision, stability and strength of rigid-links parallel robots. Subsequently, the foundation of our work is performed on slender beam by applying the Cosserat rod theory, appropriate to model continuum robots. After that, three different approaches are developed on a case study of a planar parallel continuum robot constituted of two connected flexible links. We solve the forward and inverse geometrico-static problem namely by using (a) shooting methods to obtain a numerical solution, (b) an elliptic method to find a quasi-analytical solution, and (c) the Corde model to perform further model analysis. The performances of each of the studied methods are evaluated and their limits are highlighted. This thesis is divided as follows. Chapter one gives the introduction on the field of the continuum robotics and introduce the parallel continuum robots that is studied in this work. Chapter two describe the geometrico-static problem and gives the mathematical description of this problem. Chapter three explains the numerical approach with the shooting method and chapter four introduce the quasi-analytical solution. Then, Chapter five introduce the analytic method inspired by the Corde model and chapter six gives the conclusions of this work.

Direct Kinematics of Underactuated Cable-Driven Parallel Robots: Sensitivity to Redundant Measurements

Underactuated cable-driven parallel robots (UACDPRs) shift a 6-degree-of-freedom end-effector (EE) with fewer than 6 cables. This thesis proposes a new automatic calibration technique that is applicable for under-actuated cable-driven parallel robots. The purpose of this work is to develop a method that uses free motion as an exciting trajectory for the acquisition of calibration data. The key point of this approach is to find a relationship between the unknown parameters to be calibrated (the lengths of the cables) and the parameters that could be measured by sensors (the swivel pulley angles measured by the encoders and roll-and-pitch angles measured by inclinometers on the platform). The equations involved are the geometrical-closure equations and the finite-difference velocity equations, solved using the least-squares algorithm. Simulations are performed on a parallel robot driven by 4 cables for validation. The final purpose of the calibration method is, still, the determination of the platform initial pose. As a consequence of underactuation, the EE is underconstrained and, for assigned cable lengths, the EE pose cannot be obtained by means of forward kinematics only. Hence, a direct-kinematics algorithm for a 4-cable UACDPR using redundant sensor measurements is proposed. The proposed method measures two orientation parameters of the EE besides cable lengths, in order to determine the other four pose variables, namely 3 position coordinates and one additional orientation parameter. Then, we study the performance of the direct-kinematics algorithm through the computation of the sensitivity of the direct-kinematics solution to measurement errors. Furthermore, position and orientation error upper limits are computed for bounded cable lengths errors resulting from the calibration procedure, and roll and pitch angles errors which are due to inclinometer inaccuracies.

Motion Control of an Advanced Electric Implement for Agricultural Autonomous Vehicles

Nowadays, the development of intelligent and autonomous vehicles used to perform agricultural activities is essential to improve quantity and quality of agricultural productions. Moreover, with automation techniques it is possible to reduce the usage of agrochemicals and minimize the pollution. The University of Bologna is developing an innovative system for orchard management called ORTO (Orchard Rapid Transportation System). This system involves an autonomous electric vehicle capable to perform agricultural activities inside an orchard structure. The vehicle is equipped with an implement capable to perform different tasks. The purpose of this thesis project is to control the vehicle and the implement to perform an inter-row grass mowing. This kind of task requires a synchronized motion between the traction motors and the implement motors. A motion control system has been developed to generate trajectories and manage their synchronization. Two main trajectories type have been used: a five order polynomial trajectory and a trapezoidal trajectory. These two kinds of trajectories have been chosen in order to perform a uniform grass mowing, paying a particular attention to the constrains of the system. To synchronize the motions, the electronic cams approach has been adopted. A master profile has been generated and all the trajectories have been linked to the master motion. Moreover, a safety system has been developed. The aim of this system is firstly to improve the safety during the motion, furthermore it allows to manage obstacle detection and avoidance. Using some particular techniques obstacles can be detected and recovery action can be performed to overcome the problem. Once the measured force reaches the predefined force threshold, then the vehicle stops immediately its motion. The whole project has been developed by employing Matlab and Simulink. Eventually, the software has been translated into C code and executed on the TI Lauchpad XL board.

Autonomous Pricing using Policy-Gradient Reinforcement Learning

Nella letteratura economica e di teoria dei giochi vi è un dibattito aperto sulla possibilità di emergenza di comportamenti anticompetitivi da parte di algoritmi di determinazione automatica dei prezzi di mercato. L'obiettivo di questa tesi è sviluppare un modello di reinforcement learning di tipo actor-critic con entropy regularization per impostare i prezzi in un gioco dinamico di competizione oligopolistica con prezzi continui. Il modello che propongo esibisce in modo coerente comportamenti cooperativi supportati da meccanismi di punizione che scoraggiano la deviazione dall'equilibrio raggiunto a convergenza. Il comportamento di questo modello durante l'apprendimento e a convergenza avvenuta aiuta inoltre a interpretare le azioni compiute da Q-learning tabellare e altri algoritmi di prezzo in condizioni simili. I risultati sono robusti alla variazione del numero di agenti in competizione e al tipo di deviazione dall'equilibrio ottenuto a convergenza, punendo anche deviazioni a prezzi più alti.

An optimal control tool for trajectory generation of autonomous drones

In the recent years, autonomous aerial vehicles gained large popularity in a variety of applications in the field of automation. To accomplish various and challenging tasks the capability of generating trajectories has assumed a key role. As higher performances are sought, traditional, flatness-based trajectory generation schemes present their limitations. In these approaches the highly nonlinear dynamics of the quadrotor is, indeed, neglected. Therefore, strategies based on optimal control principles turn out to be beneficial, since in the trajectory generation process they allow the control unit to best exploit the actual dynamics, and enable the drone to perform quite aggressive maneuvers. This dissertation is then concerned with the development of an optimal control technique to generate trajectories for autonomous drones. The algorithm adopted to this end is a second-order iterative method working directly in continuous-time, which, under proper initialization, guarantees quadratic convergence to a locally optimal trajectory. At each iteration a quadratic approximation of the cost functional is minimized and a decreasing direction is then obtained as a linear-affine control law, after solving a differential Riccati equation. The algorithm has been implemented and its effectiveness has been tested on the vectored-thrust dynamical model of a quadrotor in a realistic simulative setup.

Feedback control of underactuated cable-driven parallel robots

In this work an Underactuated Cable-Driven Parallel Robot (UACDPR) that operates in the three dimensional Euclidean space is considered. The End-Effector has 6 degrees of freedom and is actuated by 4 cables, therefore from a mechanical point of view the robot is defined underconstrained. However, considering only three controlled pose variables, the degree of redundancy for the control theory can be considered one. The aim of this thesis is to design a feedback controller for a point-to-point motion that satisfies the transient requirements, and is capable of reducing oscillations that derive from the reduced number of constraints. A force control is chosen for the positioning of the End-Effector, and error with respect to the reference is computed through data measure of several sensors (load cells, encoders and inclinometers) such as cable lengths, tension and orientation of the platform. In order to express the relation between pose and cable tension, the inverse model is derived from the kinematic and dynamic model of the parallel robot. The intrinsic non-linear nature of UACDPRs systems introduces an additional level of complexity in the development of the controller, as a result the control law is composed by a partial feedback linearization, and damping injection to reduce orientation instability. The fourth cable allows to satisfy a further tension distribution constraint, ensuring positive tension during all the instants of motion. Then simulations with different initial conditions are presented in order to optimize control parameters, and lastly an experimental validation of the model is carried out, the results are analysed and limits of the presented approach are defined.

Crowd-shipping and autonomous vehicles: an optimization model for the last mile delivery

Il seguente elaborato propone un modello innovativo per la gestione della logistica distributiva nell’ultimo miglio, congiungendo l’attività di crowd-shipping con la presenza di Autonomous Vehicles, per il trasporto di prodotti all’interno della città. Il crowd-shipping utilizza conducenti occasionali, i quali deviano il loro tragitto in cambio di una ricompensa per il completamento dell’attività. Dall’altro lato, gli Autonomous Vehicles sono veicoli elettrici a guida autonoma, in grado di trasportare un numero limitato di pacchi e dotati di un sistema di sicurezza avanzato per garantire la fiducia nel trasporto. In primo luogo, nel seguente elaborato verrà mostrato il modello di ottimizzazione che congiunge i due attori principali in un unico ambiente, dove sono presenti un numero determinato di prodotti da muovere. Successivamente, poiché il problema di ottimizzazione è molto complesso e il numero di istanze valutabili è molto basso, verranno presentate due soluzioni differenti. La prima riguarda la metaeuristica chiamata Ant System, che cerca di avvicinarsi alle soluzioni ottime del precedente modello, mentre la seconda riguarda l’utilizzo di operatori di Local Search, i quali permettono di valutare soluzioni per istanze molto più grandi rispetto alla metaeuristica. Infine, i due modelli euristici verranno utilizzati per analizzare uno scenario che cerca di riprodurre una situazione reale. Tale scenario tenta di allocare strategicamente le risorse presenti e permette di dimostrare che gli Autonomous Vehicles riescono a supportare gli Occasional Drivers anche quando il numero di prodotti trasportabili è elevato. Inoltre, le due entità proposte riescono a soddisfare la domanda, garantendo un servizio che nel futuro potrebbe sostituire il tradizionale sistema di logistica distributiva last mile.