Sviluppo di un sistema di Realta Aumentata applicato a un modello 3D della prostata, sviluppato a partire da immagini RM, al fine di facilitare la dissezione del tumore e la conservazione dei fasci neuro vascolari durante l'intervento chirurgico di prostatectomia radicale robot-assistita

La realtà aumentata (AR) è una nuova tecnologia adottata in chirurgia prostatica con l'obiettivo di migliorare la conservazione dei fasci neurovascolari (NVB) ed evitare i margini chirurgici positivi (PSM). Abbiamo arruolato prospetticamente pazienti con diagnosi di cancro alla prostata (PCa) sul base di biopsia di fusione mirata con mpMRI positiva. Prima dell'intervento, i pazienti arruolati sono stati indirizzati a sottoporsi a ricostruzione del modello virtuale 3D basato su mpMRI preoperatoria immagini. Infine, il chirurgo ha eseguito la RARP con l'ausilio del modello 3D proiettato in AR all'interno della console robotica (RARP guidata AR-3D). I pazienti sottoposti a AR RARP sono stati confrontati con quelli sottoposti a "RARP standard" nello stesso periodo. Nel complesso, i tassi di PSM erano comparabili tra i due gruppi; I PSM a livello della lesione indice erano significativamente più bassi nei pazienti riferiti al gruppo AR-3D (5%) rispetto a quelli nel gruppo di controllo (20%; p = 0,01). La nuova tecnica di guida AR-3D per l'analisi IFS può consentono di ridurre i PSM a livello della lesione dell'indice

PCM-based in-memory computing: architectures, circuits and applications

Analog In-memory Computing (AIMC) has been proposed in the context of Beyond Von Neumann architectures as a valid strategy to reduce internal data transfers energy consumption and latency, and to improve compute efficiency. The aim of AIMC is to perform computations within the memory unit, typically leveraging the physical features of memory devices. Among resistive Non-volatile Memories (NVMs), Phase-change Memory (PCM) has become a promising technology due to its intrinsic capability to store multilevel data. Hence, PCM technology is currently investigated to enhance the possibilities and the applications of AIMC. This thesis aims at exploring the potential of new PCM-based architectures as in-memory computational accelerators. In a first step, a preliminar experimental characterization of PCM devices has been carried out in an AIMC perspective. PCM cells non-idealities, such as time-drift, noise, and non-linearity have been studied to develop a dedicated multilevel programming algorithm. Measurement-based simulations have been then employed to evaluate the feasibility of PCM-based operations in the fields of Deep Neural Networks (DNNs) and Structural Health Monitoring (SHM). Moreover, a first testchip has been designed and tested to evaluate the hardware implementation of Multiply-and-Accumulate (MAC) operations employing PCM cells. This prototype experimentally demonstrates the possibility to reach a 95% MAC accuracy with a circuit-level compensation of cells time drift and non-linearity. Finally, empirical circuit behavior models have been included in simulations to assess the use of this technology in specific DNN applications, and to enhance the potentiality of this innovative computation approach.

Preventing worker’s musculoskeletal disorders with wearable inertial sensors: ergonomics and modelling of physical human-robot interactions

The most widespread work-related diseases are musculoskeletal disorders (MSD) caused by awkward postures and excessive effort to upper limb muscles during work operations. The use of wearable IMU sensors could monitor the workers constantly to prevent hazardous actions, thus diminishing work injuries. In this thesis, procedures are developed and tested for ergonomic analyses in a working environment, based on a commercial motion capture system (MoCap) made of 17 Inertial Measurement Units (IMUs). An IMU is usually made of a tri-axial gyroscope, a tri-axial accelerometer, and a tri-axial magnetometer that, through sensor fusion algorithms, estimates its attitude. Effective strategies for preventing MSD rely on various aspects: firstly, the accuracy of the IMU, depending on the chosen sensor and its calibration; secondly, the correct identification of the pose of each sensor on the worker’s body; thirdly, the chosen multibody model, which must consider both the accuracy and the computational burden, to provide results in real-time; finally, the model scaling law, which defines the possibility of a fast and accurate personalization of the multibody model geometry. Moreover, the MSD can be diminished using collaborative robots (cobots) as assisted devices for complex or heavy operations to relieve the worker's effort during repetitive tasks. All these aspects are considered to test and show the efficiency and usability of inertial MoCap systems for assessing ergonomics evaluation in real-time and implementing safety control strategies in collaborative robotics. Validation is performed with several experimental tests, both to test the proposed procedures and to compare the results of real-time multibody models developed in this thesis with the results from commercial software. As an additional result, the positive effects of using cobots as assisted devices for reducing human effort in repetitive industrial tasks are also shown, to demonstrate the potential of wearable electronics in on-field ergonomics analyses for industrial applications.

A ROS-based software architecture for a versatile collaborative dual-armed autonomous mobile robot for the manufacturing industry

The industrial context is changing rapidly due to advancements in technology fueled by the Internet and Information Technology. The fourth industrial revolution counts integration, flexibility, and optimization as its fundamental pillars, and, in this context, Human-Robot Collaboration has become a crucial factor for manufacturing sustainability in Europe. Collaborative robots are appealing to many companies due to their low installation and running costs and high degree of flexibility, making them ideal for reshoring production facilities with a short return on investment. The ROSSINI European project aims to implement a true Human-Robot Collaboration by designing, developing, and demonstrating a modular and scalable platform for integrating human-centred robotic technologies in industrial production environments. The project focuses on safety concerns related to introducing a cobot in a shared working area and aims to lay the groundwork for a new working paradigm at the industrial level. The need for a software architecture suitable to the robotic platform employed in one of three use cases selected to deploy and test the new technology was the main trigger of this Thesis. The chosen application consists of the automatic loading and unloading of raw-material reels to an automatic packaging machine through an Autonomous Mobile Robot composed of an Autonomous Guided Vehicle, two collaborative manipulators, and an eye-on-hand vision system for performing tasks in a partially unstructured environment. The results obtained during the ROSSINI use case development were later used in the SENECA project, which addresses the need for robot-driven automatic cleaning of pharmaceutical bins in a very specific industrial context. The inherent versatility of mobile collaborative robots is evident from their deployment in the two projects with few hardware and software adjustments. The positive impact of Human-Robot Collaboration on diverse production lines is a motivation for future investments in research on this increasingly popular field by the industry.

Hierarchical active inference for cognitive architectures

This thesis explores the methods based on the free energy principle and active inference for modelling cognition. Active inference is an emerging framework for designing intelligent agents where psychological processes are cast in terms of Bayesian inference. Here, I appeal to it to test the design of a set of cognitive architectures, via simulation. These architectures are defined in terms of generative models where an agent executes a task under the assumption that all cognitive processes aspire to the same objective: the minimization of variational free energy. Chapter 1 introduces the free energy principle and its assumptions about self-organizing systems. Chapter 2 describes how from the mechanics of self-organization can emerge a minimal form of cognition able to achieve autopoiesis. In chapter 3 I present the method of how I formalize generative models for action and perception. The architectures proposed allow providing a more biologically plausible account of more complex cognitive processing that entails deep temporal features. I then present three simulation studies that aim to show different aspects of cognition, their associated behavior and the underlying neural dynamics. In chapter 4, the first study proposes an architecture that represents the visuomotor system for the encoding of actions during action observation, understanding and imitation. In chapter 5, the generative model is extended and is lesioned to simulate brain damage and neuropsychological patterns observed in apraxic patients. In chapter 6, the third study proposes an architecture for cognitive control and the modulation of attention for action selection. At last, I argue how active inference can provide a formal account of information processing in the brain and how the adaptive capabilities of the simulated agents are a mere consequence of the architecture of the generative models. Cognitive processing, then, becomes an emergent property of the minimization of variational free energy.

QoS-aware architectures, technologies, and middleware for the cloud continuum

The recent trend of moving Cloud Computing capabilities to the Edge of the network is reshaping how applications and their middleware supports are designed, deployed, and operated. This new model envisions a continuum of virtual resources between the traditional cloud and the network edge, which is potentially more suitable to meet the heterogeneous Quality of Service (QoS) requirements of diverse application domains and next-generation applications. Several classes of advanced Internet of Things (IoT) applications, e.g., in the industrial manufacturing domain, are expected to serve a wide range of applications with heterogeneous QoS requirements and call for QoS management systems to guarantee/control performance indicators, even in the presence of real-world factors such as limited bandwidth and concurrent virtual resource utilization. The present dissertation proposes a comprehensive QoS-aware architecture that addresses the challenges of integrating cloud infrastructure with edge nodes in IoT applications. The architecture provides end-to-end QoS support by incorporating several components for managing physical and virtual resources. The proposed architecture features: i) a multilevel middleware for resolving the convergence between Operational Technology (OT) and Information Technology (IT), ii) an end-to-end QoS management approach compliant with the Time-Sensitive Networking (TSN) standard, iii) new approaches for virtualized network environments, such as running TSN-based applications under Ultra-low Latency (ULL) constraints in virtual and 5G environments, and iv) an accelerated and deterministic container overlay network architecture. Additionally, the QoS-aware architecture includes two novel middlewares: i) a middleware that transparently integrates multiple acceleration technologies in heterogeneous Edge contexts and ii) a QoS-aware middleware for Serverless platforms that leverages coordination of various QoS mechanisms and virtualized Function-as-a-Service (FaaS) invocation stack to manage end-to-end QoS metrics. Finally, all architecture components were tested and evaluated by leveraging realistic testbeds, demonstrating the efficacy of the proposed solutions.

Contributions to the performance analysis of continuum parallel robots

Continuum parallel robots (CPRs) are manipulators employing multiple flexible beams arranged in parallel and connected to a rigid end-effector. CPRs promise higher payload and accuracy than serial CRs while keeping great flexibility. As the risk of injury during accidental contacts between a human and a CPR should be reduced, CPRs may be used in large-scale collaborative tasks or assisted robotic surgery. There exist various CPR designs, but the prototype conception is rarely based on performance considerations, and the CPRs realization in mainly based on intuitions or rigid-link parallel manipulators architectures. This thesis focuses on the performance analysis of CPRs, and the tools needed for such evaluation, such as workspace computation algorithms. In particular, workspace computation strategies for CPRs are essential for the performance assessment, since the CPRs workspace may be used as a performance index or it can serve for optimal-design tools. Two new workspace computation algorithms are proposed in this manuscript, the former focusing on the workspace volume computation and the certification of its numerical results, while the latter aims at computing the workspace boundary only. Due to the elastic nature of CPRs, a key performance indicator for these robots is the stability of their equilibrium configurations. This thesis proposes the experimental validation of the equilibrium stability assessment on a real prototype, demonstrating limitations of some commonly used assumptions. Additionally, a performance index measuring the distance to instability is originally proposed in this manuscript. Differently from the majority of the existing approaches, the clear advantage of the proposed index is a sound physical meaning; accordingly, the index can be used for a more straightforward performance quantification, and to derive robot specifications.

Strategie produttive e di marketing nell'industria cinematografica e televisiva: i casi di Mr. Robot e No Time to Die

La tesi si occupa di delineare una panoramica sul sistema dell'industria dei media e in particolare delle tendenze contemporanee produttive e di marketing volte ad attirare il maggior numero di consumatori. Si prende in esame il prodotto cinematografico dal punto di vista economico e di marketing delineandone i diversi processi: dal marketing mix alle tecniche di segmentazione, targeting e posizionamento fino alle diverse componenti del prodotto stesso che influenzano le scelte dei fruitori. Quest'ultimi esprimono esigenze diverse ed è per questo che è importante che si conosca la domanda a cui rivolgersi e saper comunicare nel modo più adeguato possibile. Nella contemporaneità lo spettatore è sempre più attivo e coinvolto poiché con la sovrabbondanza di offerta si cerca di produrre contenuti più complessi, serializzati e high concept proprio con l'obiettivo di attrarre. Nell'era della convergenza, come definita da Henry Jenkins, si parla di prosumer, ovvero di soggetti che partecipano attivamente al consumo dei prodotti producendo a loro volta contenuti. A queste dinamiche, il marketing contemporaneo risponde a sua volta con forme esperienziali e a forme virali che possano attirare l'attenzione. Analizzo a tal proposito la campagna marketing della serie tv Mr. Robot in quanto si inserisce all'interno della complessità produttiva e della transmedialità e il caso cinematografico della campagna di No Time to Die, l'ultimo film del franchise di 007, in era pandemica.

Dynamic Human Robot Interaction Framework Using Deep Learning and Robot Operating System (ROS): a practical approach

Trying to explain to a robot what to do is a difficult undertaking, and only specific types of people have been able to do so far, such as programmers or operators who have learned how to use controllers to communicate with a robot. My internship's goal was to create and develop a framework that would make that easier. The system uses deep learning techniques to recognize a set of hand gestures, both static and dynamic. Then, based on the gesture, it sends a command to a robot. To be as generic as feasible, the communication is implemented using Robot Operating System (ROS). Furthermore, users can add new recognizable gestures and link them to new robot actions; a finite state automaton enforces the users' input verification and correct action sequence. Finally, the users can create and utilize a macro to describe a sequence of actions performable by a robot.

Factors affecting the mission time of an autonomous mobile robot: a theoretical and experimental investigation

I vantaggi dell’Industria 4.0 hanno stravolto il manufacturing. Ma cosa vuol dire "Industria 4.0"? Essa è la nuova frontiera del manufacturing, basata su princìpi che seguono i passi avanti dei sistemi IT e della tecnologia. Dunque, i suoi pilastri sono: integrazione, verticale e orizzontale, digitalizzazione e automazione. L’Industria 4.0 coinvolge molte aree della supply chain, dai flussi informativi alla logistica. In essa e nell’intralogistica, la priorità è sviluppare dei sistemi di material handling flessibili, automatizzati e con alta prontezza di risposta. Il modello ideale è autonomo, in cui i veicoli fanno parte di una flotta le cui decisioni sono rese decentralizzate grazie all'alta connettività e alla loro abilità di collezionare dati e scambiarli rapidamente nel cloud aziendale.Tutto ciò non sarebbe raggiungibile se ci si affidasse a un comune sistema di trasporto AGV, troppo rigido e centralizzato. La tesi si focalizza su un tipo di material handlers più flessibile e intelligente: gli Autonomous Mobile Robots. Grazie alla loro intelligenza artificiale e alla digitalizzazione degli scambi di informazioni, interagiscono con l’ambiente per evitare ostacoli e calcolare il percorso ottimale. Gli scenari dell’ambiente lavorativo determinano perdite di tempo nel tragitto dei robot e sono queste che dovremo studiare. Nella tesi, i vantaggi apportati dagli AMR, come la loro decentralizzazione delle decisioni, saranno introdotti mediante una literature review e poi l’attenzione verterà sull’analisi di ogni scenario di lavoro. Fondamentali sono state le esperienze nel Logistics 4.0 Lab di NTNU, per ricreare fisicamente alcuni scenari. Inoltre, il software AnyLogic sarà usato per riprodurre e simulare tutti gli scenari rilevanti. I risultati delle simulazioni verranno infine usati per creare un modello che associ ad ogni scenario rilevante una perdita di tempo, attraverso una funzione. Per questo saranno usati software di data analysis come Minitab e MatLab.

Robotics and neurodevelopmental disorder: design and implementation of a system of engagement metrics in human-robot interactions.

In the recent decades, robotics has become firmly embedded in areas such as education, teaching, medicine, psychology and many others. We focus here on social robotics; social robots are designed to interact with people in a natural and interpersonal way, often to achieve positive results in different applications. To interact and cooperate with humans in their daily-life activities, robots should exhibit human-like intelligence. The rapid expansion of social robotics and the existence of various kinds of robots on the market have allowed research groups to carry out multiple experiments. The experiments carried out have led to the collections of various kinds of data, which can be used or processed for psychological studies, and studies in other fields. However, there are no tools available in which data can be stored, processed and shared with other research groups. This thesis proposes the design and implementation of visual tool for organizing dataflows in Human Robot Interaction (HRI).

Convolutional Neural Network Architectures for Template Matching

The Neural Networks customized and tested in this thesis (WaldoNet, FlowNet and PatchNet) are a first exploration and approach to the Template Matching task. The possibilities of extension are therefore many and some are proposed below. During my thesis, I have analyzed the functioning of the classical algorithms and adapted with deep learning algorithms. The features extracted from both the template and the query images resemble the keypoints of the SIFT algorithm. Then, instead of similarity function or keypoints matching, WaldoNet and PatchNet use the convolutional layer to compare the features, while FlowNet uses the correlational layer. In addition, I have identified the major challenges of the Template Matching task (affine/non-affine transformations, intensity changes...) and solved them with a careful design of the dataset.

Design di leggi di controllo per attività di Pick and Place con Robot Delta

Il seguente elaborato, frutto dell’attività di tirocinio presso il laboratorio del DIN di Montecuccolino, si prefigge di presentare un’architettura software contenente tutte le leggi di controllo necessarie allo svolgimento di un’attività di Pick and Place con un Robot Delta. L’elaborato si articola in una prima fase di analisi del Robot, una seconda fase di calibrazione del sistema in struttura e una terza fase di sviluppo del software di controllo con successiva validazione sperimentale dei risultati ottenuti.

Operazioni di assemblaggio automatizzato tramite robot antropomorfo e visione artificiale

Obiettivo dello studio condotto è l’implementazione di cicli di operazioni per l’assemblaggio automatizzato di componenti che costituiscono un sistema di trasporto a catena presente in alcune macchine automatiche. L’automazione del processo, fino ad oggi svolto manualmente, prevede l’utilizzo di un robot e, per il controllo di quest’ultimo, di un sistema di visione artificiale. L’attività di tirocinio associata alla tesi di laurea, che ha incluso una parte sperimentale oltre alla scrittura degli algoritmi di controllo del robot, è stata svolta all’interno del laboratorio TAILOR (Technology and Automation for Industry LabORatory) presso Siropack Italia S.r.l dove è presente una cella dotata di robot antropomorfo (Mitsubishi Electric) e di sistema di visione artificiale con camere 2D (Omron). La presenza di quest’ultimo è risultata strategica in termini di possibilità di adattare il montaggio anche a diversi posizionamenti degli oggetti all’interno dello spazio di lavoro, fermo restando che gli stessi risultassero appoggiati su una superficie piana. In primo luogo, affinché fosse garantita la ripetibilità del processo, sono state testate le prestazioni del sistema di visione tramite opportuna calibrazione della camera e del sistema di illuminazione ad esso collegata, al fine di ottenere un’acquisizione delle immagini che fosse sufficientemente robusta e risoluta mediante lo sfruttamento del software di elaborazione Omron FH Vision System. Un’opportuna programmazione della traiettoria del robot in ambiente di simulazione RT Toolbox 3, software integrato nel sistema di controllo del robot Mitsubishi Electric, ha infine consentito le regolari operazioni di assemblaggio, garantendo un processo affidabile ed, allo stesso tempo, adattabile ad ambienti eventualmente non strutturati in cui esso si trova ad operare.

Applicazione ROS 2 di un robot antropomorfo in esecuzione su container VxWorks in architettura IMA

L’elaborato di tesi discute del progetto di integrazione tra ROS 2, framework open-source per lo sviluppo di applicazioni robotiche, e VxWorks, sistema operativo in tempo reale (RTOS), attraverso l’utilizzo di container OCI compliant su VxWorks. L’integrazione è stata svolta all’interno dello stack software di IMA (Industria Macchine Automatiche). Il progetto ha dunque integrato ROS 2 Humble e VxWorks 7 permettendo l’utilizzo di costrutti software di ROS 2 su dei container in esecuzione a livello User su VxWorks. Successivamente è stata creata una applicazione di pick and place con un robot antropomorfo (Universal Robots Ur5e) avvalendosi di ROS 2 Control, framework per l’introduzione e gestione di hardware e controllori, e MoveIt 2, framework per incorporare algoritmi di motion-planning, cinematica, controllo e navigazione. Una volta progettata l’applicazione, il sistema è stato integrato all’interno dell’architettura di controllo di IMA. L’architettura a container VxWorks di IMA è stata estesa per il caso ROS 2, la comunicazione tra campo e applicazione ROS 2 è passata tramite il master EtherCAT e il modulo WebServer presenti nell’architettura IMA. Una volta eseguito il container ROS 2 posizione e velocità dei servo motori sono stati inviati tramite al WebServer di IMA sfruttando la comunicazione VLAN interna. Una volta ricevuto il messaggio, il WebServer si è occupato di trasferirlo al master EtherCAT che in aggiunta si è occupato anche di ottenere le informazioni sullo stato attuale del robot. L’intero progetto è stato sviluppato in prima battuta in ambiente di simulazione per validarne l’architettura. Successivamente si è passati all’installazione in ambiente embedded grazie all’ausilio di IPC sui quali è stato testato l’effettivo funzionamento dell’integrazione all’interno dell’architettura IMA.