Aumentare la realta' aumentata: il caso del First-Person Shooter Game sul Conte Luigi Ferdinando Marsili

Questa trattazione verterà sull'analisi di un sistema di gioco tra due individui, tra loro interagenti mediante handeld device, in un contesto immersivo posto in un luogo chiuso di natura museale. L'intera struttura, sviluppata nell'ambito del Corso di Sistemi ed Applicazioni Multimediali nell'anno 2010-2011, vuole porre un'innovazione rispetto agli scenari esistenti: laddove un'interazione museale richieda spesso la staticità dell'utilizzatore del servizio, il mezzo del gioco richiede invece la manipolazione e il movimento all'interno del luogo, garantendo un coinvolgimento maggiormente accentuato rispetto alla normale fruizione dei contenuti. Inoltre, la scelta alla base della realizzazione realizzazione si affida allo strumento multimediale e sempre più diffuso costituito dalle tecniche di Realtà Aumentata, che appongono aggiunte digitali all'ambiente circostante e permettono di modellare strutture d'informazione e manipolazione percepibili solo tramite apposite interfacce, ma pienamente inserite in un tessuto reale. La componente innovativa in questo schema è però portata da un'ulteriore aspetto, quello della cooper- azione di due dispositivi in contemporanea attori dell'interazione che, attraverso l'azione sulle informazioni esistenti, consentono di produrre modifiche rilevabili da ciascuno dei coinvolti.

Framework e librerie per lo sviluppo di applicazioni di realta aumentata: Metaio sdk come caso di studio

I moderni sistemi computazionali hanno reso applicazioni e dispositivi sempre più complessi e versatili, integrando in essi un numero crescente di funzioni. Da qui si avverte la necessità di un design d’interfaccia utente efficace e pratico che renda il rapporto uomo/macchina semplice ed intuitivo. Negli ultimi anni questo proposito è stato accolto da sviluppatori e progettisti che si sono affacciati nel mondo della “Realtà Aumentata”, una nuova visione d’insieme nel rapporto tra mondo reale e virtuale. Augmented Reality (AR), propone infatti di sviluppare nuove interfacce uomo-computer, che invece di mostrare le informazioni digitali su display isolati, immergano i dati stessi nell’ambiente concreto. Sfuma così una distinzione marcata tra il reale e il virtuale, ma anzi si cerca di combinare in modo naturale la coesistenza di quest’ultimi, permettendo la creazione di interfacce utente semplici e intuitive anche per applicazioni complesse. Il proposito che la tesi vuole andare ad affrontare è proprio quello di indagare lo sviluppo di nuove applicazioni basate su questa tecnologia. Nel primo capitolo verrà analizzatala storia, i campi di applicazione, i device più importanti sui quali è implementata e le varie tecniche di Tracciamento. Nella seconda parte della tesi andremo a interessarci del sistema vero e proprio sul quale regge questa tecnologia. Quindi nel successivo capitolo vedremo esempi di architetture e di piattaforme che offrono questa realtà di sviluppo, soffermandoci su un particolare caso di studio: Metaio; di cui nel terzo e ultimo capitolo indagheremo framework, SDK e API messe a disposizione.

Middleware per Internet of Things: Java Embedded come caso di studio

Grazie al progresso dell'elettronica, ai giorni nostri, è possibile costruire dispositivi elettronici molto piccoli, che col passare del tempo lo sono sempre più. Questo ci permette di poter imboccare nuove strade nel mondo dell'informatica, sfruttando proprio questo fatto. Le dimensioni ridotte dei dispositivi in commercio, come sensori, attuatori, tag e tanto altro, sono particolarmente adatte a nuovi scenari applicativi. Internet of Things è una visione in cui Internet viene esteso alle cose. Facendo largo uso di dispositivi come sensori e tag è possibile realizzare sistemi intelligenti che possono avere riscontri positivi nella vita di tutti i giorni. Tracciare la posizione degli oggetti, monitorare pazienti da remoto, rilevare dati sull'ambiente per realizzare sistemi automatici (ad esempio regolare automaticamente la luce o la temperatura di una stanza) sono solo alcuni esempi. Internet of Things è la naturale evoluzione di Internet, ed è destinato a cambiare radicalmente la nostra vita futura, poichè la tecnologia sarà sempre più parte integrante della nostra vita, aumentando sempre più il nostro benessere e riducendo sempre più il numero delle azioni quotidiane da compiere. Sempre più sono middleware, le piattaforme e i sistemi operativi che nascono per cercare di eliminare o ridurre le problematiche relative allo sviluppo di sistemi di questo genere, e lo scopo di questa tesi è proprio sottolinearne l'importanza e di analizzare gli aspetti che questi middleware devono affrontare. La tesi è strutturata in questo modo: nel capitolo uno verrà fatta una introduzione a Internet of Things, analizzando alcuni degli innumerevoli scenari applicativi che ne derivano, insieme però alle inevitabili problematiche di tipo tecnologico e sociale. Nel secondo capitolo verranno illustrate le tecnologie abilitanti di Internet of Things, grazie alle quali è possibile realizzare sistemi intelligenti. Nel terzo capitolo verranno analizzati gli aspetti relativi ai middleware, sottolineandone l'importanza e prestando attenzione alle funzioni che devono svolgere, il tutto riportando anche degli esempi di middleware esistenti. Nel quarto capitolo verrà approfondito il middleware Java Embedded di Oracle.

Il senso di presenza nelle realtà virtuali vissute tramite HMD: l'interazione e le interfacce

Grazie alla crescente evoluzione tecnologica è oggi possibile, tramite Head Mounted Display (HMD), vivere una realtà virtuale ricca nei dettagli, interattiva ed immersiva. L’avanzamento in questo settore ha infatti portato a una vera e propria rivoluzione, aprendo la possibilità di utilizzare questa tecnologia in molteplici ambiti. L’ostacolo riscontrato è che a un progresso di tale entità non si associa un adeguato aggiornamento e perfezionamento riguardo alle metodologie di interazione con oggetti 3D, dell’utilizzo di interfacce grafiche e del generale design ambientale. La diretta conseguenza di questo mancato aggiornamento è quella di indebolire o addirittura annullare l’effetto presenza dell'HMD, requisito indispensabile che consente all’utente di immergersi sensorialmente nel contesto simulato. L’obiettivo di questo studio consiste nel comprendere cosa è necessario tenere in considerazione e quali regole vanno cambiate per poter mantenere un'alta sensazione di presenza per l'utente all’interno di una realtà virtuale. A questo scopo è stato creato un ambiente virtuale 3D in grado di supportare l'utilizzo di un HMD, l'Oculus Rift, e di diversi dispositivi di input in grado di consentire controllo tramite movimenti naturali, il Razer Hydra ed il Leap Motion, in modo da poter effettuare un'analisi diretta sul livello del fattore presenza percepito nell'effettuare diverse interazioni con l'ambiente virtuale e le interfacce grafiche attraverso questi dispositivi. Questa analisi ha portato all'individuazione di molteplici aspetti in queste tipologie di interazioni e di design di intrefacce utente che, pur essendo di uso comune negli ambienti 3D contemporanei, se vissuti in un contesto di realtà virtuale non risultano più funzionali e indeboliscono il senso di presenza percepito dall'utente. Per ognuno di questi aspetti è stata proposta ed implementata una soluzione alternativa (basata su concetti teorici quali Natural Mapping, Diegesis, Affordance, Flow) in grado di risultare funzionale anche in un contesto di realtà virtuale e di garantire una forte sensazione di presenza all'utente. Il risultato finale di questo studio sono quindi nuovi metodi di design di ambienti virtuali per realtà aumentata. Questi metodi hanno permesso la creazione di un ambiente virtuale 3D pensato per essere vissuto tramite HMD dove l'utente è in grado di utilizzare movimenti naturali per interagire con oggetti 3D ed operare interfacce grafiche.

Ideazione di sistemi distribuiti collaborativi basati su realta aumentata mobile: un caso di studio, con approfondimento relativo all'interfaccia utente

L'obiettivo di questa tesi è quello di esplorare l'ideazione di sistemi software collaborativi innovativi basati su smart-glasses e forme di realtà aumentata mobile. In particolare, è stato formulato un caso di studio che cattura alcuni aspetti essenziali di questi sistemi: un'applicazione nel quale più utenti dotati di smart glasses si muovono in una zona precisa cercando di raggiungere tutti i punti d'interesse preimpostati in fase di inizializzazione e ottendendo le ricompense contenute dentro agli scrigni situati nei suddetti punti. Lo specifico caso di studio si occupa di approfondire gli aspetti relativi all'Interfaccia Utente, mentre precedentemente erano state affrontate le parti riguardanti la comunicazione e la cooperazione. L'applicazione è location-based e si serve delle tecniche di geolocalizzazione GPS ed è hands-free perché l'interfaccia grafica è mostrata all'utente tramite lo schermo degli smart-glasses.

Sistema Bluetooth-based di remarketing pervasivo

Il progetto si propone di dotare la realta fisica di un estensione digitale. Sensori, attuatori e tecnologie embedded hanno cambiato il nostro modo di lavorare, allenarci e seguire i nostri interessi. Il mondo del commercio non e rimasto a guardare ed ha dovuto adattarsi alla metamorfosi high-tech del settore dei servizi. Il sistema proposto costituisce un promotore per acquisti ed un raccoglitore intelligente di abitudini sullo shopping e si compone di applicazione mobile, microcontroller e web server. Caratteristica prima e principale del progetto e sicuramente la pervasivita. All'utente ed utilizzatore dell'app dello shopping center deve essere certamente resa nota la collaborazione al fine di raccogliere dati statistici sulle sue abitudini, tuttavia sono le modalita di tale operazione a dover rimanere velate, in modo da non appesantire il cliente con tediose operazioni di invio di feedback e valutazioni ed allo stesso tempo permettere una raccolta capillare delle informazioni. Parallelamente alla raccolta di dati funzionali al producer, sono state implementate features per il consumatore, come notifiche promozionali place-triggered e pubblicita mirata. Tra tutte le tecnologie adibite allo scambio di informazioni, si e scelto l'utilizzo del Bluetooth e del piu recente Bluetooth Low Energy (BLE) per permettere ai dispositivi di comunicare tra loro.

A Novel Approach to Context-Aware Content-Based Middleware

La computación ubicua está extendiendo su aplicación desde entornos específicos hacia el uso cotidiano; el Internet de las cosas (IoT, en inglés) es el ejemplo más brillante de su aplicación y de la complejidad intrínseca que tiene, en comparación con el clásico desarrollo de aplicaciones. La principal característica que diferencia la computación ubicua de los otros tipos está en como se emplea la información de contexto. Las aplicaciones clásicas no usan en absoluto la información de contexto o usan sólo una pequeña parte de ella, integrándola de una forma ad hoc con una implementación específica para la aplicación. La motivación de este tratamiento particular se tiene que buscar en la dificultad de compartir el contexto con otras aplicaciones. En realidad lo que es información de contexto depende del tipo de aplicación: por poner un ejemplo, para un editor de imágenes, la imagen es la información y sus metadatos, tales como la hora de grabación o los ajustes de la cámara, son el contexto, mientras que para el sistema de ficheros la imagen junto con los ajustes de cámara son la información, y el contexto es representado por los metadatos externos al fichero como la fecha de modificación o la de último acceso. Esto significa que es difícil compartir la información de contexto, y la presencia de un middleware de comunicación que soporte el contexto de forma explícita simplifica el desarrollo de aplicaciones para computación ubicua. Al mismo tiempo el uso del contexto no tiene que ser obligatorio, porque si no se perdería la compatibilidad con las aplicaciones que no lo usan, convirtiendo así dicho middleware en un middleware de contexto. SilboPS, que es nuestra implementación de un sistema publicador/subscriptor basado en contenido e inspirado en SIENA [11, 9], resuelve dicho problema extendiendo el paradigma con dos elementos: el Contexto y la Función de Contexto. El contexto representa la información contextual propiamente dicha del mensaje por enviar o aquella requerida por el subscriptor para recibir notificaciones, mientras la función de contexto se evalúa usando el contexto del publicador y del subscriptor. Esto permite desacoplar la lógica de gestión del contexto de aquella de la función de contexto, incrementando de esta forma la flexibilidad de la comunicación entre varias aplicaciones. De hecho, al utilizar por defecto un contexto vacío, las aplicaciones clásicas y las que manejan el contexto pueden usar el mismo SilboPS, resolviendo de esta forma la incompatibilidad entre las dos categorías. En cualquier caso la posible incompatibilidad semántica sigue existiendo ya que depende de la interpretación que cada aplicación hace de los datos y no puede ser solucionada por una tercera parte agnóstica. El entorno IoT conlleva retos no sólo de contexto, sino también de escalabilidad. La cantidad de sensores, el volumen de datos que producen y la cantidad de aplicaciones que podrían estar interesadas en manipular esos datos está en continuo aumento. Hoy en día la respuesta a esa necesidad es la computación en la nube, pero requiere que las aplicaciones sean no sólo capaces de escalar, sino de hacerlo de forma elástica [22]. Desgraciadamente no hay ninguna primitiva de sistema distribuido de slicing que soporte un particionamiento del estado interno [33] junto con un cambio en caliente, además de que los sistemas cloud actuales como OpenStack u OpenNebula no ofrecen directamente una monitorización elástica. Esto implica que hay un problema bilateral: cómo puede una aplicación escalar de forma elástica y cómo monitorizar esa aplicación para saber cuándo escalarla horizontalmente. E-SilboPS es la versión elástica de SilboPS y se adapta perfectamente como solución para el problema de monitorización, gracias al paradigma publicador/subscriptor basado en contenido y, a diferencia de otras soluciones [5], permite escalar eficientemente, para cumplir con la carga de trabajo sin sobre-provisionar o sub-provisionar recursos. Además está basado en un algoritmo recientemente diseñado que muestra como añadir elasticidad a una aplicación con distintas restricciones sobre el estado: sin estado, estado aislado con coordinación externa y estado compartido con coordinación general. Su evaluación enseña como se pueden conseguir notables speedups, siendo el nivel de red el principal factor limitante: de hecho la eficiencia calculada (ver Figura 5.8) demuestra cómo se comporta cada configuración en comparación con las adyacentes. Esto permite conocer la tendencia actual de todo el sistema, para saber si la siguiente configuración compensará el coste que tiene con la ganancia que lleva en el throughput de notificaciones. Se tiene que prestar especial atención en la evaluación de los despliegues con igual coste, para ver cuál es la mejor solución en relación a una carga de trabajo dada. Como último análisis se ha estimado el overhead introducido por las distintas configuraciones a fin de identificar el principal factor limitante del throughput. Esto ayuda a determinar la parte secuencial y el overhead de base [26] en un despliegue óptimo en comparación con uno subóptimo. Efectivamente, según el tipo de carga de trabajo, la estimación puede ser tan baja como el 10 % para un óptimo local o tan alta como el 60 %: esto ocurre cuando se despliega una configuración sobredimensionada para la carga de trabajo. Esta estimación de la métrica de Karp-Flatt es importante para el sistema de gestión porque le permite conocer en que dirección (ampliar o reducir) es necesario cambiar el despliegue para mejorar sus prestaciones, en lugar que usar simplemente una política de ampliación. ABSTRACT The application of pervasive computing is extending from field-specific to everyday use. The Internet of Things (IoT) is the shiniest example of its application and of its intrinsic complexity compared with classical application development. The main characteristic that differentiates pervasive from other forms of computing lies in the use of contextual information. Some classical applications do not use any contextual information whatsoever. Others, on the other hand, use only part of the contextual information, which is integrated in an ad hoc fashion using an application-specific implementation. This information is handled in a one-off manner because of the difficulty of sharing context across applications. As a matter of fact, the application type determines what the contextual information is. For instance, for an imaging editor, the image is the information and its meta-data, like the time of the shot or camera settings, are the context, whereas, for a file-system application, the image, including its camera settings, is the information and the meta-data external to the file, like the modification date or the last accessed timestamps, constitute the context. This means that contextual information is hard to share. A communication middleware that supports context decidedly eases application development in pervasive computing. However, the use of context should not be mandatory; otherwise, the communication middleware would be reduced to a context middleware and no longer be compatible with non-context-aware applications. SilboPS, our implementation of content-based publish/subscribe inspired by SIENA [11, 9], solves this problem by adding two new elements to the paradigm: the context and the context function. Context represents the actual contextual information specific to the message to be sent or that needs to be notified to the subscriber, whereas the context function is evaluated using the publisher’s context and the subscriber’s context to decide whether the current message and context are useful for the subscriber. In this manner, context logic management is decoupled from context management, increasing the flexibility of communication and usage across different applications. Since the default context is empty, context-aware and classical applications can use the same SilboPS, resolving the syntactic mismatch that there is between the two categories. In any case, the possible semantic mismatch is still present because it depends on how each application interprets the data, and it cannot be resolved by an agnostic third party. The IoT environment introduces not only context but scaling challenges too. The number of sensors, the volume of the data that they produce and the number of applications that could be interested in harvesting such data are growing all the time. Today’s response to the above need is cloud computing. However, cloud computing applications need to be able to scale elastically [22]. Unfortunately there is no slicing, as distributed system primitives that support internal state partitioning [33] and hot swapping and current cloud systems like OpenStack or OpenNebula do not provide elastic monitoring out of the box. This means there is a two-sided problem: 1) how to scale an application elastically and 2) how to monitor the application and know when it should scale in or out. E-SilboPS is the elastic version of SilboPS. I t is the solution for the monitoring problem thanks to its content-based publish/subscribe nature and, unlike other solutions [5], it scales efficiently so as to meet workload demand without overprovisioning or underprovisioning. Additionally, it is based on a newly designed algorithm that shows how to add elasticity in an application with different state constraints: stateless, isolated stateful with external coordination and shared stateful with general coordination. Its evaluation shows that it is able to achieve remarkable speedups where the network layer is the main limiting factor: the calculated efficiency (see Figure 5.8) shows how each configuration performs with respect to adjacent configurations. This provides insight into the actual trending of the whole system in order to predict if the next configuration would offset its cost against the resulting gain in notification throughput. Particular attention has been paid to the evaluation of same-cost deployments in order to find out which one is the best for the given workload demand. Finally, the overhead introduced by the different configurations has been estimated to identify the primary limiting factor for throughput. This helps to determine the intrinsic sequential part and base overhead [26] of an optimal versus a suboptimal deployment. Depending on the type of workload, this can be as low as 10% in a local optimum or as high as 60% when an overprovisioned configuration is deployed for a given workload demand. This Karp-Flatt metric estimation is important for system management because it indicates the direction (scale in or out) in which the deployment has to be changed in order to improve its performance instead of simply using a scale-out policy.

Sviluppo di un sistema di Realta Aumentata applicato a un modello 3D della prostata, sviluppato a partire da immagini RM, al fine di facilitare la dissezione del tumore e la conservazione dei fasci neuro vascolari durante l'intervento chirurgico di prostatectomia radicale robot-assistita

La realtà aumentata (AR) è una nuova tecnologia adottata in chirurgia prostatica con l'obiettivo di migliorare la conservazione dei fasci neurovascolari (NVB) ed evitare i margini chirurgici positivi (PSM). Abbiamo arruolato prospetticamente pazienti con diagnosi di cancro alla prostata (PCa) sul base di biopsia di fusione mirata con mpMRI positiva. Prima dell'intervento, i pazienti arruolati sono stati indirizzati a sottoporsi a ricostruzione del modello virtuale 3D basato su mpMRI preoperatoria immagini. Infine, il chirurgo ha eseguito la RARP con l'ausilio del modello 3D proiettato in AR all'interno della console robotica (RARP guidata AR-3D). I pazienti sottoposti a AR RARP sono stati confrontati con quelli sottoposti a "RARP standard" nello stesso periodo. Nel complesso, i tassi di PSM erano comparabili tra i due gruppi; I PSM a livello della lesione indice erano significativamente più bassi nei pazienti riferiti al gruppo AR-3D (5%) rispetto a quelli nel gruppo di controllo (20%; p = 0,01). La nuova tecnica di guida AR-3D per l'analisi IFS può consentono di ridurre i PSM a livello della lesione dell'indice

An adaptive IoT management infrastructure for eco transport networks

The complexity associated with fast growing of B2B and the lack of a (complete) suite of open standards makes difficulty to maintain the underlying collaborative processes. Aligned to this challenge, this paper aims to be a contribution to an open architecture of logistics and transport processes management system. A model of an open integrated system is being defined as an open computational responsibility from the embedded systems (on-board) as well as a reference implementation (prototype) of a host system to validate the proposed open interfaces. Embedded subsystem can, natively, be prepared to cooperate with other on-board units and with IT-systems in an infrastructure commonly referred to as a center information system or back-office. In interaction with a central system the proposal is to adopt an open framework for cooperation where the embedded unit or the unit placed somewhere (land/sea) interacts in response to a set of implemented capabilities.

Knowledge management framework based on brain models and human physiology

The life of humans and most living beings depend on sensation and perception for the best assessment of the surrounding world. Sensorial organs acquire a variety of stimuli that are interpreted and integrated in our brain for immediate use or stored in memory for later recall. Among the reasoning aspects, a person has to decide what to do with available information. Emotions are classifiers of collected information, assigning a personal meaning to objects, events and individuals, making part of our own identity. Emotions play a decisive role in cognitive processes as reasoning, decision and memory by assigning relevance to collected information. The access to pervasive computing devices, empowered by the ability to sense and perceive the world, provides new forms of acquiring and integrating information. But prior to data assessment on its usefulness, systems must capture and ensure that data is properly managed for diverse possible goals. Portable and wearable devices are now able to gather and store information, from the environment and from our body, using cloud based services and Internet connections. Systems limitations in handling sensorial data, compared with our sensorial capabilities constitute an identified problem. Another problem is the lack of interoperability between humans and devices, as they do not properly understand human’s emotional states and human needs. Addressing those problems is a motivation for the present research work. The mission hereby assumed is to include sensorial and physiological data into a Framework that will be able to manage collected data towards human cognitive functions, supported by a new data model. By learning from selected human functional and behavioural models and reasoning over collected data, the Framework aims at providing evaluation on a person’s emotional state, for empowering human centric applications, along with the capability of storing episodic information on a person’s life with physiologic indicators on emotional states to be used by new generation applications.

Pervasive data mining engine

Dissertação de mestrado integrado em Engenharia e Gestão de Sistemas de Informação

Towards a pervasive data mining engine: architecture overview

Current data mining engines are difficult to use, requiring optimizations by data mining experts in order to provide optimal results. To solve this problem a new concept was devised, by maintaining the functionality of current data mining tools and adding pervasive characteristics such as invisibility and ubiquity which focus on their users, providing better ease of use and usefulness, by providing autonomous and intelligent data mining processes. This article introduces an architecture to implement a data mining engine, composed by four major components: database; Middleware (control); Middleware (processing); and interface. These components are interlinked but provide independent scaling, allowing for a system that adapts to the user’s needs. A prototype has been developed in order to test the architecture. The results are very promising and showed their functionality and the need for further improvements.

A bio-inspired agent-based programming environment for pervasive platforms

Abstract in English : Ubiquitous Computing is the emerging trend in computing systems. Based on this observation this thesis proposes an analysis of the hardware and environmental constraints that rule pervasive platforms. These constraints have a strong impact on the programming of such platforms. Therefore solutions are proposed to facilitate this programming both at the platform and node levels. The first contribution presented in this document proposes a combination of agentoriented programming with the principles of bio-inspiration (Phylogenesys, Ontogenesys and Epigenesys) to program pervasive platforms such as the PERvasive computing framework for modeling comPLEX virtually Unbounded Systems platform. The second contribution proposes a method to program efficiently parallelizable applications on each computing node of this platform. Résumé en Français : Basée sur le constat que les calculs ubiquitaires vont devenir le paradigme de programmation dans les années à venir, cette thèse propose une analyse des contraintes matérielles et environnementale auxquelles sont soumises les plateformes pervasives. Ces contraintes ayant un impact fort sur la programmation des plateformes. Des solutions sont donc proposées pour faciliter cette programmation tant au niveau de l'ensemble des noeuds qu'au niveau de chacun des noeuds de la plateforme. La première contribution présentée dans ce document propose d'utiliser une alliance de programmation orientée agent avec les grands principes de la bio-inspiration (Phylogénèse, Ontogénèse et Épigénèse). Ceci pour répondres aux contraintes de programmation de plateformes pervasives comme la plateforme PERvasive computing framework for modeling comPLEX virtually Unbounded Systems . La seconde contribution propose quant à elle une méthode permettant de programmer efficacement des applications parallélisable sur chaque noeud de calcul de la plateforme