Design and development of a Unity based framework for augmented worlds

The way we've always envisioned computer programs is slowly changing. Thanks to the recent development of wearable technologies we're experiencing the birth of new applications that are no more limited to a fixed screen, but are instead sparse in our surroundings by means of fully fledged computational objects. In this paper we discuss proper techniques and technologies to be used for the creation of "Augmented Worlds", through the design and development of a novel framework that can help us understand how to build these new programs.

Progetto e sviluppo di una libreria tuProlog per l’interfacciamento di sensori in contesti di pervasive computing

Il termine pervasive computing incarna l’idea di andare oltre il paradigma dei personal computers: è l’idea che qualsiasi device possa essere tecnologizzato ed interconnesso con un network distribuito, costituendo un nuovo modello di interazione uomo-macchina. All’interno di questo paradigma gioca un ruolo fondamentale il concetto di context-awareness, che fa riferimento all’idea che i computer possano raccogliere dati dall’ambiente circostante e reagire in maniera intelligente e proattiva basandosi su di essi. Un sistema siffatto necessita da un lato di una infrastruttura per la raccolta dei dati dall’ambiente, dall'altro di un supporto per la componente intelligente e reattiva. In tale scenario, questa tesi ha l'obiettivo di progettare e realizzare una libreria per l'interfacciamento di un sistema distribuito di sensori Java-based con l’interprete tuProlog, un sistema Prolog leggero e configurabile, scritto anch'esso in Java ma disponibile per una pluralità di piattaforme, in modo da porre le basi per la costruzione di sistemi context-aware in questo ambiente.

Salutogenesis: a new paradigm for pervasive computing in healthcare environments?

Salutogenesis is now accepted as a part of the contemporary model of disease: an individual is not only affected by pathogenic factors in the environment, but those that promote well-being or salutogenesis. Given that "environment" extends to include the built environment, promotion of salutogenesis has become part of the architectural brief for contemporary healthcare facilities, drawing on an increasing evidence-base. Salutogenesis is inextricably linked with the notion of person-environment "fit". MyRoom is a proposal for an integrated architectural and pervasive computing model, which enhances psychosocial congruence by using real-time data indicative of the individual's physical status to enable the environment of his/her room (colour, light, temperature) to adapt on an on-going basis in response to bio-signals. This work is part of the PRTLI-IV funded programme NEMBES, investigating the use of embedded technologies in the built environment. Different care contexts require variations in the model, and iterative prototyping investigating use in different contexts will progressively lead to the development of a fully-integrated adaptive salutogenic single-room prototype.

B-R1ING MoCap: registrazione e riproduzione dei movimenti umani su avatar 3D in realtà aumentata

Già da qualche anno si è stati introdotti alla possibilità di vivere in un mondo virtuale; basta indossare un paio di visori di realtà aumentata, virtuale e mista che riproducono nell’ambiente circostante oggetti che fisicamente non esistono. Negli ultimi mesi, inoltre, questa possibilità sta diventando sempre più concreta con l’introduzione, da parte dei colossi dell’informatica, del concetto di "Metaverso": un universo parallelo completamente digitale dove sarà possibile svolgere ogni attività sociale. L’obiettivo di questa tesi è quello di contribuire in piccola parte a questo enorme progetto creando una modalità di interazione tra utenti virtuale ma che si basa su comportamenti del tutto reali. A questo proposito il titolo dell’elaborato è: \textit{“B-R1ING MoCap: registrazione e riproduzione dei movimenti umani su avatar 3D in realtà aumentata”}. Lo scopo del progetto è quello di permettere a una persona di registrare un video in cui c’è un soggetto in movimento, salvare i movimenti del soggetto in un pacchetto dati e infine riprodurlo su un \textit{avatar} 3D che viene fatto agire in realtà aumentata. Il tutto farà parte di un’applicazione “social network” che permette l’interazione tra utenti in questo modo. Un utente può quindi registrare i movimenti umani e inviarli ad un altro utente che può riprodurre il messaggio in realtà aumentata tramite il suo smartphone. Viene introdotto così un nuovo tipo di comunicazione digitale indiretta passando dalla comunicazione scritta, ormai salda da decenni nei messaggi, alla comunicazione orale, introdotta da qualche anno tramite i messaggi vocali, alla comunicazione gestuale resa possibile dal lavoro in oggetto. Le fasi principali del progetto sono state due: una in cui, dopo aver individuato la tecnica migliore, è stato effettuato il "motion capture", un’altra in cui il movimento registrato è stato trasformato in animazione per un soggetto 3D che viene visualizzata in realtà aumentata.

Sviluppo di un’app mobile con Realtà Aumentata e Machine Learning in contesto di biodiversità

Il volume di tesi ha riguardato lo sviluppo di un'applicazione mobile che sfrutta la Realtà Aumentata e il Machine Learning nel contesto della biodiversità. Nello specifico si è realizzato un modello di AI che permetta la classificazione di immagini di fiori. Tale modello è stato poi integrato in Android, al fine della realizzazione di un'app che riesca a riconoscere specifiche specie di fiori, oltre a individuare gli insetti impollinatori attratti da essi e rappresentarli in Realtà Aumentata.

Ideazione di sistemi distribuiti collaborativi basati su realta aumentata mobile: Un caso di studio, con approfondimento relativo al livello della cooperazione

Dall'inizio del nuovo millennio lo sviluppo di tecnologie nel campo del mobile computing, della rete internet, lo sviluppo dell'Internet of things e pure il cloud computing hanno reso possibile l'innovazione dei metodi di lavoro e collaborazione. L'evoluzione del mobile computing e della realtà aumentata che sta avvenendo in tempi più recenti apre potenzialmente nuovi orizzonti nello sviluppo di sistemi distribuiti collaborativi. Esistono oggi diversi framework a supporto della realtà aumentata, Wikitude, Metaio, Layar, ma l'interesse primario di queste librerie è quello di fornire una serie di API fondamentali per il rendering di immagini 3D attraverso i dispositivi, per lo studio dello spazio in cui inserire queste immagini e per il riconoscimento di marker. Questo tipo di funzionalità sono state un grande passo per quanto riguarda la Computer Graphics e la realtà aumentata chiaramente, però aprono la strada ad una Augmented Reality(AR) ancora più aumentata. Questa tesi si propone proprio di presentare l'ideazione, l'analisi, la progettazione e la prototipazione di un sistema distribuito situato a supporto della collaborazione basato su realtà aumentata. Lo studio di questa applicazione vuole mettere in luce molti aspetti innovativi e che ancora oggi non sono stati approfonditi né tanto meno sviluppati come API o forniti da librerie riguardo alla realtà aumentata e alle sue possibili applicazioni.

Semantic middleware development for the Internet of Things

After the extraordinary spread of the World Wide Web during the last fifteen years, engineers and developers are pushing now the Internet to its next border. A new conception in computer science and networks communication has been burgeoning during roughly the last decade: a world where most of the computers of the future will be extremely downsized, to the point that they will look like dust at its most advanced prototypes. In this vision, every single element of our “real” world has an intelligent tag that carries all their relevant data, effectively mapping the “real” world into a “virtual” one, where all the electronically augmented objects are present, can interact among them and influence with their behaviour that of the other objects, or even the behaviour of a final human user. This is the vision of the Internet of the Future, which also draws ideas of several novel tendencies in computer science and networking, as pervasive computing and the Internet of Things. As it has happened before, materializing a new paradigm that changes the way entities interrelate in this new environment has proved to be a goal full of challenges in the way. Right now the situation is exciting, with a plethora of new developments, proposals and models sprouting every time, often in an uncoordinated, decentralised manner away from any standardization, resembling somehow the status quo of the first developments of advanced computer networking, back in the 60s and the 70s. Usually, a system designed after the Internet of the Future will consist of one or several final user devices attached to these final users, a network –often a Wireless Sensor Network- charged with the task of collecting data for the final user devices, and sometimes a base station sending the data for its further processing to less hardware-constrained computers. When implementing a system designed with the Internet of the Future as a pattern, issues, and more specifically, limitations, that must be faced are numerous: lack of standards for platforms and protocols, processing bottlenecks, low battery lifetime, etc. One of the main objectives of this project is presenting a functional model of how a system based on the paradigms linked to the Internet of the Future works, overcoming some of the difficulties that can be expected and showing a model for a middleware architecture specifically designed for a pervasive, ubiquitous system. This Final Degree Dissertation is divided into several parts. Beginning with an Introduction to the main topics and concepts of this new model, a State of the Art is offered so as to provide a technological background. After that, an example of a semantic and service-oriented middleware is shown; later, a system built by means of this semantic and service-oriented middleware, and other components, is developed, justifying its placement in a particular scenario, describing it and analysing the data obtained from it. Finally, the conclusions inferred from this system and future works that would be good to be tackled are mentioned as well. RESUMEN Tras el extraordinario desarrollo de la Web durante los últimos quince años, ingenieros y desarrolladores empujan Internet hacia su siguiente frontera. Una nueva concepción en la computación y la comunicación a través de las redes ha estado floreciendo durante la última década; un mundo donde la mayoría de los ordenadores del futuro serán extremadamente reducidas de tamaño, hasta el punto que parecerán polvo en sus más avanzado prototipos. En esta visión, cada uno de los elementos de nuestro mundo “real” tiene una etiqueta inteligente que porta sus datos relevantes, mapeando de manera efectiva el mundo “real” en uno “virtual”, donde todos los objetos electrónicamente aumentados están presentes, pueden interactuar entre ellos e influenciar con su comportamiento el de los otros, o incluso el comportamiento del usuario final humano. Ésta es la visión del Internet del Futuro, que también toma ideas de varias tendencias nuevas en las ciencias de la computación y las redes de ordenadores, como la computación omnipresente y el Internet de las Cosas. Como ha sucedido antes, materializar un nuevo paradigma que cambia la manera en que las entidades se interrelacionan en este nuevo entorno ha demostrado ser una meta llena de retos en el camino. Ahora mismo la situación es emocionante, con una plétora de nuevos desarrollos, propuestas y modelos brotando todo el rato, a menudo de una manera descoordinada y descentralizada lejos de cualquier estandarización, recordando de alguna manera el estado de cosas de los primeros desarrollos de redes de ordenadores avanzadas, allá por los años 60 y 70. Normalmente, un sistema diseñado con el Internet del futuro como modelo consistirá en uno o varios dispositivos para usuario final sujetos a estos usuarios finales, una red –a menudo, una red de sensores inalámbricos- encargada de recolectar datos para los dispositivos de usuario final, y a veces una estación base enviando los datos para su consiguiente procesado en ordenadores menos limitados en hardware. Al implementar un sistema diseñado con el Internet del futuro como patrón, los problemas, y más específicamente, las limitaciones que deben enfrentarse son numerosas: falta de estándares para plataformas y protocolos, cuellos de botella en el procesado, bajo tiempo de vida de las baterías, etc. Uno de los principales objetivos de este Proyecto Fin de Carrera es presentar un modelo funcional de cómo trabaja un sistema basado en los paradigmas relacionados al Internet del futuro, superando algunas de las dificultades que pueden esperarse y mostrando un modelo de una arquitectura middleware específicamente diseñado para un sistema omnipresente y ubicuo. Este Proyecto Fin de Carrera está dividido en varias partes. Empezando por una introducción a los principales temas y conceptos de este modelo, un estado del arte es ofrecido para proveer un trasfondo tecnológico. Después de eso, se muestra un ejemplo de middleware semántico orientado a servicios; después, se desarrolla un sistema construido por medio de este middleware semántico orientado a servicios, justificando su localización en un escenario particular, describiéndolo y analizando los datos obtenidos de él. Finalmente, las conclusiones extraídas de este sistema y las futuras tareas que sería bueno tratar también son mencionadas.

Progettazione e sviluppo di applicazioni di augmented reality interattive

Nel 2011, circa 5 milioni di persone usavano regolarmente applicativi mobi-le basati su qualche forma di realtà aumentata. Secondo alcune previsioni entro il 2020 servizi che sfruttano questa tecnologia avranno una base di utenti che rasenta un settimo della popolazione mondiale, rendendo di fatto la realtà aumentata l’ottavo mezzo di comunicazione di massa dopo la stampa, l’audio registrato, il cinema, la radio, la televisione, internet ed infine i servizi multimediali mobile. La tesi si propone di illustrare le caratteristiche di questa tecnologia distinguendo varie tecniche e strumenti a disposizione degli sviluppatori per costruire l’esperienza di augmented reality. Entrando nel merito dello sviluppo software si analizza una architettura di riferimento proposta per sistemi di realtà aumentata e pattern per lo sviluppo dei diversi componenti. Infine vengono confrontati gli SDK oggi più diffusi cercando di evidenziarne caratteristiche comuni e peculiarità.

Ideazione di sistemi distribuiti collaborativi basati realta aumentata mobile: un caso di studio, con approfondimento relativo al livello delle comunicazioni

Il grande sviluppo a cui stiamo assistendo negli ultimi anni nell'ambito delle tecnologie mobile e del wearable computing apre le porte a scenari innovativi e interessanti per quanto riguarda sistemi distribuiti collaborativi. Le persone possono sempre più facilmente cooperare e scambiarsi informazioni grazie a queste nuove tecnologie e si può pensare allo sviluppo di sistemi che permettano forme molto avanzate di collaborazione facendo leva sull'aspetto hands-free, ovvero sulla possibilità di utilizzare dispositivi che liberino le mani, come i moderni smart-glasses. Per lo sviluppo di tali sistemi è necessario però studiare nuove tecniche e architetture, in quanto gli strumenti ad oggi a disposizione a supporto della realtà aumentata non sembrano essere del tutto adeguati per tale scopo. Infatti piattaforme come Wikitude o Layar, seppure offrano potenti tecniche di riconoscimento di markers e immagini e di rendering, non offrono quella dinamicità fondamentale per un sistema distribuito collaborativo. Questo scritto ha lo scopo di esplorare questi aspetti mediante l'ideazione, l'analisi, la progettazione e la prototipazione di un semplice caso di studio ispirato a sistemi collaborativi distribuiti basati su realtà aumentata. In particolare in questo lavoro si porrà l'attenzione sul livello delle comunicazioni e delle infrastrutture di rete.

Internet of things e integrazione nel web: Web of things

Internet of Things (IoT): tre parole che sintetizzano al meglio come la tecnologia abbia pervaso quasi ogni ambito della nostra vita. In questa tesi andrò a esplorare le soluzioni hardware e soprattutto software che si celano dietro allo sviluppo di questa nuova frontiera tecnologica, dalla cui combinazione con il web nasce il Web of Things, ovvero una visione globale, accessibile da qualsiasi utente attraverso i comuni mezzi di navigazione, dei servizi che ogni singolo smart device può offrire. Sarà seguito un percorso bottom-up partendo dalla descrizione fisica dei device e delle tecnologie abilitanti alla comunicazione thing to thing ed i protocolli che instaurano fra i device le connessioni. Proseguendo per l’introduzione di concetti quali middleware e smart gateway, sarà illustrata l’integrazione nel web 2.0 di tali device menzionando durante il percorso quali saranno gli scenari applicativi e le prospettive di sviluppo auspicabili.

Das Internet der Dinge unter dem Aspekt der Selbststeuerung-Ein Überblick

In den letzten Jahren wurde die Vision einer Welt smarter Alltagsgegenstände unter den Begriffen wie Ubiquitous Computing, Pervasive Computing und Ambient Intelligence in der Öffentlichkeit wahrgenommen. Die smarten Gegenstände sollen mit digitaler Logik, Sensorik und der Möglichkeit zur Vernetzung ausgestattet werden. Somit bilden sie ein „Internet der Dinge“, in dem der Computer als eigenständiges Gerät verschwindet und in den Objekten der physischen Welt aufgeht. Während auf der einen Seite die Vision des „Internet der Dinge“ durch die weiter anhaltenden Fortschritte in der Informatik, Mikroelektronik, Kommunikationstechnik und Materialwissenschaft zumindest aus technischer Sicht wahrscheinlich mittelfristig realisiert werden kann, müssen auf der anderen Seite die damit zusammenhängenden ökonomischen, rechtlichen und sozialen Fragen geklärt werden. Zur Weiterentwicklung und Realisierung der Vision des „Internet der Dinge“ wurde erstmals vom AutoID-Center das EPC-Konzept entwickelt, welches auf globale netzbasierte Informationsstandards setzt und heute von EPCglobal weiterentwickelt und umgesetzt wird. Der EPC erlaubt es, umfassende Produktinformationen über das Internet zur Verfügung zu stellen. Die RFID-Technologie stellt dabei die wichtigste Grundlage des „Internet der Dinge“ dar, da sie die Brücke zwischen der physischen Welt der Produkte und der virtuellen Welt der digitalen Daten schlägt. Die Objekte, die mit RFID-Transpondern ausgestattet sind, können miteinander kommunizieren und beispielsweise ihren Weg durch die Prozesskette finden. So können sie dann mit Hilfe der auf den RFID-Transpondern gespeicherten Informationen Förderanlagen oder sonstige Maschinen ohne menschliches Eingreifen selbstständig steuern.

A Development Methodology to Facilitate the Integration of Smart Spaces into the Web of Things

How to create or integrate large Smart Spaces (considered as mash-ups of sensors and actuators) into the paradigm of ?Web of Things? has been the motivation of many recent works. A cutting-edge approach deals with developing and deploying web-enabled embedded devices with two major objectives: 1) to integrate sensor and actuator technologies into everyday objects, and 2) to allow a diversity of devices to plug to Internet. Currently, developers who want to use this Internet-oriented approach need have solid understanding about sensorial platforms and semantic technologies. In this paper we propose a Resource-Oriented and Ontology-Driven Development (ROOD) methodology, based on Model Driven Architecture (MDA), to facilitate to any developer the development and deployment of Smart Spaces. Early evaluations of the ROOD methodology have been successfully accomplished through a partial deployment of a Smart Hotel.

A vision of cyber-physical internet

When the Internet was born, the purpose was to interconnect computers to share digital data at large-scale. On the other hand, when embedded systems were born, the objective was to control system components under real-time constraints through sensing devices, typically at small to medium scales. With the great evolution of the Information and Communication Technology (ICT), the tendency is to enable ubiquitous and pervasive computing to control everything (physical processes and physical objects) anytime and at a large-scale. This new vision gave recently rise to the paradigm of Cyber-Physical Systems (CPS). In this position paper, we provide a realistic vision to the concept of the Cyber-Physical Internet (CPI), discuss its design requirements and present the limitations of the current networking abstractions to fulfill these requirements. We also debate whether it is more productive to adopt a system integration approach or a radical design approach for building large-scale CPS. Finally, we present a sample of realtime challenges that must be considered in the design of the Cyber-Physical Internet.

Mobile collaborative cloudless computing

Although the computational power of mobile devices has been increasing, it is still not enough for some classes of applications. In the present, these applications delegate the computing power burden on servers located on the Internet. This model assumes an always-on Internet connectivity and implies a non-negligible latency. The thesis addresses the challenges and contributions posed to the application of a mobile collaborative computing environment concept to wireless networks. The goal is to define a reference architecture for high performance mobile applications. Current work is focused on efficient data dissemination on a highly transitive environment, suitable to many mobile applications and also to the reputation and incentive system available on this mobile collaborative computing environment. For this we are improving our already published reputation/incentive algorithm with knowledge from the usage pattern from the eduroam wireless network in the Lisbon area.

Tecnologie ad agenti e sistemi embedded

Information technology (IT) is on the verge of another revolution. Driven by the increasing capabilities and ever declining costs of computing and communications devices, IT is being embedded into a growing range of physical devices linked together through networks and will become ever more pervasive as the component technologies become smaller, faster, and cheaper. [..] These networked systems of embedded computers, referred to as EmNets throughout this report, have the potential to change radically the way people interact with their environment by linking together a range of devices and sensors that will allow information to be collected, shared, and processed in unprecedented ways.[..] The use of EmNets throughout society could well dwarf previous milestones in the information revolution.[..] IT will eventually become \textbf{an invisible component of almost everything} in everyone`s surroundings. Con il ridursi dei costi e l'aumentare della capacità di computazione dei componenti elettronici sono proliferate piattaforme che permettono al bambino come all'ingegnere di sviluppare un'idea che trasversalmente taglia il mondo reale e quello virtuale. Una collisione tra due mondi che fino a poco tempo fa era consentita esclusivamente a professionisti. Oggetti che possono acquisire o estendere funzionalità, che ci permettono di estendere la nostra percezione del mondo e di rivalutarne i suoi limiti. Oggetti connessi alla 'rete delle reti' che condividono ed elaborano dati per un nuovo utilizzo delle informazioni. Con questa tesi si vuole andare ad esplorare l'applicazione degli agenti software alle nuove piattaforme dei sistemi embedded e dell'Internet of Things, tecnologie abbastanza mature eppure non ancora esplorate a fondo. Ha senso modellare un sistema embedded con gli agenti?