System Architecture of a Mixed Reality Framework

In this paper the software architecture of a framework which simplifies the development of applications in the area of Virtual and Augmented Reality is presented. It is based on VRML/X3D to enable rendering of audio-visual information. We extended our VRML rendering system by a device management system that is based on the concept of a data-flow graph. The aim of the system is to create Mixed Reality (MR) applications simply by plugging together small prefabricated software components, instead of compiling monolithic C++ applications. The flexibility and the advantages of the presented framework are explained on the basis of an exemplary implementation of a classic Augmented Realityapplication and its extension to a collaborative remote expert scenario.

Interactive Augmentation of Live Images using a HDR Stereo Camera

Adding virtual objects to real environments plays an important role in todays computer graphics: Typical examples are virtual furniture in a real room and virtual characters in real movies. For a believable appearance, consistent lighting of the virtual objects is required. We present an augmented reality system that displays virtual objects with consistent illumination and shadows in the image of a simple webcam. We use two high dynamic range video cameras with fisheye lenses permanently recording the environment illumination. A sampling algorithm selects a few bright parts in one of the wide angle images and the corresponding points in the second camera image. The 3D position can then be calculated using epipolar geometry. Finally, the selected point lights are used in a multi pass algorithm to draw the virtual object with shadows. To validate our approach, we compare the appearance and shadows of the synthetic objects with real objects.

Application of Time-Delay Estimation to Mixed Reality Multisensor Tracking

Spatial tracking is one of the most challenging and important parts of Mixed Reality environments. Many applications, especially in the domain of Augmented Reality, rely on the fusion of several tracking systems in order to optimize the overall performance. While the topic of spatial tracking sensor fusion has already seen considerable interest, most results only deal with the integration of carefully arranged setups as opposed to dynamic sensor fusion setups. A crucial prerequisite for correct sensor fusion is the temporal alignment of the tracking data from several sensors. Tracking sensors are typically encountered in Mixed Reality applications, are generally not synchronized. We present a general method to calibrate the temporal offset between different sensors by the Time Delay Estimation method which can be used to perform on-line temporal calibration. By applying Time Delay Estimation on the tracking data, we show that the temporal offset between generic Mixed Reality spatial tracking sensors can be calibrated. To show the correctness and the feasibility of this approach, we have examined different variations of our method and evaluated various combinations of tracking sensors. We furthermore integrated this time synchronization method into our UBITRACK Mixed Reality tracking framework to provide facilities for calibration and real-time data alignment.

A Ground-Truth Video Dataset for the Development and Evaluation of Vision-based Sense-and-Avoid systems

The importance of vision-based systems for Sense-and-Avoid is increasing nowadays as remotely piloted and autonomous UAVs become part of the non-segregated airspace. The development and evaluation of these systems demand flight scenario images which are expensive and risky to obtain. Currently Augmented Reality techniques allow the compositing of real flight scenario images with 3D aircraft models to produce useful realistic images for system development and benchmarking purposes at a much lower cost and risk. With the techniques presented in this paper, 3D aircraft models are positioned firstly in a simulated 3D scene with controlled illumination and rendering parameters. Realistic simulated images are then obtained using an image processing algorithm which fuses the images obtained from the 3D scene with images from real UAV flights taking into account on board camera vibrations. Since the intruder and camera poses are user-defined, ground truth data is available. These ground truth annotations allow to develop and quantitatively evaluate aircraft detection and tracking algorithms. This paper presents the software developed to create a public dataset of 24 videos together with their annotations and some tracking application results.

Simbologia em realidade aumentada móvel

Tese de mestrado, Engenharia Informática (Sistemas de Informação), Universidade de Lisboa, Faculdade de Ciências, 2016

Applicazioni di Mixed Reality e Microsoft Hololens: studio e riprogettazione del concetto di ologramma e della relativa gestione all'interno di un'applicazione olografica.

La tesi presenta una panoramica sull'augmented, virtual e mixed reality, descrivendone le caratteristiche e le modalità di sviluppo. Come caso di studio viene analizzato il dispositivo Microsoft Hololens, descrivendone le caratteristiche concettuali, hardware e software. Per le applicazioni di questo dispositivo viene effettuata una riprogettazione della gestione e del concetto di ologramma all'interno di un'applicazione olografica, analizzandone i motivi e i vantaggi. E' fornita una overview sui dettagli implementativi della riprogettazione al fine di chiarire ogni aspetto dell'applicazione.

Sistema de realidade aumentada no procedimento cirúrgico de remoção de pedras nos rins

A inovação tecnológica e as facilidades que gera tem tido um impacto crescente em diversas área, inclusivamente na medicina. A rápida evolução por parte de algumas tecnologias, como é o caso da Realidade Aumentada (RA), criam excelentes oportunidades, nomeadamente para intervenções cirúrgicas laparoscópicas, que apresentam especialmente problemas ao nível da exposição do doente a radiação. O presente documento detalha todo o processo de investigação e desenvolvimento realizado com a pretensão de criar um sistema de navegação por RA que auxilie o procedimento cirúrgico laparoscópico de remoção de pedras nos rins. Com este objetivo em perspetiva, e numa parceria com a empresa ECmedica LTD, foram desenvolvidos quatro protótipo funcionais. Com o intuito de compreender as melhores práticas de sistemas de input, interface e sistema de registo a aplicar, estes integraram aspetos inovadores tais como a utilização de uma sonda ultra-som, como substituta do raioX, e um registo feito através de sensores magnéticos. Apoiados numa metodologia de design centrado no utilizador e em instrumentos de análise como entrevistas e observação natural, os protótipos foram testados, obtendo respostas esclarecedoras relativamente ao objetivos dos protótipos. Foi observado que a RA é vista pelos médicos como uma solução com potencial, com as soluções apresentadas ao nível de inputs, interface e registo a serem bem recebidas. A projeção bidimensional oferecida pela imagem ultra-som foi encarada como insuficientes, sendo sugerida a sua substituição por um aumento tridimensional capaz de facilitar a correta inserção da agulha.

Novo roteiro para a Arte Nova em Aveiro e Ílhavo: proposta de uma aplicação mobile

A presente investigação tem como objeto de estudo a Arte Nova nas cidades de Aveiro e Ílhavo, traduzindo-se posteriormente na criação de uma aplicação mobile de um roteiro diferenciador referente ao património Arte Nova localizado nas duas cidades. Existe em Aveiro, uma tomada de consciência notória relativa ao património que se enquadra no espírito e nas características do estilo Arte Nova. Isso em muito se deve à originalidade e diversidade de interpretações que a caracterizam localmente. No entanto, apesar dos melhoramentos efetuados na comunicação deste património, especialmente depois da reabilitação do edifício Mário Belmonte Pessoa e da sua transformação em Museu Arte Nova, o roteiro atual não contempla todos os artefactos do estilo existentes na cidade e exclui aqueles que se encontram fora do centro urbano da cidade de Aveiro. Em Ílhavo a realidade é completamente díspar da encontrada na cidade vizinha, Aveiro, não existindo grande decoro pelo tratamento da informação referente ao estilo Arte Nova, apenas algumas referencias breves em guias culturais e um roteiro limitado no site da Câmara Municipal de Ílhavo. Paralelamente a isto, a região de Aveiro tornou-se numa das regiões com o espólio mais significativo do país. Dada à sua importância cultural e local, o roteiro diferenciador que propomos nesta investigação irá intervir de forma a melhorar o que já existe, passando pelo aprofundamento de conhecimentos sobre o tema, catalogação, cruzamento e agrupamento de toda a informação dos artefactos que se encontrem dispersos pelas duas cidades, de forma a tornar mais fácil a procura e o acesso à informação. Numa primeira fase, a investigação irá focar-se nos conteúdos afetos a cada um dos artefactos, sendo estes metodologicamente trabalhados através do método triangular de Francisco Providência, a interpretação autoral (autoria) que se traduz na evolução dos edifícios (tecnologia) e a relevância da sua história (programa) para o património nacional. Posteriormente, os conteúdos anteriormente referidos serão adaptados a uma aplicação mobile que facilitará o acesso à informação previamente selecionada referente a cada artefacto, apresentando uma breve história sobre as manifestações da Arte Nova nas cidades de Aveiro e Ílhavo. Esta aplicação mobile permitirá perceber a evolução dos edifícios desde a sua construção até à atualidade, ao nível de recuperação estrutural ou da falta de reabilitação e recuperação dos mesmos. Contribuirá para conhecer se os edifícios mantiveram (ou não) as suas características originais relativas ao desenho e tecnologia, para tal fará valerse de tecnologias como Realidade Aumentada, assim como os princípios de elaboração e leitura de QR codes, para facilitar o acesso, localização e compreensão dessa mesma informação, permitindo ainda que o seu utilizador embarque numa viagem no tempo e experiencie o roteiro de uma forma diferente. Paralelamente, pretende-se que este roteiro funcione como um roteiro único do património Arte Nova nas duas cidades, com o intuito de se expandir a outras cidades e se tornar num roteiro único do património Arte Nova na região de Aveiro. A diversidade do património Arte Nova nesta região assenta no cunho pessoal e social que os proprietários atribuíram aos seus artefactos, assim como na formação e a capacidade artística fortemente influenciada pela técnica pessoal, temperamento e sensibilidade dos seus autores, fazendo destes artefactos autênticas obras de arte, que merecem o seu estudo. Constatou-se, ao nível dos resultados que o protótipo da aplicação mobile, se adequaram ao que foi anunciado, a nível investigativo, e por isso, interessou a este estudo confirmar a demonstração do que foi enunciado. No entanto, concluiu-se que o respetivo protótipo necessita de ser ‘afinado’ em estudos futuros. Independentemente, das fragilidades encontradas, considera-se que este protótipo de aplicação mobile poderá servir como meio de excelência para a integração de conteúdos que vão mais além do que a visualização dos artefactos. Assim, contribui-se para o adensamento e acesso ao conhecimento sobre a história da Arte Nova em Portugal.

Miradouro Virtual(R)

Esta tese pretende descrever o desenvolvimento e arquitectura do software que constitui o Miradouro Virtual@, mais especificamente do componente referente à interface. O Miradouro Virtual@ é um dispositivo cujo propósito à semelhança dos tradicionais binóculos turísticos, é observar a paisagem, mas cuja interacção não está limitada à simples observação individual. Recorre à realidade aumentada para sobrepôr imagens geradas por computador a imagens reais, capturadas por um dispositivo para aquisição de imagem real (tipicamente uma câmara de vídeo), e mostra-as num ecrã touchscreen, permitindo deste modo, combinar elementos virtuais e multimédia com a paisagem real. A imagem final, composta, dá ao utilizador uma nova dimensão do espaço envolvente, permitindo-lhe explorar uma nova camada de informação não visível anteriormente. Sendo sensíveis à orientação do Miradouro Virtual@, os elementos virtuais e multimédia adaptam-se de acordo com os movimentos do dispositivo. O Miradouro Virtual@ é um produto composto por diversos elementos de hardware e software. O foco desta tese recai apenas nos componentes de software, mais especificamente na interface. Pretende dar a conhecer as limitações da versão anterior do software e mostrar as soluções encontradas que permitiram ultrapassar algumas dessas limitações. ABSTRACT; This thesis focuses on the design and development of the Virtual Sightseeing™ software, more specifically on the interface component. The Virtual Sightseeing™ is a device similar to the traditional scenic viewers that takes advantage of its generally known and popularity to build an innovative system. It works by using augmented reality to superimpose, in real-time, images generated by a computer onto a live stream captured by a video camera and displaying them on a touchscreen display. It allows adding multimedia elements to the real scenery by composing them in the image that is presented to the user. The multimedia information and virtual elements that are displayed are sensitive to the orientation and position of the device. They change as the user manually changes the orientation of the device. The Virtual Sightseeing™ is comprised of several hardware and software components. The focus of this thesis is on the software part, more specifically on the interface component. It intends to show the known limitations of the previous software version and how they were overcome in this new version.

Corpos tatuados : experiências sensíveis em realidade aumentada móvel

Tese (doutorado)—Universidade de Brasília, Instituto de Artes, Programa de Pós-Graduação em Artes, 2015.

Developing a methodology for co-creation using extended reality technologies.

Amid the remarkable growth of innovative technologies, particularly immersive technologies like Extended Reality (XR) (comprising of Virtual Reality (VR), Augmented Reality (AR) & Mixed Reality (MR)), a transformation is unfolding in the way we collaborate and interact. The current research takes the initiative to explore XR’s potential for co-creation activities and proposes XR as a future co-creation platform. It strives to develop a XR-based co-creation system, actively engage stakeholders in the co-creation process, with the goal of enhancing their creative businesses. The research leverages XR tools to investigate how they can enhance digital co-creation methods and determine if the system facilitates efficient and effective value creation during XR-based co-creation sessions. In specific terms, the research probes into whether the XR-based co-creation method and environment enhances the quality and novelty of ideas, reduce communication challenges by providing better understanding of the product, problem or process and optimize the process in terms of reduction in time and costs. The research introduces a multi-user, multi-sensory collaborative and interactive XR platform that adapts to various use-case scenarios. This thesis also presents the user testing performed to collect both qualitative and quantitative data, which serves to substantiate the hypothesis. What sets this XR system apart is its incorporation of fully functional prototypes into a mixed reality environment, providing users with a unique dimension within an immersive digital landscape. The outcomes derived from the experimental studies demonstrate that XR-based co-creation surpasses conventional desktop co-creation methods and remarkably, the results are even comparable to a full mock-up test. In conclusion, the research underscores that the utilization of XR as a tool for co-creation generates substantial value. It serves as a method that enhances the process, an environment that fosters interaction and collaboration, and a platform that equips stakeholders with the means to engage effectively.

Studio, Progettazione e Sviluppo di Applicazioni di Realtà Mista Cooperative

Le esperienze cooperative in realtà mista. Che cosa sono? Quali sono gli scopi dietro il loro sviluppo? Che cosa aspetta uno sviluppatore che si avvicina a questi sistemi? Questa tesi cerca di rispondere a queste domande ponendo sotto esame diverse tecnologie di collocazione molto recente, analizzando un progetto preso come caso di studio e implementato tramite diversi strumenti. Al giorno d’oggi, la sfera della realtà mista/realtà aumentata si sta espandendo sempre di più, arrivando a sfiorare mondi che prima risultavano totalmente scollegati. Il mondo dello sviluppo in ambito gaming è entrato infine in questo panorama grazie alle tante similarità con certi tipi di applicazioni MR. Uno degli strumenti più utilizzati in questo ambito è Unity, un motore grafico utilizzato per creare videogiochi e non solo: in questo progetto si sfrutterà questo ambiente di sviluppo per realizzare una semplice applicazione in realtà mista cooperativa, che permetta quindi l’accesso a più utenti contemporaneamente e la loro interazione. Per farlo, si valuteranno diverse opzioni, in particolare due, Netcode for GameObjects e Photon PUN, provenienti da due ambienti diversi ma entrambe strettamente legate a Unity, cercando di ottenere lo stesso risultato ma con due strade diverse come base per un confronto. Basteranno queste tecnologie o ci vuole ancora altro per la realtà mista? Questo studio trova una base matura e pronta a uscire dal suo guscio? Oppure c’è ancora tanta strada da fare? Sulla base di questo verrà tenuto il confronto, cercando una risposta generale ma concreta. Questa tesi si dividerà in due parti: la parte introduttiva, che fornirà tutti i concetti sulla realtà mista necessari e un panorama sull’ambiente MR in generale. La seconda, invece, servirà a illustrare quali sono le sfide di uno sviluppo in questo mondo, usando un progetto applicativo come soluzione a queste sfide o almeno ad una loro parte.

Robosonic: Randomness-Based Manipulation of Sounds Assisted by Robots

In this text, we intend to explore the possibilities of sound manipulation in a context of augmented reality (AR) through the use of robots. We use the random behaviour of robots in a limited space for the real-time modulation of two sound characteristics: amplitude and frequency. We add the possibility of interaction with these robots, providing the user the opportunity to manipulate the physical interface by placing markers in the action space, which alter the behaviour of the robots and, consequently, the audible result produced. We intend to demonstrate through the agents, programming of random processes and direct manipulation of this application, that it is possible to generate empathy in interaction and obtain specific audible results, which would be difficult to otherwise reproduce due to the infinite loops that the interaction promotes.

Robosonic: Manipulação de Sons Aleatória Assistida por Robots

Neste texto, pretendemos explorar as possibilidades de manipulação de sons num contexto de realidade aumentada (AR) através da utilização de robots. Utilizamos o comportamento aleatório dos robots, num espaço circunscrito para a modulação em tempo real de duas características do som: a amplitude e a frequência. Acrescentamos a possibilidade de interacção com estes robots dando a oportunidade ao utilizador de manipular a interface física, colocando markers no espaço de acção que alterem o comportamento dos robots e, por conseguinte, o resultado sonoro produzido. Pretendemos demonstrar que através de agentes, programação de aleatórios e manipulação directa desta aplicação, se pode gerar empatia na interacção e atingir resultados sonoros específicos, difíceis de reproduzir de outra forma devido aos ciclos infinitos que a interacção promove.

Realism in Gameplay: Digital Fiction and Embodiment

In this article we argue that digital simulations promote and explore complex relations between the player and the machines cybernetic system with which it relates through gameplay, that is, the real application of tactics and strategies used by participants as they play the game. We plan to show that the realism of simulation, together with the merger of artificial objects with the real world, can generate interactive empathy between players and their avatars. In this text, we intend to explore augmented reality as a means to visualise interactive communication projects. With ARToolkit, Virtools and 3ds Max applications, we aim to show how to create a portable interactive platform that resorts to the environment and markers for constructing the games scenario. Many of the conventional functions of the human eye are being replaced by techniques where images do not position themselves in the traditional manner that we observe them (Crary, 1998), or in the way we perceive the real world. The digitalization of the real world to a new informational layer over objects, people or environments, needs to be processed and mediated by tools that amplify the natural human senses.