Application of Time-Delay Estimation to Mixed Reality Multisensor Tracking

Spatial tracking is one of the most challenging and important parts of Mixed Reality environments. Many applications, especially in the domain of Augmented Reality, rely on the fusion of several tracking systems in order to optimize the overall performance. While the topic of spatial tracking sensor fusion has already seen considerable interest, most results only deal with the integration of carefully arranged setups as opposed to dynamic sensor fusion setups. A crucial prerequisite for correct sensor fusion is the temporal alignment of the tracking data from several sensors. Tracking sensors are typically encountered in Mixed Reality applications, are generally not synchronized. We present a general method to calibrate the temporal offset between different sensors by the Time Delay Estimation method which can be used to perform on-line temporal calibration. By applying Time Delay Estimation on the tracking data, we show that the temporal offset between generic Mixed Reality spatial tracking sensors can be calibrated. To show the correctness and the feasibility of this approach, we have examined different variations of our method and evaluated various combinations of tracking sensors. We furthermore integrated this time synchronization method into our UBITRACK Mixed Reality tracking framework to provide facilities for calibration and real-time data alignment.

A Ground-Truth Video Dataset for the Development and Evaluation of Vision-based Sense-and-Avoid systems

The importance of vision-based systems for Sense-and-Avoid is increasing nowadays as remotely piloted and autonomous UAVs become part of the non-segregated airspace. The development and evaluation of these systems demand flight scenario images which are expensive and risky to obtain. Currently Augmented Reality techniques allow the compositing of real flight scenario images with 3D aircraft models to produce useful realistic images for system development and benchmarking purposes at a much lower cost and risk. With the techniques presented in this paper, 3D aircraft models are positioned firstly in a simulated 3D scene with controlled illumination and rendering parameters. Realistic simulated images are then obtained using an image processing algorithm which fuses the images obtained from the 3D scene with images from real UAV flights taking into account on board camera vibrations. Since the intruder and camera poses are user-defined, ground truth data is available. These ground truth annotations allow to develop and quantitatively evaluate aircraft detection and tracking algorithms. This paper presents the software developed to create a public dataset of 24 videos together with their annotations and some tracking application results.

Simbologia em realidade aumentada móvel

Tese de mestrado, Engenharia Informática (Sistemas de Informação), Universidade de Lisboa, Faculdade de Ciências, 2016

Applicazioni di Mixed Reality e Microsoft Hololens: studio e riprogettazione del concetto di ologramma e della relativa gestione all'interno di un'applicazione olografica.

La tesi presenta una panoramica sull'augmented, virtual e mixed reality, descrivendone le caratteristiche e le modalità di sviluppo. Come caso di studio viene analizzato il dispositivo Microsoft Hololens, descrivendone le caratteristiche concettuali, hardware e software. Per le applicazioni di questo dispositivo viene effettuata una riprogettazione della gestione e del concetto di ologramma all'interno di un'applicazione olografica, analizzandone i motivi e i vantaggi. E' fornita una overview sui dettagli implementativi della riprogettazione al fine di chiarire ogni aspetto dell'applicazione.

Sistema de realidade aumentada no procedimento cirúrgico de remoção de pedras nos rins

A inovação tecnológica e as facilidades que gera tem tido um impacto crescente em diversas área, inclusivamente na medicina. A rápida evolução por parte de algumas tecnologias, como é o caso da Realidade Aumentada (RA), criam excelentes oportunidades, nomeadamente para intervenções cirúrgicas laparoscópicas, que apresentam especialmente problemas ao nível da exposição do doente a radiação. O presente documento detalha todo o processo de investigação e desenvolvimento realizado com a pretensão de criar um sistema de navegação por RA que auxilie o procedimento cirúrgico laparoscópico de remoção de pedras nos rins. Com este objetivo em perspetiva, e numa parceria com a empresa ECmedica LTD, foram desenvolvidos quatro protótipo funcionais. Com o intuito de compreender as melhores práticas de sistemas de input, interface e sistema de registo a aplicar, estes integraram aspetos inovadores tais como a utilização de uma sonda ultra-som, como substituta do raioX, e um registo feito através de sensores magnéticos. Apoiados numa metodologia de design centrado no utilizador e em instrumentos de análise como entrevistas e observação natural, os protótipos foram testados, obtendo respostas esclarecedoras relativamente ao objetivos dos protótipos. Foi observado que a RA é vista pelos médicos como uma solução com potencial, com as soluções apresentadas ao nível de inputs, interface e registo a serem bem recebidas. A projeção bidimensional oferecida pela imagem ultra-som foi encarada como insuficientes, sendo sugerida a sua substituição por um aumento tridimensional capaz de facilitar a correta inserção da agulha.

Novo roteiro para a Arte Nova em Aveiro e Ílhavo: proposta de uma aplicação mobile

A presente investigação tem como objeto de estudo a Arte Nova nas cidades de Aveiro e Ílhavo, traduzindo-se posteriormente na criação de uma aplicação mobile de um roteiro diferenciador referente ao património Arte Nova localizado nas duas cidades. Existe em Aveiro, uma tomada de consciência notória relativa ao património que se enquadra no espírito e nas características do estilo Arte Nova. Isso em muito se deve à originalidade e diversidade de interpretações que a caracterizam localmente. No entanto, apesar dos melhoramentos efetuados na comunicação deste património, especialmente depois da reabilitação do edifício Mário Belmonte Pessoa e da sua transformação em Museu Arte Nova, o roteiro atual não contempla todos os artefactos do estilo existentes na cidade e exclui aqueles que se encontram fora do centro urbano da cidade de Aveiro. Em Ílhavo a realidade é completamente díspar da encontrada na cidade vizinha, Aveiro, não existindo grande decoro pelo tratamento da informação referente ao estilo Arte Nova, apenas algumas referencias breves em guias culturais e um roteiro limitado no site da Câmara Municipal de Ílhavo. Paralelamente a isto, a região de Aveiro tornou-se numa das regiões com o espólio mais significativo do país. Dada à sua importância cultural e local, o roteiro diferenciador que propomos nesta investigação irá intervir de forma a melhorar o que já existe, passando pelo aprofundamento de conhecimentos sobre o tema, catalogação, cruzamento e agrupamento de toda a informação dos artefactos que se encontrem dispersos pelas duas cidades, de forma a tornar mais fácil a procura e o acesso à informação. Numa primeira fase, a investigação irá focar-se nos conteúdos afetos a cada um dos artefactos, sendo estes metodologicamente trabalhados através do método triangular de Francisco Providência, a interpretação autoral (autoria) que se traduz na evolução dos edifícios (tecnologia) e a relevância da sua história (programa) para o património nacional. Posteriormente, os conteúdos anteriormente referidos serão adaptados a uma aplicação mobile que facilitará o acesso à informação previamente selecionada referente a cada artefacto, apresentando uma breve história sobre as manifestações da Arte Nova nas cidades de Aveiro e Ílhavo. Esta aplicação mobile permitirá perceber a evolução dos edifícios desde a sua construção até à atualidade, ao nível de recuperação estrutural ou da falta de reabilitação e recuperação dos mesmos. Contribuirá para conhecer se os edifícios mantiveram (ou não) as suas características originais relativas ao desenho e tecnologia, para tal fará valerse de tecnologias como Realidade Aumentada, assim como os princípios de elaboração e leitura de QR codes, para facilitar o acesso, localização e compreensão dessa mesma informação, permitindo ainda que o seu utilizador embarque numa viagem no tempo e experiencie o roteiro de uma forma diferente. Paralelamente, pretende-se que este roteiro funcione como um roteiro único do património Arte Nova nas duas cidades, com o intuito de se expandir a outras cidades e se tornar num roteiro único do património Arte Nova na região de Aveiro. A diversidade do património Arte Nova nesta região assenta no cunho pessoal e social que os proprietários atribuíram aos seus artefactos, assim como na formação e a capacidade artística fortemente influenciada pela técnica pessoal, temperamento e sensibilidade dos seus autores, fazendo destes artefactos autênticas obras de arte, que merecem o seu estudo. Constatou-se, ao nível dos resultados que o protótipo da aplicação mobile, se adequaram ao que foi anunciado, a nível investigativo, e por isso, interessou a este estudo confirmar a demonstração do que foi enunciado. No entanto, concluiu-se que o respetivo protótipo necessita de ser ‘afinado’ em estudos futuros. Independentemente, das fragilidades encontradas, considera-se que este protótipo de aplicação mobile poderá servir como meio de excelência para a integração de conteúdos que vão mais além do que a visualização dos artefactos. Assim, contribui-se para o adensamento e acesso ao conhecimento sobre a história da Arte Nova em Portugal.

Miradouro Virtual(R)

Esta tese pretende descrever o desenvolvimento e arquitectura do software que constitui o Miradouro Virtual@, mais especificamente do componente referente à interface. O Miradouro Virtual@ é um dispositivo cujo propósito à semelhança dos tradicionais binóculos turísticos, é observar a paisagem, mas cuja interacção não está limitada à simples observação individual. Recorre à realidade aumentada para sobrepôr imagens geradas por computador a imagens reais, capturadas por um dispositivo para aquisição de imagem real (tipicamente uma câmara de vídeo), e mostra-as num ecrã touchscreen, permitindo deste modo, combinar elementos virtuais e multimédia com a paisagem real. A imagem final, composta, dá ao utilizador uma nova dimensão do espaço envolvente, permitindo-lhe explorar uma nova camada de informação não visível anteriormente. Sendo sensíveis à orientação do Miradouro Virtual@, os elementos virtuais e multimédia adaptam-se de acordo com os movimentos do dispositivo. O Miradouro Virtual@ é um produto composto por diversos elementos de hardware e software. O foco desta tese recai apenas nos componentes de software, mais especificamente na interface. Pretende dar a conhecer as limitações da versão anterior do software e mostrar as soluções encontradas que permitiram ultrapassar algumas dessas limitações. ABSTRACT; This thesis focuses on the design and development of the Virtual Sightseeing™ software, more specifically on the interface component. The Virtual Sightseeing™ is a device similar to the traditional scenic viewers that takes advantage of its generally known and popularity to build an innovative system. It works by using augmented reality to superimpose, in real-time, images generated by a computer onto a live stream captured by a video camera and displaying them on a touchscreen display. It allows adding multimedia elements to the real scenery by composing them in the image that is presented to the user. The multimedia information and virtual elements that are displayed are sensitive to the orientation and position of the device. They change as the user manually changes the orientation of the device. The Virtual Sightseeing™ is comprised of several hardware and software components. The focus of this thesis is on the software part, more specifically on the interface component. It intends to show the known limitations of the previous software version and how they were overcome in this new version.

Corpos tatuados : experiências sensíveis em realidade aumentada móvel

Tese (doutorado)—Universidade de Brasília, Instituto de Artes, Programa de Pós-Graduação em Artes, 2015.

A visualisation framework for collaborative virtual environment usage information

Due to the popularity of modern Collaborative Virtual Environments, there has been a related increase in their size and complexity. Developers therefore need visualisations that expose usage patterns from logged data, to understand the structures and dynamics of these complex environments. This chapter presents a new framework for the process of visualising virtual environment usage data. Major components, such as an event model, designer task model and data acquisition infrastructure are described. Interface and implementation factors are also developed, along with example visualisation techniques that make use of the new task and event model. A case study is performed to illustrate a typical scenario for the framework, and its benefits to the environment development team.

Real estate 2.0 : towards a value ecology?

This paper anatomises emerging developments in online community engagement in a major global industry: real estate. Economists argue that we are entering a ‘social network economy’ in which ‘complex social networks’ govern consumer choice and product value. In the light of this, organisations are shifting from thinking and behaving in the conventional ‘value chain’ model--in which exchanges between firms and customers are one-way only, from the firm to the consumer--to the ‘value ecology’ model, in which consumers and their networks become co-creators of the value of the product. This paper studies the way in which the global real estate industry is responding to this environment. This paper identifies three key areas in which online real estate ‘value ecology’ work is occurring: real estate social networks, games, and locative media / augmented reality applications. Uptake of real estate applications is, of course, user-driven: the paper not only highlights emerging innovations; it also identifies which of these innovations are actually being taken up by users, and the content contributed as a result. The paper thus provides a case study of one major industry’s shift into a web 2.0 communication model, focusing on emerging trends and issues.

Research for Action : Networking University and Community for Social Responsibility (Workshop)

This workshop brings together people from a diverse range of disciplines to discuss how academic researchers and community practitioners and activists can work together to explore the use of information and communication technologies, social media, augmented reality, and other forms of network technologies for research and action in pursuit of social responsibility. The aim is to connect people with ideas, ideas with research projects, and harness new media to further inquiry into socially just outcomes in our community.

Research in action for community informatics : A matter for conversation (editorial introduction)

This special issue of the Journal of Community Informatics brings together people from a diverse range of disciplines to discuss how academic researchers and community practitioners and activists can work together to explore the use of information and communication technologies, social media, augmented reality, and other forms of network technologies for research and action in pursuit of social responsibility. The aim is to connect people with ideas, ideas with research projects, and harness new media to further inquiry into socially just outcomes in our community. Some of the papers are based on presentations given at the "Research for Action: Networking University and Community for Social Responsibility" workshop chaired by Matthew Allen and Marcus Foth, at the Making Links 2010 conference in Perth, WA on 15 Nov 2010.

Gartner Surface Process Modelling movie

AR process modelling movie presented at Gartner BPM Summit in Sydney, August, 2011. Video showing us using the MS Surface at QUT to perform collaborative process modelling.

Mystery at the library : encouraging library exploration using a pervasive mobile game

This paper presents Secret SLQ, a pervasive mobile game that aims to encourage eight to fourteen year olds to engage with the State Library of Queensland. The game sets out to encourage people to visit and explore the library, as well as educate a generation of young people and parents who may visit the library but have no idea of the treasures that it holds. The research explores how smartphone technology can be used to deliver an engaging and educational experience. The game aims to provide a fun and interactive way to guide participants through a multi-leveled library building, to search for unique QR codes to unlock clues, answer quiz questions and progress further up a leaderboard. This paper outlines the design and initial deployment of the game, reporting on results from a usability study and discussing initial observations made by librarians. Findings indicate that the mobile platform is suitable for delivering such experiences but consideration is needed when embedding games in such large environments so as not to confuse players as they play.