Realism in Gameplay: Digital Fiction and Embodiment

In this article we argue that digital simulations promote and explore complex relations between the player and the machines cybernetic system with which it relates through gameplay, that is, the real application of tactics and strategies used by participants as they play the game. We plan to show that the realism of simulation, together with the merger of artificial objects with the real world, can generate interactive empathy between players and their avatars. In this text, we intend to explore augmented reality as a means to visualise interactive communication projects. With ARToolkit, Virtools and 3ds Max applications, we aim to show how to create a portable interactive platform that resorts to the environment and markers for constructing the games scenario. Many of the conventional functions of the human eye are being replaced by techniques where images do not position themselves in the traditional manner that we observe them (Crary, 1998), or in the way we perceive the real world. The digitalization of the real world to a new informational layer over objects, people or environments, needs to be processed and mediated by tools that amplify the natural human senses.

Sistema de digitalização, detecção e classificação automática de recibos em dispositivos móveis

Ao longo dos últimos anos tem-se assistido a uma rápida evolução dos dispositivos móveis. Essa evolução tem sido mais intensa no poder de processamento, na resolução e qualidade das câmaras e na largura de banda das redes móveis de nova geração. Outro aspecto importante é o preço, pois cada vez mais existem dispositivos móveis avançados a um preço acessível, o que facilita a adopção destes equipamentos por parte dos utilizadores. Estes factores contribuem para que o número de utilizadores com “computadores de bolso” tenda a aumentar, possibilitando cada vez mais a criação de ferramentas com maior complexidade que tirem partido das características desses equipamentos. Existem muitas aplicações que exploram estas características para facilitar o trabalho aos utilizadores. Algumas dessas aplicações conseguem retirar informação do mundo físico e fazer algum tipo de processamento, como por exemplo, um leitor de códigos QR ou um OCR (Optical Character Recognizer). Aproveitando o potencial dos dispositivos móveis actuais, este trabalho descreve o estudo, a implementação e a avaliação de uma aplicação de realidade aumentada para adquirir e gerir recibos em papel de forma automática e inteligente. A aplicação utiliza a câmara do dispositivo para adquirir imagens dos recibos de forma a poder processá-las recorrendo a técnicas de processamento de imagem. Tendo uma imagem processada do recibo é efectuado um reconhecimento óptico de caracteres para extracção de informação e é utilizada uma técnica de classificação para atribuir uma classe ao documento. Para um melhor desempenho do classificador é utilizada uma estratégia de aprendizagem incremental. Após a correcta classificação é possível visualizar o recibo com informação adicional (realidade aumentada). O trabalho proposto inclui também a avaliação da interface e dos algoritmos desenvolvidos.

PSiS mobile

Os sistemas de recomendação têm vindo a ser cada vez mais utilizados nos últimos anos. Por isso, é imprescindível que estes sistemas se adaptem à evolução da sociedade incluindo cada vez mais novas funcionalidades, tais como a adaptação do sistema ao contexto da pessoa. Esta adaptação pode ser feita através de, por exemplo, dispositivos móveis, que têm vindo a apresentar uma taxa de crescimento de vendas muito grande. Dada a crescente integração dos sistemas de recomendação com os sistemas móveis, foi elaborado um estudo sobre o estado da arte dos sistemas de auxílio ao turista que utilizam dispositivos móveis, sendo apresentadas as suas vantagens e desvantagens. Estes sistemas móveis de auxílio a turistas foram divididos em dois grupos: os que apresentam apenas a informação sobre pontos de interesse e os sistemas que são capazes de efectuar recomendações, com base no perfil do turista. Um breve estudo sobre os sistemas operativos para dispositivos móveis é apresentado, sendo especialmente focado o sistema operativo Android que foi o escolhido para esta implementação. Como os dispositivos móveis, actualmente, ainda possuem várias limitações, estas foram descritas e apresentadas as boas práticas no desenvolvimento de aplicações para este tipo de sistemas. É também apresentado um estudo que visa descobrir qual é o método mais leve e mais rápido para trocar dados entre a parte servidora e a parte móvel. Com a parte introdutória apresentada, é exposto o projecto desenvolvido nesta tese, o PSiS Mobile. Este sistema é um módulo que faz parte do projecto PSiS e pretende trazer todas as vantagens dos sistemas móveis para o sistema base já implementado. O projecto PSiS foca-se no estabelecimento de planos de visita personalizados com indicação de percursos para turistas com tempo limitado. Apoiando a definição de planos de visitas de acordo com o perfil do turista (interesses, valores pessoais, desejos, restrições, deficiências, etc.) combinando os produtos de turismo mais adequados (locais de interesse, eventos, restaurantes, etc.) em itinerários eficientes. A utilização de dispositivos móveis para acompanhamento da visita permite uma rápida interacção entre o turista e o sistema. Assim, o PSiS poderá recolher informação contextual do utilizador para que o perfil do mesmo seja enriquecido. O sistema apresentado é composto por duas partes: a parte cliente e a parte servidora. Toda a informação, como por exemplo o perfil do turista, histórico de viagens e valores de similaridade entre utilizadores está presente na parte servidora. O processo de recomendação também é efectuado pela aplicação servidora, sendo esta a responsável pela atribuição de uma classificação aos pontos de interesse tendo em conta o perfil do utilizador em causa. A base de dados do PSiS possui toda a informação relativa aos pontos de interesse numa determinada cidade ou região e o portfólio completo do histórico de visitas de cada utilizador. A componente móvel é uma parte muito importante para o sistema, pois interage com o utilizador no terreno. Um dispositivo móvel como o PDA, não só permite a apresentação de informação relevante ao utilizador, como também permite a recolha automática de informação contextual (por exemplo, a localização). Toda esta informação contribui para a definição de um perfil completo e para uma melhor adaptação do sistema às necessidades do utilizador. De forma a nem sempre estar dependente do servidor, a aplicação móvel possui rotinas para a realização de recomendações básicas. Ou seja, a aplicação móvel não realiza a classificação dos pontos de interesse, mas apenas mostra os principais resultados já formados pela parte servidora. Por exemplo, se um utilizador gostar de comida Chinesa, um restaurante Chinês nas imediações irá ter uma boa classificação e, por isso, ser recomendado. A aplicação móvel mostra ao turista o percurso definido para o dia em que o mesmo se encontra, sendo feito o rastreio do trajecto que o mesmo efectua. Assim, o sistema consegue saber se o horário do planeamento está a ser cumprido ou não. Caso não esteja, é invocado um algoritmo de planeamento que irá tentar corrigir o atraso ou o adiantamento perante o horário inicial. Depois de visitar um ponto de interesse, é pedido ao utilizador para fornecer feedback sobre o mesmo. Se desejado também é possível mostrar os pontos de interesse existentes perto do turista (usando as coordenadas GPS obtidas pelo dispositivo móvel) organizados por categorias, raio de distância, etc. Apesar dos dispositivos móveis possuírem várias restrições, pretendeu-se proporcionar ao utilizador uma boa experiência, através de uma aplicação rápida, de fácil utilização e adaptável, incluindo funcionalidades de planeamento, realidade aumentada e integração com a rede social do sistema. Todos estes factores contribuem para a disponibilização de informação detalhada ao turista.

Desenvolvimento de recursos educativos em dispositivos móveis - RealHiBook

Nos últimos anos têm existido bastantes pesquisas e um grande investimento quer na área da educação à distância quer ao nível das tecnologias móveis. A dada altura percebeu-se que cada vez mais poderiam ser utilizados dispositivos móveis no contexto da educação e de que estes já seriam capazes de responder às exigências necessárias para que fosse possível criar ou melhorar cenários com recursos educativos. Este trabalho tem como objetivo propor um modelo que facilite a aprendizagem em dispositivos móveis. Nesse sentido, decidiu-se que seria uma mais-valia adicionar a este projeto, a utilização da Realidade Aumentada como potenciador de melhorias no processo de aprendizagem. A Realidade Aumentada, a par do que acontece com a educação à distância e com as tecnologias móveis, é uma área alvo de constantes investigações e inovação. Apresenta como principal capacidade a interação do utilizador com vários modelos virtuais incluídos numa cena real. Esta capacidade proporciona experiências que podem contribuir para o aumento da motivação e da perceção por parte dos alunos. A forma como o utilizador interage com as aplicações móveis é vista com extrema importância, principalmente na área da educação. Aliar uma boa interação à utilização da Realidade Aumentada, é parte integrante deste trabalho. Foram estudados exemplos de interações e formas como o utilizador vive a experiência durante a utilização de aplicações que partilham o mesmo tipo de tecnologias utilizadas neste projeto. O objetivo final foca-se na criação de uma aplicação, capaz de fornecer uma experiência enriquecedora no âmbito do ensino, ligado ao tema história e que consiga fundamentar a criação de um modelo que facilite a aprendizagem utilizando plataformas móveis. Os objetivos são corroborados por um conjunto de testes efetuados à aplicação e pelos resultados obtidos através de um questionário feito a um grupo de pessoas que testaram o protótipo.

Desenvolvimento de um head-mounted display estereoscópio

Dissertação para obtenção do Grau de Mestre em Engenharia Física

Technology enhanced learning and augmented reality : an application on multimedia interactive books

Multimedia Interactive Book (miBook) reflects the development of a new concept of virtual interpretation of traditional text books and audio-visual content. By encompassing new technological approaches, using augmented reality technology, allows the final user to experience a variety of sensorial stimuli while enjoying and interacting with the content; therefore enhancing the learning process. miBook stands for a global educational intention to enable people not only to access but also to appropriate intellectually valuable contents coming from different linguistic and cultural contexts.

A low cost one-camera optical tracking system for indoor wide-area augmented and virtual reality environments

In the last years the number of industrial applications for Augmented Reality (AR) and Virtual Reality (VR) environments has significantly increased. Optical tracking systems are an important component of AR/VR environments. In this work, a low cost optical tracking system with adequate attributes for professional use is proposed. The system works in infrared spectral region to reduce optical noise. A highspeed camera, equipped with daylight blocking filter and infrared flash strobes, transfers uncompressed grayscale images to a regular PC, where image pre-processing software and the PTrack tracking algorithm recognize a set of retro-reflective markers and extract its 3D position and orientation. Included in this work is a comprehensive research on image pre-processing and tracking algorithms. A testbed was built to perform accuracy and precision tests. Results show that the system reaches accuracy and precision levels slightly worse than but still comparable to professional systems. Due to its modularity, the system can be expanded by using several one-camera tracking modules linked by a sensor fusion algorithm, in order to obtain a larger working range. A setup with two modules was built and tested, resulting in performance similar to the stand-alone configuration.

SMART: system of augmented reality for teaching

Os computadores e os jogos de consola, são um vocabulário bem comum dos jovens e das crianças de hoje. No entanto, na maior parte das escolas, o processo de ensino-aprendizagem continua a ser feito da forma tradicional através do recurso aos quadros pretos e aos cadernos. Este projecto pretende mostrar que, se as aulas forem dadas de uma forma mais interactiva, as crianças estarão mais motivadas e consequentemente a taxa de aprendizagem terá tendência a aumentar. Pretende-se então, utilizar a tecnologia – a Realidade Aumentada, acreditando que será uma mais valia para o ensino, pois permite estabelecer novas relações com o saber, ultrapassando os limites dos materiais tradicionais e contribuindo para a diminuição da distância entre os alunos e o conhecimento.

SysteM of augmented reality for teaching kids: smartkids

As crianças do jardim de infância/pré-escola são um grupo de utilizadores muito especiais, uma vez que se encontram numa fase inicial das suas vidas onde têm de aprender a viver em sociedade, isto é, aprender a ouvir e respeitar as opiniões dos outros, partilhar os mesmos objectos e também a ajudar-se mutuamente. Este estudo mostra que através da utilização da tecnologia Realidade Aumentada, estas crianças são capazes de colaborar de uma forma espontânea suportada pela motivação, envolvimento e curiosidade. Descreve-se o design e a avaliação de um jogo de Realidade Aumentada, que consiste num sistema educativo para o ensino de crianças do pré-escolar. Este jogo permite que as crianças explorem conceitos tais como os animais e os meios onde vivem através de marcadores de Realidade Aumentada e de um tabuleiro de madeira. Estes marcadores consistem nas peças do jogo e através deles, as crianças podem manipular objectos virtuais em 3D. Foram realizados testes com diversas turmas de crianças em diferentes ambientes de aprendizagem, nomeadamente em escolas e num museu. Os resultados sugerem que o jogo é eficaz para obter níveis altos de concentração, motivação e colaboração entre as crianças, particularmente quando o feedback do jogo é fornecido de forma imediata. Os resultados mostram também que o jogo tem um impacto positivo sobre a experiência de aprendizagem das crianças.

Odometria visual baseada em técnicas de structure from motion

Visual Odometry is the process that estimates camera position and orientation based solely on images and in features (projections of visual landmarks present in the scene) extraced from them. With the increasing advance of Computer Vision algorithms and computer processing power, the subarea known as Structure from Motion (SFM) started to supply mathematical tools composing localization systems for robotics and Augmented Reality applications, in contrast with its initial purpose of being used in inherently offline solutions aiming 3D reconstruction and image based modelling. In that way, this work proposes a pipeline to obtain relative position featuring a previously calibrated camera as positional sensor and based entirely on models and algorithms from SFM. Techniques usually applied in camera localization systems such as Kalman filters and particle filters are not used, making unnecessary additional information like probabilistic models for camera state transition. Experiments assessing both 3D reconstruction quality and camera position estimated by the system were performed, in which image sequences captured in reallistic scenarios were processed and compared to localization data gathered from a mobile robotic platform

Um sistema de rastreamento de câmeras para estúdios virtuais

Pós-graduação em Televisão Digital: Informação e Conhecimento - FAAC

Video mapping: um estudo teórico e prático sobre projeção mapeada

The project presents an explanation of the technique of video mapping, resource use, origin and use of the strands. Also conducts multidisciplinary literature review of concepts that can be applied to the technique of video mapping: Augmented Reality, Spatiality in Virtual and Real Environments. The project also introduces aspects of the history of cinema and audiovisual narrative. In addition conducts an inventory of software and hardware required for the technique of video mapping, reports performing experiments with the use of the technique and discusses the results obtained. As a contribution to development area, proposes to use video mapping as an augmented reality tool at an immersive experimental film language

O aprimoramento de um software de estúdio virtual por meio de técnicas de matting digital e registro de objetos virtuais

A virtual studio system can use technologies as augmented reality and digital matting to decrease production costs at the same time it provides the same resources of a conventional studio. With this, it’s possible for the current studios, with low cost and using conventional devices, to create productions with greater image quality and effects. Some difficulties are recurrent in virtual studio applications that use augmented reality and digital matting. The virtual objects registration in augmented reality techniques suffer from problems caused by optical distortions in the camera, errors in the marker tracking system, lack of calibration on the equipments or on the environment (lighting, for example), or even by delays in the virtual objects display. On the other hand, the digital matting’s main problem is the real-time execution to preview the scene, which must have optimized processing speed at the same time while maintain the best image quality possible. Taking the given context into consideration, this work aims to give continuity to a virtual studio system called ARStudio, by enhancing digital matting, virtual objects registration and introducing a segmentation based on depth map, yet adding better control over functionalities previously implemented

ARBOT: augmented reality system for teaching logic algorithmic

This article purposes the ARBot, a system that has as main objective the presentation of concepts of logic for students of elementary and secondary education. The system was developed using the technology known as Augmented Reality (AR), which allows complement the actual environment where the user is, by adding virtual objects. In this scenario the RA created from a virtual game interface is used, through which cognitive challenges are presented. To solve these challenges, users must set up three-dimensional virtual characters using visual language. As a result it follows that, in a playful way, concepts of algorithms and programming are assimilated by users. In addition, the system enables two users to interact in a cooperative game mode. In cooperative mode, the system focuses on collaborative learning, since it allows users to jointly solve the cognitive challenge presented by the system.

Interação com objetos digitais 3D em estúdios virtuais

Pós-graduação em Televisão Digital: Informação e Conhecimento - FAAC