A realidade aumentada na produção de conteúdos para TV digital

Pós-graduação em Televisão Digital: Informação e Conhecimento - FAAC

Software em língua portuguesa/Libras com tecnologia de realidade aumentada: ensinando palavras para alunos com surdez

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)

MVC-RA: múltiplas visões coordenadas em ambientes de realidade aumentada

Versa sobre a aplicação das características de um ambiente de realidade aumentada, tais como: interação fácil e intuitiva, e grande espaço para visualização de dados, na implementação, interação e visualização de múltiplas visões de dados coordenadas. As múltiplas visões de dados permitem que o usuário realize uma melhor análise dos dados sobre diferentes aspectos, e a coordenação entre as múltiplas visões tem o objetivo de diminuir a sobrecarga oogniriva conferida ao usuário. O ambiente aumentado foi concebido através do ARToolKit, a interação se dá através de uma interface baseada em cartões marcadores. A técnica implementada foi Dispersão de Dados 3D, acompanhada de uma diversidade de filtros e configurações para as visões de dados. Por fim, são apresentados alguns ensaios de usabilidade preliminares do protótipo desenvolvido.

Video mapping: um estudo teórico e prático sobre projeção mapeada

The project presents an explanation of the technique of video mapping, resource use, origin and use of the strands. Also conducts multidisciplinary literature review of concepts that can be applied to the technique of video mapping: Augmented Reality, Spatiality in Virtual and Real Environments. The project also introduces aspects of the history of cinema and audiovisual narrative. In addition conducts an inventory of software and hardware required for the technique of video mapping, reports performing experiments with the use of the technique and discusses the results obtained. As a contribution to development area, proposes to use video mapping as an augmented reality tool at an immersive experimental film language

O aprimoramento de um software de estúdio virtual por meio de técnicas de matting digital e registro de objetos virtuais

A virtual studio system can use technologies as augmented reality and digital matting to decrease production costs at the same time it provides the same resources of a conventional studio. With this, it’s possible for the current studios, with low cost and using conventional devices, to create productions with greater image quality and effects. Some difficulties are recurrent in virtual studio applications that use augmented reality and digital matting. The virtual objects registration in augmented reality techniques suffer from problems caused by optical distortions in the camera, errors in the marker tracking system, lack of calibration on the equipments or on the environment (lighting, for example), or even by delays in the virtual objects display. On the other hand, the digital matting’s main problem is the real-time execution to preview the scene, which must have optimized processing speed at the same time while maintain the best image quality possible. Taking the given context into consideration, this work aims to give continuity to a virtual studio system called ARStudio, by enhancing digital matting, virtual objects registration and introducing a segmentation based on depth map, yet adding better control over functionalities previously implemented

Validação de aplicativo comercial visando a incorporação da realidade aumentada a um modelo de avaliação pós-ocupação

Post-Occupancy Evaluation of buildings considers user satisfaction, building pathologies and performance, as well as users interventions in the built environment. The possibility of identifying interventions regardless of the user could provide a significant gain in the efficiency of Post-Occupancy Evaluations. We foresee the application of Augmented Reality (AR) to improve the identification of renovations by overlapping the construction information model with an image of the actual building. This article validates the use of AR on existing smartphone and tablet applications. This study proposes the incorporation of AR into the planning, execution and application of Post-Occupancy Evaluation. For the planning, this study proposes the development of a new research tool. With regards to the execution, this study examined the data collection conditions on site through the visualization of overlapping models. For the application, this study proposes displaying the results through the use of RA information layers. The transparency oft he RA model was used to allow comparison between the virtual model and the real model. The development and adaptation of the virtual model and the solution developed for the experiment of the RA proposal are presented and discussed. The experiment points to shortcomings that still make the proposed technological solution unfeasible.

Uma metodologia para a geração de conteúdos digitais baseado na utilização de estudios virtuais com realidade aumentada

Pós-graduação em Televisão Digital: Informação e Conhecimento - FAAC

ARSTUDIO: estúdio virtual para produção de conteúdos audiovisuais em realidade aumentada para a TV Digital

“Virtual Studio” is a system developed for the creation of virtual sets, as well as any threedimensional virtual objects that can be digitally integrated to the scenes captured on a real television studio. Through techniques such as chroma-key, computer graphics , augmented reality and virtual reality is possible flexibility in producing content for digital TV, reduce cost and meet 12.485/2011 law, the Brazilian “Law of Pay TV”, which has among its objectives “to increase the production and circulation of diverse and quality Brazilian audiovisual content, generating jobs, income, royalties, professionalism and strengthening of national culture” (ANCINE , Brazilian Nacional Cinema Agency ). Based on this background, an overview of the benefits of using the technologies mentioned for the production of content for digital television is presented. This work involves the development of a system of Interactive Virtual Studio called ARSTUDIO per team of researchers from the Posgraduate Program in Digital Television: Information and Knowledge at UNESP, São Paulo State University in Bauru, State of São Paulo, Brazil.

ARSTUDIO: estúdio virtual para produção de conteúdos audiovisuais em realidade aumentada para TV digital

Virtual Studio is a system developed for the creation of virtual sets , as well as any three-dimensional virtual objects that can be digitally integrated to the scenes captured on a real television studio . Through techniques such as chroma-key , computer graphics , augmented reality and virtual reality is possible flexibility in producing content for digital TV , reduce cost and meet 12.485/2011 law , the Brazilian Law of Pay TV , which has among its objectives to increase the production and circulation of diverse and quality Brazilian audiovisual content, generating jobs, income , royalties, professionalism and strengthening of national culture (ANCINE , Brazilian Nacional Cinema Agency ). Based on this background , an overview of the benefits of using the technologies mentioned for the production of content for digital television is presented . This work involves the development of a system of Interactive Virtual Studio called ARSTUDIO per team of researchers from the Posgraduate Program in Digital Television: Information and Knowledge at UNESP , São Paulo State University in Bauru , State of São Paulo, Brazil .

Interação com objetos digitais 3D em estúdios virtuais

Pós-graduação em Televisão Digital: Informação e Conhecimento - FAAC

Desenvolvimento de um método semiautomático para geração de ground truths de vídeos

Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)

Reti sociali e realtà aumentata: la digitalizzazione della vita quotidiana

Il mio progetto di ricerca è nato da una riflessione concernente una domanda fondamentale che si pongono gli studiosi della comunicazione digitale: le attuali tecnologie mediali che hanno creato nuovi modelli comunicativi e inaugurato inedite modalità di interrelazione sociale conducono a un dualismo digitale o a una realtà aumentata? Si è cercato di dare una risposta a questo interrogativo attraverso un’indagine compiuta su un social network, Facebook, che è la piattaforma digitale più diffusa nel mondo. L’analisi su Facebook, è stata preceduta da una riflessione sui concetti dello spazio e del tempo elaborati dalla letteratura filosofica e sociologica. Tale riflessione è stata propedeutica all’analisi volta a cogliere l’impatto che hanno avuto sulla relazionalità intersoggettiva e sulle dinamiche di realizzazione del sé l’interazione semantica nello spazio delimitato della piazza tradizionale, la molteplicità e la potenza seduttiva delle offerte comunicative dei media elettronici nella estensione della piazza massmediale e soprattutto la nascita e l’affermazione del cyberspazio come luogo della comunicazione nella piazza digitale. Se la peculiarità della piazza tradizionale è nel farsi dei rapporti face to face e quella della piazza massmediale nella funzione rilevante della fonte rispetto al destinatario, la caratteristica della piazza digitale consiste nella creazione autonoma di un orizzonte inclusivo che comprende ogni soggetto che si collega con la rete il quale, all’interno del network, riveste il doppio ruolo di consumatore e di produttore di messaggi. Con l’avvento dell’online nella prassi della relazionalità sociale si producono e si attuano due piani di interazioni comunicative, uno relativo all’online e l’altro relativo all’offline. L’ipotesi di lavoro che è stata guida della mia ricerca è che la pervasività dell’online conduca all’integrazione dei due segmenti comunicativi: l’esperienza della comunicazione digitale si inserisce nella prassi sociale quotidiana arricchendo i rapporti semantici propri della relazione face to face e influenzandoli profondamente.

Virtual sensing technology applied to a swarm of autonomous robots.

This thesis proposes a novel technology in the field of swarm robotics that allows a swarm of robots to sense a virtual environment through virtual sensors. Virtual sensing is a desirable and helpful technology in swarm robotics research activity, because it allows the researchers to efficiently and quickly perform experiments otherwise more expensive and time consuming, or even impossible. In particular, we envision two useful applications for virtual sensing technology. On the one hand, it is possible to prototype and foresee the effects of a new sensor on a robot swarm, before producing it. On the other hand, thanks to this technology it is possible to study the behaviour of robots operating in environments that are not easily reproducible inside a lab for safety reasons or just because physically infeasible. The use of virtual sensing technology for sensor prototyping aims to foresee the behaviour of the swarm enhanced with new or more powerful sensors, without producing the hardware. Sensor prototyping can be used to tune a new sensor or perform performance comparison tests between alternative types of sensors. This kind of prototyping experiments can be performed through the presented tool, that allows to rapidly develop and test software virtual sensors of different typologies and quality, emulating the behaviour of several hardware real sensors. By investigating on which sensors is better to invest, a researcher can minimize the sensors’ production cost while achieving a given swarm performance. Through augmented reality, it is possible to test the performance of the swarm in a desired virtual environment that cannot be set into the lab for physical, logistic or economical reasons. The virtual environment is sensed by the robots through properly designed virtual sensors. Virtual sensing technology allows a researcher to quickly carry out real robots experiment in challenging scenarios without all the required hardware and environment.

Ideazione di sistemi distribuiti collaborativi basati realta aumentata mobile: un caso di studio, con approfondimento relativo al livello delle comunicazioni

Il grande sviluppo a cui stiamo assistendo negli ultimi anni nell'ambito delle tecnologie mobile e del wearable computing apre le porte a scenari innovativi e interessanti per quanto riguarda sistemi distribuiti collaborativi. Le persone possono sempre più facilmente cooperare e scambiarsi informazioni grazie a queste nuove tecnologie e si può pensare allo sviluppo di sistemi che permettano forme molto avanzate di collaborazione facendo leva sull'aspetto hands-free, ovvero sulla possibilità di utilizzare dispositivi che liberino le mani, come i moderni smart-glasses. Per lo sviluppo di tali sistemi è necessario però studiare nuove tecniche e architetture, in quanto gli strumenti ad oggi a disposizione a supporto della realtà aumentata non sembrano essere del tutto adeguati per tale scopo. Infatti piattaforme come Wikitude o Layar, seppure offrano potenti tecniche di riconoscimento di markers e immagini e di rendering, non offrono quella dinamicità fondamentale per un sistema distribuito collaborativo. Questo scritto ha lo scopo di esplorare questi aspetti mediante l'ideazione, l'analisi, la progettazione e la prototipazione di un semplice caso di studio ispirato a sistemi collaborativi distribuiti basati su realtà aumentata. In particolare in questo lavoro si porrà l'attenzione sul livello delle comunicazioni e delle infrastrutture di rete.

Sistemi hands-free basati su smart-glass a supporto di attivita di customer care di un'impresa

Da alcuni anni in ambito business ed enterprise si sta diffondendo l'utilizzo di dispositivi wearable al fine di rendere più efficiente ed efficace la gestione di molteplici attività e processi aziendali. I sistemi hand-held comunemente utilizzati in ambito lavorativo, tra cui smartphone e tablet, spesso non risultano idonei in contesti in cui un operatore debba interagire con il dispositivo mentre ha le proprie mani impegnate con attrezzature e strumenti di lavoro. I sistemi hands-free rimediano a tali problematiche supportando tecniche di interazione non convenzionali che consentono all'operatore di mantenere libere le proprie mani durante la consultazione del dispositivo e di rimanere concentrato sull'attività che sta svolgendo. I sistemi basati su smart-glass, oltre ad offrire funzionalità hands-free, presentano l'ulteriore vantaggio di poter presentare all'interno del campo visivo dell'utente importanti informazioni di supporto inerenti all'attività che sta svolgendo, avvalendosi anche dell'utilizzo di tecnologie di realtà aumentata. La sinergia tra dispositivi basati su smart-glass e tecniche di realtà aumentata sta destando un crescente interesse sia in ambito accademico che industriale; esiste la possibilità che in un prossimo futuro questa tipologia di sistemi divenga la nuova piattaforma computazionale enterprise di riferimento. L'obiettivo di questo lavoro di tesi è stato lo studio e la progettazione di una soluzione hands-free basata su smart-glass in grado di supportare alcune attività di customer care del Gruppo Loccioni, una società che si occupa dello sviluppo di sistemi automatici di misura e controllo per migliorare la qualità, l'efficienza e la sostenibilità di prodotti, processi ed edifici. In particolare, il sistema sviluppato ha consentito di migliorare la gestione dei processi di manutenzione e riparazione degli impianti energetici sostenibili che il Gruppo Loccioni installa presso le sedi di imprese clienti.