Sistema de realidade aumentada no procedimento cirúrgico de remoção de pedras nos rins

A inovação tecnológica e as facilidades que gera tem tido um impacto crescente em diversas área, inclusivamente na medicina. A rápida evolução por parte de algumas tecnologias, como é o caso da Realidade Aumentada (RA), criam excelentes oportunidades, nomeadamente para intervenções cirúrgicas laparoscópicas, que apresentam especialmente problemas ao nível da exposição do doente a radiação. O presente documento detalha todo o processo de investigação e desenvolvimento realizado com a pretensão de criar um sistema de navegação por RA que auxilie o procedimento cirúrgico laparoscópico de remoção de pedras nos rins. Com este objetivo em perspetiva, e numa parceria com a empresa ECmedica LTD, foram desenvolvidos quatro protótipo funcionais. Com o intuito de compreender as melhores práticas de sistemas de input, interface e sistema de registo a aplicar, estes integraram aspetos inovadores tais como a utilização de uma sonda ultra-som, como substituta do raioX, e um registo feito através de sensores magnéticos. Apoiados numa metodologia de design centrado no utilizador e em instrumentos de análise como entrevistas e observação natural, os protótipos foram testados, obtendo respostas esclarecedoras relativamente ao objetivos dos protótipos. Foi observado que a RA é vista pelos médicos como uma solução com potencial, com as soluções apresentadas ao nível de inputs, interface e registo a serem bem recebidas. A projeção bidimensional oferecida pela imagem ultra-som foi encarada como insuficientes, sendo sugerida a sua substituição por um aumento tridimensional capaz de facilitar a correta inserção da agulha.

Realidade aumentada aplicada em bibliotecas: multiplicidade no acesso a informação

Conceitua Realidade Aumentada do ponto de vista histórico de vários autores e como surgiu esse segmento através da evolução tecnológica até os dias atuais. Aborda seu funcionamento, como também, seus sistemas e aplicações em diversos campos de pesquisas e estudos científicos. Diferencia Realidade Aumentada de Realidade Virtual, visando melhor esclarecimento entre ambas na intenção de descaracterizá-las com uma única “realidade”. Apresenta a Realidade Aumentada e sua aplicação dentro de um contexto de uma unidade de informação, promovendo uma melhor interação com os usuários e as adaptações pelas quais as bibliotecas terão que passar futuramente para se adequarem a “explosão” tecnológica. Descreve o funcionamento da biblioteca ARToolKIT, baseada em RA e suas principais etapas de funcionamento para visualização de objetos virtuais em 3D. Exemplifica os benefícios que uma unidade de informação, que utiliza Realidade Aumentada, promove aos usuários portadores de deficiência, além de sua inclusão no meio digital e sua inserção no mercado de trabalho

Dynamically balanced and plausible trajectory planning for human-like characters

International audience

Novo roteiro para a Arte Nova em Aveiro e Ílhavo: proposta de uma aplicação mobile

A presente investigação tem como objeto de estudo a Arte Nova nas cidades de Aveiro e Ílhavo, traduzindo-se posteriormente na criação de uma aplicação mobile de um roteiro diferenciador referente ao património Arte Nova localizado nas duas cidades. Existe em Aveiro, uma tomada de consciência notória relativa ao património que se enquadra no espírito e nas características do estilo Arte Nova. Isso em muito se deve à originalidade e diversidade de interpretações que a caracterizam localmente. No entanto, apesar dos melhoramentos efetuados na comunicação deste património, especialmente depois da reabilitação do edifício Mário Belmonte Pessoa e da sua transformação em Museu Arte Nova, o roteiro atual não contempla todos os artefactos do estilo existentes na cidade e exclui aqueles que se encontram fora do centro urbano da cidade de Aveiro. Em Ílhavo a realidade é completamente díspar da encontrada na cidade vizinha, Aveiro, não existindo grande decoro pelo tratamento da informação referente ao estilo Arte Nova, apenas algumas referencias breves em guias culturais e um roteiro limitado no site da Câmara Municipal de Ílhavo. Paralelamente a isto, a região de Aveiro tornou-se numa das regiões com o espólio mais significativo do país. Dada à sua importância cultural e local, o roteiro diferenciador que propomos nesta investigação irá intervir de forma a melhorar o que já existe, passando pelo aprofundamento de conhecimentos sobre o tema, catalogação, cruzamento e agrupamento de toda a informação dos artefactos que se encontrem dispersos pelas duas cidades, de forma a tornar mais fácil a procura e o acesso à informação. Numa primeira fase, a investigação irá focar-se nos conteúdos afetos a cada um dos artefactos, sendo estes metodologicamente trabalhados através do método triangular de Francisco Providência, a interpretação autoral (autoria) que se traduz na evolução dos edifícios (tecnologia) e a relevância da sua história (programa) para o património nacional. Posteriormente, os conteúdos anteriormente referidos serão adaptados a uma aplicação mobile que facilitará o acesso à informação previamente selecionada referente a cada artefacto, apresentando uma breve história sobre as manifestações da Arte Nova nas cidades de Aveiro e Ílhavo. Esta aplicação mobile permitirá perceber a evolução dos edifícios desde a sua construção até à atualidade, ao nível de recuperação estrutural ou da falta de reabilitação e recuperação dos mesmos. Contribuirá para conhecer se os edifícios mantiveram (ou não) as suas características originais relativas ao desenho e tecnologia, para tal fará valerse de tecnologias como Realidade Aumentada, assim como os princípios de elaboração e leitura de QR codes, para facilitar o acesso, localização e compreensão dessa mesma informação, permitindo ainda que o seu utilizador embarque numa viagem no tempo e experiencie o roteiro de uma forma diferente. Paralelamente, pretende-se que este roteiro funcione como um roteiro único do património Arte Nova nas duas cidades, com o intuito de se expandir a outras cidades e se tornar num roteiro único do património Arte Nova na região de Aveiro. A diversidade do património Arte Nova nesta região assenta no cunho pessoal e social que os proprietários atribuíram aos seus artefactos, assim como na formação e a capacidade artística fortemente influenciada pela técnica pessoal, temperamento e sensibilidade dos seus autores, fazendo destes artefactos autênticas obras de arte, que merecem o seu estudo. Constatou-se, ao nível dos resultados que o protótipo da aplicação mobile, se adequaram ao que foi anunciado, a nível investigativo, e por isso, interessou a este estudo confirmar a demonstração do que foi enunciado. No entanto, concluiu-se que o respetivo protótipo necessita de ser ‘afinado’ em estudos futuros. Independentemente, das fragilidades encontradas, considera-se que este protótipo de aplicação mobile poderá servir como meio de excelência para a integração de conteúdos que vão mais além do que a visualização dos artefactos. Assim, contribui-se para o adensamento e acesso ao conhecimento sobre a história da Arte Nova em Portugal.

Miradouro Virtual(R)

Esta tese pretende descrever o desenvolvimento e arquitectura do software que constitui o Miradouro Virtual@, mais especificamente do componente referente à interface. O Miradouro Virtual@ é um dispositivo cujo propósito à semelhança dos tradicionais binóculos turísticos, é observar a paisagem, mas cuja interacção não está limitada à simples observação individual. Recorre à realidade aumentada para sobrepôr imagens geradas por computador a imagens reais, capturadas por um dispositivo para aquisição de imagem real (tipicamente uma câmara de vídeo), e mostra-as num ecrã touchscreen, permitindo deste modo, combinar elementos virtuais e multimédia com a paisagem real. A imagem final, composta, dá ao utilizador uma nova dimensão do espaço envolvente, permitindo-lhe explorar uma nova camada de informação não visível anteriormente. Sendo sensíveis à orientação do Miradouro Virtual@, os elementos virtuais e multimédia adaptam-se de acordo com os movimentos do dispositivo. O Miradouro Virtual@ é um produto composto por diversos elementos de hardware e software. O foco desta tese recai apenas nos componentes de software, mais especificamente na interface. Pretende dar a conhecer as limitações da versão anterior do software e mostrar as soluções encontradas que permitiram ultrapassar algumas dessas limitações. ABSTRACT; This thesis focuses on the design and development of the Virtual Sightseeing™ software, more specifically on the interface component. The Virtual Sightseeing™ is a device similar to the traditional scenic viewers that takes advantage of its generally known and popularity to build an innovative system. It works by using augmented reality to superimpose, in real-time, images generated by a computer onto a live stream captured by a video camera and displaying them on a touchscreen display. It allows adding multimedia elements to the real scenery by composing them in the image that is presented to the user. The multimedia information and virtual elements that are displayed are sensitive to the orientation and position of the device. They change as the user manually changes the orientation of the device. The Virtual Sightseeing™ is comprised of several hardware and software components. The focus of this thesis is on the software part, more specifically on the interface component. It intends to show the known limitations of the previous software version and how they were overcome in this new version.

Bioleta Mata: una planta que interactúa por medio de realidad aumentada

Este documento describe una planta real dotada de un vehículo inteligente que le permite navegar por ambientes de interiores, responder a estímulos del ambiente, interactuar con seres humanos a través de realidad aumentada, detectar la presencia de fuego y solicitar ayuda por medio de Twitter. Los experimentos muestran que no hay falsos positivos en la detección de fuego, y que la detección de fuego es superior al 50% de las lecturas del sensor en distancias menores a 5 m, con línea de visión entre el sensor y la llama. La comunicación por radios XBee en ambientes de interiores es efectiva hasta por lo menos 25m de distancia entre los radios.

Evaluation of the GPS Accuracy of Tablets

Augmented Reality (AR) applications often require knowledge of the user’s position in some global coordinate system in order to draw the augmented content to its correct position on the screen. The most common method for coarse positioning is the Global Positioning System (GPS). One of the advantages of GPS is that GPS receivers can be found in almost every modern mobile device. This research was conducted in order to determine the accuracies of different GPS receivers. The tests included seven consumer-grade tablets, three external GPS modules and one professional-grade GPS receiver. All of the devices were tested with both static and mobile measurements. It was concluded that even the cheaper external GPS receivers were notably more accurate than the GPS receivers of the tested tablets. The absolute accuracy of the tablets is difficult to determine from the test results, since the results vary by a large margin between different measurements. The accuracy of the tested tablets in static measurements were between 0.30 meters and 13.75 meters.

A comparative study of navigation meshes

International audience

EACS: Effective Avoidance Combination Strategy

International audience

Contributions to 3D Data Registration and Representation

Nowadays, new computers generation provides a high performance that enables to build computationally expensive computer vision applications applied to mobile robotics. Building a map of the environment is a common task of a robot and is an essential part to allow the robots to move through these environments. Traditionally, mobile robots used a combination of several sensors from different technologies. Lasers, sonars and contact sensors have been typically used in any mobile robotic architecture, however color cameras are an important sensor due to we want the robots to use the same information that humans to sense and move through the different environments. Color cameras are cheap and flexible but a lot of work need to be done to give robots enough visual understanding of the scenes. Computer vision algorithms are computational complex problems but nowadays robots have access to different and powerful architectures that can be used for mobile robotics purposes. The advent of low-cost RGB-D sensors like Microsoft Kinect which provide 3D colored point clouds at high frame rates made the computer vision even more relevant in the mobile robotics field. The combination of visual and 3D data allows the systems to use both computer vision and 3D processing and therefore to be aware of more details of the surrounding environment. The research described in this thesis was motivated by the need of scene mapping. Being aware of the surrounding environment is a key feature in many mobile robotics applications from simple robotic navigation to complex surveillance applications. In addition, the acquisition of a 3D model of the scenes is useful in many areas as video games scene modeling where well-known places are reconstructed and added to game systems or advertising where once you get the 3D model of one room the system can add furniture pieces using augmented reality techniques. In this thesis we perform an experimental study of the state-of-the-art registration methods to find which one fits better to our scene mapping purposes. Different methods are tested and analyzed on different scene distributions of visual and geometry appearance. In addition, this thesis proposes two methods for 3d data compression and representation of 3D maps. Our 3D representation proposal is based on the use of Growing Neural Gas (GNG) method. This Self-Organizing Maps (SOMs) has been successfully used for clustering, pattern recognition and topology representation of various kind of data. Until now, Self-Organizing Maps have been primarily computed offline and their application in 3D data has mainly focused on free noise models without considering time constraints. Self-organising neural models have the ability to provide a good representation of the input space. In particular, the Growing Neural Gas (GNG) is a suitable model because of its flexibility, rapid adaptation and excellent quality of representation. However, this type of learning is time consuming, specially for high-dimensional input data. Since real applications often work under time constraints, it is necessary to adapt the learning process in order to complete it in a predefined time. This thesis proposes a hardware implementation leveraging the computing power of modern GPUs which takes advantage of a new paradigm coined as General-Purpose Computing on Graphics Processing Units (GPGPU). Our proposed geometrical 3D compression method seeks to reduce the 3D information using plane detection as basic structure to compress the data. This is due to our target environments are man-made and therefore there are a lot of points that belong to a plane surface. Our proposed method is able to get good compression results in those man-made scenarios. The detected and compressed planes can be also used in other applications as surface reconstruction or plane-based registration algorithms. Finally, we have also demonstrated the goodness of the GPU technologies getting a high performance implementation of a CAD/CAM common technique called Virtual Digitizing.

Corpos tatuados : experiências sensíveis em realidade aumentada móvel

Tese (doutorado)—Universidade de Brasília, Instituto de Artes, Programa de Pós-Graduação em Artes, 2015.

Média-arte locativa e mapeamentos dinâmicos na compreensão de fluxos urbanos : o contributo do dispositivo móvel na atividade do caminhar como prática artística

O interesse pela análise de espaços urbanos através de dispositivos comunicacionais móveis (de meios digitais) – perspetivando a sua transformação contando com a participação colaborativa da população – traduz o enquadramento geral da investigação. As práticas artísticas, complementadas por métodos de estudo de cidades (capazes de abordarem a respetiva complexidade de modo multioperativo e flexível), foram integradas na pesquisa tendo em linha de conta o acentuado desenvolvimento que as mesmas têm conhecido para a compreensão da atual condição urbana. O resultado foca a hibridização de processos que permitem acrescentar conhecimento coletivo sobre estruturas urbanas, expresso em mapeamentos dinâmicos que promovem leituras aumentadas de realidades urbanas. Assente no enquadramento teórico e respetiva revisão da literatura (abrangendo áreas disciplinares da média-arte locativa, da análise urbana e dos mapeamentos dinâmicos), procedeu-se ao desenvolvimento de dois artefactos complementares, cuja elaboração implicou três fases: i) pré-produção; ii) produção; iii) pós-produção. Na primeira, conceptualizaram-se os artefactos, definindo-se critérios e especificando parâmetros de análise. Complementarmente, consideraram-se softwares a utilizar bem como a seleção de atores urbanos que participaram em experiências associadas à investigação. No que se refere à produção, encetaram-se diversas ações de apropriação e apreensão de espaços urbanos selecionados na Vila de Caminha, recorrendo à técnica do caminhar mediado pela tecnologia. Na terceira fase, a informação resultante foi analisada, comparada e sistematizada através de uma reflexão final. Registaram-se marcas e apropriações na Vila de Caminha, integrando abordagens da média-arte locativa, da morfologia urbana e tecnologias digitais. A partir desta metodologia, a resposta aos objetivos da investigação contribui para a colmatação da lacuna identificada no estado arte, dado demonstrar-se a relevância da convergência operativa entre a apreensão urbana e os fluxos informacionais e comunicacionais para o revelar de vivências espaciais urbanas quotidianas (passadas e presentes) que ocorrem sobre a estrutura física das cidades. Em síntese, as práticas artísticas, provindas da média-arte locativa, expressam – em mapeamentos dinâmicos e através de realidade aumentada – o devir coletivo de experiências individuais nos espaços das cidades, acrescentando histórias à sua memória e história urbana.

Eye for an eye

Artist David Lyons and computer scientist David Flatla work collaboratively to create art that intentionally targets audiences of varying visual abilities mediated through smart device interfaces. Conceived as an investigation into theories and practices of visual perception, they explore the idea that artwork can be intentionally created to be experienced differently dependent on one’s visual abilities. They have created motion graphics and supporting recolouring and colour vision deficiency (CVD) simulation software. Some of the motion graphics communicate details specifically to those with colour blindness/CVD by containing moving imagery only seen by those with CVD. Others will contain moving images that those with typical colour vision can experience but appear to be unchanging to people with CVD. All the artwork is revealed for both audiences through the use of specially programmed smart devices, fitted with augmented reality recolouring and CVD simulation software. The visual elements come from various sources, including the Ishihara Colour Blind Test, movie marques, and game shows. The software created reflects the perceptual capabilities of most individuals with reduced colour vision. The development of the simulation software and the motion graphic series are examined and discussed from both computer science and artistic positions.