Integração e contextualização de modelos 3D no ensino da área da saúde

Mestrado em Engenharia Informática. Sistemas Gráficos e Multimédia.

Visualização e manipulação de informação em ambientes 3D imersivos

Ainda antes da invenção da escrita, o desenho foi utilizado para descrever a realidade, tendo evoluído ao longo dos tempos, ganhando mais qualidade e pormenor e recorrendo a suportes cada vez mais evoluídos que permitissem a perpetuação dessa imagem: dessa informação. Desde as pinturas rupestres, nas paredes de grutas paleolíticas, passando pelos hieróglifos, nos templos egípcios, nas gravuras das escrituras antigas e nos quadros sobre tela, a intenção sempre foi a de transmitir a informação da forma mais directa e perceptível por qualquer indivíduo. Nos dias de hoje as novas tecnologias permitem aceder à informação com uma facilidade nunca antes vista ou imaginada, estando certamente ainda por descobrir outras formas de registar e perpetuar a informação para as gerações vindouras. A fotografia está na origem das grandes evoluções da imagem, permitindo capturar o momento, tornando-o “eterno”. Hoje em dia, na era da imagem digital, além de se mostrar a realidade, é possível incorporar na imagem informação adicional, de modo a enriquecer a experiência de visualização e a maximizar a aquisição do conhecimento. As possibilidades da visualização em três dimensões (3D) vieram dar o realismo que faltava ao formato de fotografia original. O 3D permite a imersão do espectador no ambiente que, a própria imagem retrata, à qual se pode ainda adicionar informação escrita ou até sensorial como, por exemplo, o som. Esta imersão num ambiente tridimensional permite ao utilizador interagir com a própria imagem através da navegação e exploração de detalhes, usando ferramentas como o zoom ou ligações incorporados na imagem. A internet é o local onde, hoje em dia, já se disponibilizam estes ambientes imersivos, tornando esta experiência muita mais acessível a qualquer pessoa. Há poucos anos ainda, esta prática só era possível mediante o recurso a dispositivos especificamente construídos para o efeito e que, por isso, apenas estavam disponíveis a grupos restritos de utilizadores. Esta dissertação visa identificar as características de um ambiente 3D imersivo e as técnicas existentes e possíveis de serem usadas para maximizar a experiência de visualização. Apresentar-se-ão algumas aplicações destes ambientes e sua utilidade no nosso dia-a-dia, antevendo as tendências futuras de evolução nesta área. Serão apresentados exemplos de ferramentas para a composição e produção destes ambientes e serão construídos alguns modelos ilustrativos destas técnicas, como forma de avaliar o esforço de desenvolvimento e o resultado obtido, comparativamente com formas mais convencionais de transmitir e armazenar a informação. Para uma avaliação mais objectiva, submeteram-se os modelos produzidos à apreciação de diversos utilizadores, a partir da qual foram elaboradas as conclusões finais deste trabalho relativamente às potencialidades de utilização de ambientes 3D imersivos e suas mais diversas aplicações.

Magnetic resonance imaging of the vocal tract: techniques and applications

Magnetic resonance (MR) imaging has been used to analyse and evaluate the vocal tract shape through different techniques and with promising results in several fields. Our purpose is to demonstrate the relevance of MR and image processing for the vocal tract study. The extraction of contours of the air cavities allowed the set - up of a number of 3D reconstruction image stacks by means of the combination of orthogonally oriented sets of slices for e ach articulatory gesture, as a new approach to solve the expected spatial under sampling of the imaging process. In result these models give improved information for the visualization of morphologic and anatomical aspects and are useful for partial measure ments of the vocal tract shape in different situations. Potential use can be found in Medical and therapeutic applications as well as in acoustic articulatory speech modelling.

Application of Visual-Inertial SLAM for 3D Mapping of Underground Environments

The underground scenarios are one of the most challenging environments for accurate and precise 3d mapping where hostile conditions like absence of Global Positioning Systems, extreme lighting variations and geometrically smooth surfaces may be expected. So far, the state-of-the-art methods in underground modelling remain restricted to environments in which pronounced geometric features are abundant. This limitation is a consequence of the scan matching algorithms used to solve the localization and registration problems. This paper contributes to the expansion of the modelling capabilities to structures characterized by uniform geometry and smooth surfaces, as is the case of road and train tunnels. To achieve that, we combine some state of the art techniques from mobile robotics, and propose a method for 6DOF platform positioning in such scenarios, that is latter used for the environment modelling. A visual monocular Simultaneous Localization and Mapping (MonoSLAM) approach based on the Extended Kalman Filter (EKF), complemented by the introduction of inertial measurements in the prediction step, allows our system to localize himself over long distances, using exclusively sensors carried on board a mobile platform. By feeding the Extended Kalman Filter with inertial data we were able to overcome the major problem related with MonoSLAM implementations, known as scale factor ambiguity. Despite extreme lighting variations, reliable visual features were extracted through the SIFT algorithm, and inserted directly in the EKF mechanism according to the Inverse Depth Parametrization. Through the 1-Point RANSAC (Random Sample Consensus) wrong frame-to-frame feature matches were rejected. The developed method was tested based on a dataset acquired inside a road tunnel and the navigation results compared with a ground truth obtained by post-processing a high grade Inertial Navigation System and L1/L2 RTK-GPS measurements acquired outside the tunnel. Results from the localization strategy are presented and analyzed.

Reconstrução de Superfícies usando um Scanner 3D de Luz Estruturada

Ao longo dos últimos anos, os scanners 3D têm tido uma utilização crescente nas mais variadas áreas. Desde a Medicina à Arqueologia, passando pelos vários tipos de indústria, ´e possível identificar aplicações destes sistemas. Essa crescente utilização deve-se, entre vários factores, ao aumento dos recursos computacionais, à simplicidade e `a diversidade das técnicas existentes, e `as vantagens dos scanners 3D comparativamente com outros sistemas. Estas vantagens são evidentes em áreas como a Medicina Forense, onde a fotografia, tradicionalmente utilizada para documentar objectos e provas, reduz a informação adquirida a duas dimensões. Apesar das vantagens associadas aos scanners 3D, um factor negativo é o preço elevado. No âmbito deste trabalho pretendeu-se desenvolver um scanner 3D de luz estruturada económico e eficaz, e um conjunto de algoritmos para o controlo do scanner, para a reconstrução de superfícies de estruturas analisadas, e para a validação dos resultados obtidos. O scanner 3D implementado ´e constituído por uma câmara e por um projector de vídeo ”off-the-shelf”, e por uma plataforma rotativa desenvolvida neste trabalho. A função da plataforma rotativa consiste em automatizar o scanner de modo a diminuir a interação dos utilizadores. Os algoritmos foram desenvolvidos recorrendo a pacotes de software open-source e a ferramentas gratuitas. O scanner 3D foi utilizado para adquirir informação 3D de um crânio, e o algoritmo para reconstrução de superfícies permitiu obter superfícies virtuais do crânio. Através do algoritmo de validação, as superfícies obtidas foram comparadas com uma superfície do mesmo crânio, obtida por tomografia computorizada (TC). O algoritmo de validação forneceu um mapa de distâncias entre regiões correspondentes nas duas superfícies, que permitiu quantificar a qualidade das superfícies obtidas. Com base no trabalho desenvolvido e nos resultados obtidos, é possível afirmar que foi criada uma base funcional para o varrimento de superfícies 3D de estruturas, apta para desenvolvimento futuro, mostrando que é possível obter alternativas aos métodos comerciais usando poucos recursos financeiros.

Estudo Focado no Utilizador de Software Gratuito para Modelação e Visualização 3D Realista

Computação gráfica um campo que tem vindo a crescer bastante nos últimos anos, desde áreas como cinematográficas, dos videojogos, da animação, o avanço tem sido tão grande que a semelhança com a realidade é cada vez maior. Praticamente hoje em dia todos os filmes têm efeitos gerados através de computação gráfica, até simples anúncios de televisão para não falar do realismo dos videojogos de hoje. Este estudo tem como objectivo mostrar duas alternativas no mundo da computação gráfica, como tal, vão ser usados dois programas, Blender e Unreal Engine. O cenário em questão será todo modelado de raiz e será o mesmo nos dois programas. Serão feitos vários renders ao cenário, em ambos os programas usando diferentes materiais, diferentes tipos de iluminação, em tempo real e não de forma a mostrar as várias alternativas possíveis.