Real-time 3D interactive segmentation of echocardiographic data through user-based deformation of B-spline explicit active surfaces

Image segmentation is an ubiquitous task in medical image analysis, which is required to estimate morphological or functional properties of given anatomical targets. While automatic processing is highly desirable, image segmentation remains to date a supervised process in daily clinical practice. Indeed, challenging data often requires user interaction to capture the required level of anatomical detail. To optimize the analysis of 3D images, the user should be able to efficiently interact with the result of any segmentation algorithm to correct any possible disagreement. Building on a previously developed real-time 3D segmentation algorithm, we propose in the present work an extension towards an interactive application where user information can be used online to steer the segmentation result. This enables a synergistic collaboration between the operator and the underlying segmentation algorithm, thus contributing to higher segmentation accuracy, while keeping total analysis time competitive. To this end, we formalize the user interaction paradigm using a geometrical approach, where the user input is mapped to a non-cartesian space while this information is used to drive the boundary towards the position provided by the user. Additionally, we propose a shape regularization term which improves the interaction with the segmented surface, thereby making the interactive segmentation process less cumbersome. The resulting algorithm offers competitive performance both in terms of segmentation accuracy, as well as in terms of total analysis time. This contributes to a more efficient use of the existing segmentation tools in daily clinical practice. Furthermore, it compares favorably to state-of-the-art interactive segmentation software based on a 3D livewire-based algorithm.

A importância da personagem virtual no contexto da animação 3D em tempo real

O desenvolvimento de personagens digitais tridimensionais1 na área da animação, a constante procura por soluções tecnológicas convincentes, aliado a uma estética própria, tem contribuído para o sucesso e afirmação da animação tridimensional, na indústria do entretenimento. Contudo, toda a obra que procura ou explora a vertente digital/3D, torna-se ‘vitima’ das limitações do render2 aplicado a uma sequência de imagens, devido ao aumento dos custos financeiros e humanos, assim como da influência e dificuldade implicadas no cumprimento dos objectivos e prazos. O tempo real tem assumido, cada vez mais, um papel predominante na indústria da animação interactiva. Com a evolução da tecnologia surgiu a necessidade de procurar a metodologia apropriada que sirva de alavanca para o desenvolvimento de animações 3D em tempo real, através de softwares open-source ou de baixo orçamento, para a redução de custos, que possibilite simultaneamente descartar qualquer dependência do render na animação 3D. O desenvolvimento de personagens em tempo real, possibilita o surgimento de uma nova abordagem: a interactividade na arte de animar. Esta possibilita a introdução de um vasto leque de novas aplicações e consequentemente, contribui para o aumento do interesse e curiosidade por parte do espectador. No entanto, a inserção, implementação e (ab)uso da tecnologia na área da animação, levanta questões atuais sobre qual o papel do animador. Esta dissertação procura analisar estes aspectos, dando apoio ao projecto de animação 3D em tempo real, denominado ‘PALCO’.

Annotation taken, in the perspective of criminal and constitutional law, as well as in criminology, to the decision of the portuguese constitutional court, of January 13, 2011 – with respect to the problems of “consent” and “medical act”

1 – Summary of the decision taken by the Portuguese Constitutional Court, of January 13, 2011; 2 – Complete text of the decision of the Portuguese Constitutional Court, of January 13, 2011, Judge Maria João ANTUNES (Reporter), Judge Carlos Pamplona de OLIVEIRA, Judge José Borges SOEIRO, Judge Gil GALVÃO, Judge Rui Manuel Moura RAMOS (President) –in terms of the tribunalconstitucional.pt, August 1, 2011; 3 – Brief annotation to the problem of the “medical act”; 3.1 – Plus some conclusions on the brief annotation to the problem of the “medical act”; 3.2 – Brief annotation to the problem of “consent”– continuation of the previous comments; 4 – Conclusions. It must never be forgotten that “consent” does not stand as the only cause of exclusion of unlawfulness.

Assessment of 3D scanners for modeling pectus carinatum corrective bar

Pectus Carinatum (PC) is a chest deformity consisting on the anterior protrusion of the sternum and adjacent costal cartilages. Non-operative corrections, such as the orthotic compression brace, require previous information of the patient chest surface, to improve the overall brace fit. This paper focuses on the validation of the Kinect scanner for the modelling of an orthotic compression brace for the correction of Pectus Carinatum. To this extent, a phantom chest wall surface was acquired using two scanner systems – Kinect and Polhemus FastSCAN – and compared through CT. The results show a RMS error of 3.25mm between the CT data and the surface mesh from the Kinect sensor and 1.5mm from the FastSCAN sensor.

Palco: a multisensor realtime 3D cartoon production system

This paper presents Palco, a prototype system specifically designed for the production of 3D cartoon animations. The system addresses the specific problems of producing cartoon animations, where the main obj ective is not to reproduce realistic movements, but rather animate cartoon characters with predefined and characteristic body movements and facial expressions. The techniques employed in Palco are simple and easy to use, not requiring any invasive or complicated motion capture system, as both body motion and facial expression of actors are captured simultaneously, using an infrared motion detection sensor, a regular camera and a pair of electronically instrumented gloves. The animation process is completely actor-driven, with the actor controlling the character movements, gestures, facial expression and voice, all in realtime. The actor controlled cartoonification of the captured facial and body motion is a key functionality of Palco, and one that makes it specifically suited for the production of cartoon animations.

Semi-automatic 3D Segmentation Of Costal Cartilage In CT Data From Pectus Excavatum Patients

One of the current frontiers in the clinical management of Pectus Excavatum (PE) patients is the prediction of the surgical outcome prior to the intervention. This can be done through computerized simulation of the Nuss procedure, which requires an anatomically correct representation of the costal cartilage. To this end, we take advantage of the costal cartilage tubular structure to detect it through multi-scale vesselness filtering. This information is then used in an interactive 2D initialization procedure which uses anatomical maximum intensity projections of 3D vesselness feature images to efficiently initialize the 3D segmentation process. We identify the cartilage tissue centerlines in these projected 2D images using a livewire approach. We finally refine the 3D cartilage surface through region-based sparse field level-sets. We have tested the proposed algorithm in 6 noncontrast CT datasets from PE patients. A good segmentation performance was found against reference manual contouring, with an average Dice coefficient of 0.75±0.04 and an average mean surface distance of 1.69±0.30mm. The proposed method requires roughly 1 minute for the interactive initialization step, which can positively contribute to an extended use of this tool in clinical practice, since current manual delineation of the costal cartilage can take up to an hour.

Assessment of Laparoscopic Skills Performance: 2D Versus 3D Vision and Classic Instrument Versus New Hand-Held Robotic Device for Laparoscopy

Introduction and Objectives. Laparoscopic surgery has undeniable advantages, such as reduced postoperative pain, smaller incisions, and faster recovery. However, to improve surgeons’ performance, ergonomic adaptations of the laparoscopic instruments and introduction of robotic technology are needed. The aim of this study was to ascertain the influence of a new hand-held robotic device for laparoscopy (HHRDL) and 3D vision on laparoscopic skills performance of 2 different groups, naïve and expert. Materials and Methods. Each participant performed 3 laparoscopic tasks—Peg transfer, Wire chaser, Knot—in 4 different ways. With random sequencing we assigned the execution order of the tasks based on the first type of visualization and laparoscopic instrument. Time to complete each laparoscopic task was recorded and analyzed with one-way analysis of variance. Results. Eleven experts and 15 naïve participants were included. Three-dimensional video helps the naïve group to get better performance in Peg transfer, Wire chaser 2 hands, and Knot; the new device improved the execution of all laparoscopic tasks (P < .05). For expert group, the 3D video system benefited them in Peg transfer and Wire chaser 1 hand, and the robotic device in Peg transfer, Wire chaser 1 hand, and Wire chaser 2 hands (P < .05). Conclusion. The HHRDL helps the execution of difficult laparoscopic tasks, such as Knot, in the naïve group. Three-dimensional vision makes the laparoscopic performance of the participants without laparoscopic experience easier, unlike those with experience in laparoscopic procedures.

Methods for automatic and assisted image annotation

Personal memories composed of digital pictures are very popular at the moment. To retrieve these media items annotation is required. During the last years, several approaches have been proposed in order to overcome the image annotation problem. This paper presents our proposals to address this problem. Automatic and semi-automatic learning methods for semantic concepts are presented. The automatic method is based on semantic concepts estimated using visual content, context metadata and audio information. The semi-automatic method is based on results provided by a computer game. The paper describes our proposals and presents their evaluations.

FMRI 3D registration based on Fourier space subsets using neural networks

In this work, we present a neural network (NN) based method designed for 3D rigid-body registration of FMRI time series, which relies on a limited number of Fourier coefficients of the images to be aligned. These coefficients, which are comprised in a small cubic neighborhood located at the first octant of a 3D Fourier space (including the DC component), are then fed into six NN during the learning stage. Each NN yields the estimates of a registration parameter. The proposed method was assessed for 3D rigid-body transformations, using DC neighborhoods of different sizes. The mean absolute registration errors are of approximately 0.030 mm in translations and 0.030 deg in rotations, for the typical motion amplitudes encountered in FMRI studies. The construction of the training set and the learning stage are fast requiring, respectively, 90 s and 1 to 12 s, depending on the number of input and hidden units of the NN. We believe that NN-based approaches to the problem of FMRI registration can be of great interest in the future. For instance, NN relying on limited K-space data (possibly in navigation echoes) can be a valid solution to the problem of prospective (in frame) FMRI registration.

3D-2D image registration by nonlinear regression

We propose a 3D-2D image registration method that relates image features of 2D projection images to the transformation parameters of the 3D image by nonlinear regression. The method is compared with a conventional registration method based on iterative optimization. For evaluation, simulated X-ray images (DRRs) were generated from coronary artery tree models derived from 3D CTA scans. Registration of nine vessel trees was performed, and the alignment quality was measured by the mean target registration error (mTRE). The regression approach was shown to be slightly less accurate, but much more robust than the method based on an iterative optimization approach.

Integração e contextualização de modelos 3D no ensino da área da saúde

Mestrado em Engenharia Informática. Sistemas Gráficos e Multimédia.

Modelo generalista de páginas Web para motores de pesquisa com interface 3D

Web tornou-se uma ferramenta indispensável para a sociedade moderna. A capacidade de aceder a enormes quantidades de informação, disponível em praticamente todo o mundo, é uma grande vantagem para as nossas vidas. No entanto, a quantidade avassaladora de informação disponível torna-se um problema, que é o de encontrar a informação que precisamos no meio de muita informação irrelevante. Para nos ajudar nesta tarefa, foram criados poderosos motores de pesquisa online, que esquadrinham a Web à procura dos melhores resultados, segundo os seus critérios, para os dados que precisamos. Actualmente, os motores de pesquisa em voga, usam um formato de apresentação de resultados simples, que consiste apenas numa caixa de texto para o utilizador inserir as palavras-chave sobre o tema que quer pesquisar e os resultados são dispostos sobre uma lista de hiperligações ordenada pela relevância que o motor atribui a cada resultado. Porém, existem outras formas de apresentar resultados. Uma das alternativas é apresentar os resultados sobre interfaces em 3 dimensões. É nestes tipos de sistemas que este trabalho vai incidir, os motores de pesquisa com interfaces em 3 dimensões. O problema é que as páginas Web não estão preparadas para serem consumidas por este tipo de motores de pesquisa. Para resolver este problema foi construído um modelo generalista para páginas Web, que consegue alimentar os requisitos das diversas variantes destes motores de pesquisa. Foi também desenvolvido um protótipo de instanciação automático, que recolhe as informações necessárias das páginas Web e preenche o modelo.

Caracterização e modelação de fissuras em edifícios utilizando 3D laser scanning, com vista à sua reabilitação

Trabalho Final de Mestrado para obtenção do grau de Mestre em Engenharia Civil

Visualização e manipulação de informação em ambientes 3D imersivos

Ainda antes da invenção da escrita, o desenho foi utilizado para descrever a realidade, tendo evoluído ao longo dos tempos, ganhando mais qualidade e pormenor e recorrendo a suportes cada vez mais evoluídos que permitissem a perpetuação dessa imagem: dessa informação. Desde as pinturas rupestres, nas paredes de grutas paleolíticas, passando pelos hieróglifos, nos templos egípcios, nas gravuras das escrituras antigas e nos quadros sobre tela, a intenção sempre foi a de transmitir a informação da forma mais directa e perceptível por qualquer indivíduo. Nos dias de hoje as novas tecnologias permitem aceder à informação com uma facilidade nunca antes vista ou imaginada, estando certamente ainda por descobrir outras formas de registar e perpetuar a informação para as gerações vindouras. A fotografia está na origem das grandes evoluções da imagem, permitindo capturar o momento, tornando-o “eterno”. Hoje em dia, na era da imagem digital, além de se mostrar a realidade, é possível incorporar na imagem informação adicional, de modo a enriquecer a experiência de visualização e a maximizar a aquisição do conhecimento. As possibilidades da visualização em três dimensões (3D) vieram dar o realismo que faltava ao formato de fotografia original. O 3D permite a imersão do espectador no ambiente que, a própria imagem retrata, à qual se pode ainda adicionar informação escrita ou até sensorial como, por exemplo, o som. Esta imersão num ambiente tridimensional permite ao utilizador interagir com a própria imagem através da navegação e exploração de detalhes, usando ferramentas como o zoom ou ligações incorporados na imagem. A internet é o local onde, hoje em dia, já se disponibilizam estes ambientes imersivos, tornando esta experiência muita mais acessível a qualquer pessoa. Há poucos anos ainda, esta prática só era possível mediante o recurso a dispositivos especificamente construídos para o efeito e que, por isso, apenas estavam disponíveis a grupos restritos de utilizadores. Esta dissertação visa identificar as características de um ambiente 3D imersivo e as técnicas existentes e possíveis de serem usadas para maximizar a experiência de visualização. Apresentar-se-ão algumas aplicações destes ambientes e sua utilidade no nosso dia-a-dia, antevendo as tendências futuras de evolução nesta área. Serão apresentados exemplos de ferramentas para a composição e produção destes ambientes e serão construídos alguns modelos ilustrativos destas técnicas, como forma de avaliar o esforço de desenvolvimento e o resultado obtido, comparativamente com formas mais convencionais de transmitir e armazenar a informação. Para uma avaliação mais objectiva, submeteram-se os modelos produzidos à apreciação de diversos utilizadores, a partir da qual foram elaboradas as conclusões finais deste trabalho relativamente às potencialidades de utilização de ambientes 3D imersivos e suas mais diversas aplicações.