Artificial neural networks for automatic modelling of the pectus excavatum corrective prosthesis

Pectus excavatum is the most common deformity of the thorax and usually comprises Computed Tomography (CT) examination for pre-operative diagnosis. Aiming at the elimination of the high amounts of CT radiation exposure, this work presents a new methodology for the replacement of CT by a laser scanner (radiation-free) in the treatment of pectus excavatum using personally modeled prosthesis. The complete elimination of CT involves the determination of ribs external outline, at the maximum sternum depression point for prosthesis placement, based on chest wall skin surface information, acquired by a laser scanner. The developed solution resorts to artificial neural networks trained with data vectors from 165 patients. Scaled Conjugate Gradient, Levenberg-Marquardt, Resilient Back propagation and One Step Secant gradient learning algorithms were used. The training procedure was performed using the soft tissue thicknesses, determined using image processing techniques that automatically segment the skin and rib cage. The developed solution was then used to determine the ribs outline in data from 20 patient scanners. Tests revealed that ribs position can be estimated with an average error of about 6.82±5.7 mm for the left and right side of the patient. Such an error range is well below current prosthesis manual modeling (11.7±4.01 mm) even without CT imagiology, indicating a considerable step forward towards CT replacement by a 3D scanner for prosthesis personalization.

Preliminary clinical trial in percutaneous nephrolithotomy using a real-time navigation system for percutaneous kidney access

Background: Precise needle puncture of renal calyces is a challenging and essential step for successful percutaneous nephrolithotomy. This work tests and evaluates, through a clinical trial, a real-time navigation system to plan and guide percutaneous kidney puncture. Methods: A novel system, entitled i3DPuncture, was developed to aid surgeons in establishing the desired puncture site and the best virtual puncture trajectory, by gathering and processing data from a tracked needle with optical passive markers. In order to navigate and superimpose the needle to a preoperative volume, the patient, 3D image data and tracker system were previously registered intraoperatively using seven points that were strategically chosen based on rigid bone structures and nearby kidney area. In addition, relevant anatomical structures for surgical navigation were automatically segmented using a multi-organ segmentation algorithm that clusters volumes based on statistical properties and minimum description length criterion. For each cluster, a rendering transfer function enhanced the visualization of different organs and surrounding tissues. Results: One puncture attempt was sufficient to achieve a successful kidney puncture. The puncture took 265 seconds, and 32 seconds were necessary to plan the puncture trajectory. The virtual puncture path was followed correctively until the needle tip reached the desired kidney calyceal. Conclusions: This new solution provided spatial information regarding the needle inside the body and the possibility to visualize surrounding organs. It may offer a promising and innovative solution for percutaneous punctures.

Multi-centre validation of an automatic algorithm for fast 4D myocardial segmentation in cine CMR datasets

Quantitative analysis of cine cardiac magnetic resonance (CMR) images for the assessment of global left ventricular morphology and function remains a routine task in clinical cardiology practice. To date, this process requires user interaction and therefore prolongs the examination (i.e. cost) and introduces observer variability. In this study, we sought to validate the feasibility, accuracy, and time efficiency of a novel framework for automatic quantification of left ventricular global function in a clinical setting.

Assessment of Laparoscopic Skills Performance: 2D Versus 3D Vision and Classic Instrument Versus New Hand-Held Robotic Device for Laparoscopy

Introduction and Objectives. Laparoscopic surgery has undeniable advantages, such as reduced postoperative pain, smaller incisions, and faster recovery. However, to improve surgeons’ performance, ergonomic adaptations of the laparoscopic instruments and introduction of robotic technology are needed. The aim of this study was to ascertain the influence of a new hand-held robotic device for laparoscopy (HHRDL) and 3D vision on laparoscopic skills performance of 2 different groups, naïve and expert. Materials and Methods. Each participant performed 3 laparoscopic tasks—Peg transfer, Wire chaser, Knot—in 4 different ways. With random sequencing we assigned the execution order of the tasks based on the first type of visualization and laparoscopic instrument. Time to complete each laparoscopic task was recorded and analyzed with one-way analysis of variance. Results. Eleven experts and 15 naïve participants were included. Three-dimensional video helps the naïve group to get better performance in Peg transfer, Wire chaser 2 hands, and Knot; the new device improved the execution of all laparoscopic tasks (P < .05). For expert group, the 3D video system benefited them in Peg transfer and Wire chaser 1 hand, and the robotic device in Peg transfer, Wire chaser 1 hand, and Wire chaser 2 hands (P < .05). Conclusion. The HHRDL helps the execution of difficult laparoscopic tasks, such as Knot, in the naïve group. Three-dimensional vision makes the laparoscopic performance of the participants without laparoscopic experience easier, unlike those with experience in laparoscopic procedures.

FMRI 3D registration based on Fourier space subsets using neural networks

In this work, we present a neural network (NN) based method designed for 3D rigid-body registration of FMRI time series, which relies on a limited number of Fourier coefficients of the images to be aligned. These coefficients, which are comprised in a small cubic neighborhood located at the first octant of a 3D Fourier space (including the DC component), are then fed into six NN during the learning stage. Each NN yields the estimates of a registration parameter. The proposed method was assessed for 3D rigid-body transformations, using DC neighborhoods of different sizes. The mean absolute registration errors are of approximately 0.030 mm in translations and 0.030 deg in rotations, for the typical motion amplitudes encountered in FMRI studies. The construction of the training set and the learning stage are fast requiring, respectively, 90 s and 1 to 12 s, depending on the number of input and hidden units of the NN. We believe that NN-based approaches to the problem of FMRI registration can be of great interest in the future. For instance, NN relying on limited K-space data (possibly in navigation echoes) can be a valid solution to the problem of prospective (in frame) FMRI registration.

3D-2D image registration by nonlinear regression

We propose a 3D-2D image registration method that relates image features of 2D projection images to the transformation parameters of the 3D image by nonlinear regression. The method is compared with a conventional registration method based on iterative optimization. For evaluation, simulated X-ray images (DRRs) were generated from coronary artery tree models derived from 3D CTA scans. Registration of nine vessel trees was performed, and the alignment quality was measured by the mean target registration error (mTRE). The regression approach was shown to be slightly less accurate, but much more robust than the method based on an iterative optimization approach.

Integração e contextualização de modelos 3D no ensino da área da saúde

Mestrado em Engenharia Informática. Sistemas Gráficos e Multimédia.

Sistema de modelização tridimensional para ambientes não estruturados

A navegação de veículos autónomos em ambientes não estruturados continua a ser um problema em aberto. A complexidade do mundo real ainda é um desafio. A difícil caracterização do relevo irregular, dos objectos dinâmicos e pouco distintos(e a inexistência de referências de localização) tem sido alvo de estudo e do desenvolvimento de vários métodos que permitam de uma forma eficiente, e em tempo real, modelizar o espaço tridimensional. O trabalho realizado ao longo desta dissertação insere-se na estratégia do Laboratório de Sistemas Autónomos (LSA) na pesquisa e desenvolvimento de sistemas sensoriais que possibilitem o aumento da capacidade de percepção das plataformas robóticas. O desenvolvimento de um sistema de modelização tridimensional visa acrescentar aos projectos LINCE (Land INtelligent Cooperative Explorer) e TIGRE (Terrestrial Intelligent General proposed Robot Explorer) maior autonomia e capacidade de exploração e mapeamento. Apresentamos alguns sensores utilizados para a aquisição de modelos tridimensionais, bem como alguns dos métodos mais utilizados para o processo de mapeamento, e a sua aplicação em plataformas robóticas. Ao longo desta dissertação são apresentadas e validadas técnicas que permitem a obtenção de modelos tridimensionais. É abordado o problema de analisar a cor e geometria dos objectos, e da criação de modelos realistas que os representam. Desenvolvemos um sistema que nos permite a obtenção de dados volumétricos tridimensionais, a partir de múltiplas leituras de um Laser Range Finder bidimensional de médio alcance. Aos conjuntos de dados resultantes associamos numa nuvem de pontos coerente e referenciada. Foram desenvolvidas e implementadas técnicas de segmentação que permitem inspeccionar uma nuvem de pontos e classifica-la quanto às suas características geométricas, bem como ao tipo de estruturas que representem. São apresentadas algumas técnicas para a criação de Mapas de Elevação Digital, tendo sido desenvolvida um novo método que tira partido da segmentação efectuada

Modelo generalista de páginas Web para motores de pesquisa com interface 3D

Web tornou-se uma ferramenta indispensável para a sociedade moderna. A capacidade de aceder a enormes quantidades de informação, disponível em praticamente todo o mundo, é uma grande vantagem para as nossas vidas. No entanto, a quantidade avassaladora de informação disponível torna-se um problema, que é o de encontrar a informação que precisamos no meio de muita informação irrelevante. Para nos ajudar nesta tarefa, foram criados poderosos motores de pesquisa online, que esquadrinham a Web à procura dos melhores resultados, segundo os seus critérios, para os dados que precisamos. Actualmente, os motores de pesquisa em voga, usam um formato de apresentação de resultados simples, que consiste apenas numa caixa de texto para o utilizador inserir as palavras-chave sobre o tema que quer pesquisar e os resultados são dispostos sobre uma lista de hiperligações ordenada pela relevância que o motor atribui a cada resultado. Porém, existem outras formas de apresentar resultados. Uma das alternativas é apresentar os resultados sobre interfaces em 3 dimensões. É nestes tipos de sistemas que este trabalho vai incidir, os motores de pesquisa com interfaces em 3 dimensões. O problema é que as páginas Web não estão preparadas para serem consumidas por este tipo de motores de pesquisa. Para resolver este problema foi construído um modelo generalista para páginas Web, que consegue alimentar os requisitos das diversas variantes destes motores de pesquisa. Foi também desenvolvido um protótipo de instanciação automático, que recolhe as informações necessárias das páginas Web e preenche o modelo.

Caracterização e modelação de fissuras em edifícios utilizando 3D laser scanning, com vista à sua reabilitação

Trabalho Final de Mestrado para obtenção do grau de Mestre em Engenharia Civil

Visualização e manipulação de informação em ambientes 3D imersivos

Ainda antes da invenção da escrita, o desenho foi utilizado para descrever a realidade, tendo evoluído ao longo dos tempos, ganhando mais qualidade e pormenor e recorrendo a suportes cada vez mais evoluídos que permitissem a perpetuação dessa imagem: dessa informação. Desde as pinturas rupestres, nas paredes de grutas paleolíticas, passando pelos hieróglifos, nos templos egípcios, nas gravuras das escrituras antigas e nos quadros sobre tela, a intenção sempre foi a de transmitir a informação da forma mais directa e perceptível por qualquer indivíduo. Nos dias de hoje as novas tecnologias permitem aceder à informação com uma facilidade nunca antes vista ou imaginada, estando certamente ainda por descobrir outras formas de registar e perpetuar a informação para as gerações vindouras. A fotografia está na origem das grandes evoluções da imagem, permitindo capturar o momento, tornando-o “eterno”. Hoje em dia, na era da imagem digital, além de se mostrar a realidade, é possível incorporar na imagem informação adicional, de modo a enriquecer a experiência de visualização e a maximizar a aquisição do conhecimento. As possibilidades da visualização em três dimensões (3D) vieram dar o realismo que faltava ao formato de fotografia original. O 3D permite a imersão do espectador no ambiente que, a própria imagem retrata, à qual se pode ainda adicionar informação escrita ou até sensorial como, por exemplo, o som. Esta imersão num ambiente tridimensional permite ao utilizador interagir com a própria imagem através da navegação e exploração de detalhes, usando ferramentas como o zoom ou ligações incorporados na imagem. A internet é o local onde, hoje em dia, já se disponibilizam estes ambientes imersivos, tornando esta experiência muita mais acessível a qualquer pessoa. Há poucos anos ainda, esta prática só era possível mediante o recurso a dispositivos especificamente construídos para o efeito e que, por isso, apenas estavam disponíveis a grupos restritos de utilizadores. Esta dissertação visa identificar as características de um ambiente 3D imersivo e as técnicas existentes e possíveis de serem usadas para maximizar a experiência de visualização. Apresentar-se-ão algumas aplicações destes ambientes e sua utilidade no nosso dia-a-dia, antevendo as tendências futuras de evolução nesta área. Serão apresentados exemplos de ferramentas para a composição e produção destes ambientes e serão construídos alguns modelos ilustrativos destas técnicas, como forma de avaliar o esforço de desenvolvimento e o resultado obtido, comparativamente com formas mais convencionais de transmitir e armazenar a informação. Para uma avaliação mais objectiva, submeteram-se os modelos produzidos à apreciação de diversos utilizadores, a partir da qual foram elaboradas as conclusões finais deste trabalho relativamente às potencialidades de utilização de ambientes 3D imersivos e suas mais diversas aplicações.

Modelling and segmentation of the vocal tract during speech production by using deformable models in magnetic resonance images

The first and second authors would like to thank the support of the PhD grants with references SFRH/BD/28817/2006 and SFRH/PROTEC/49517/2009, respectively, from Fundação para a Ciência e Tecnol ogia (FCT). This work was partially done in the scope of the project “Methodologies to Analyze Organs from Complex Medical Images – Applications to Fema le Pelvic Cavity”, wi th reference PTDC/EEA- CRO/103320/2008, financially supported by FCT.

Helical tomotherapy versus 3D conformal radiotherapy in dosimetric planning for patients with localized prostate cancer

Radiotherapy is one of the therapeutics selected for localized prostate cancer, in cases where the tumour is confined to the prostate, penetrates the prostatic capsule or has reached the seminal vesicles (T1 to T3 stages). The radiation therapy can be administered through various modalities, being historically used the 3D conformal radiotherapy (3DCRT). Other modality of radiation administration is the intensity modulated radiotherapy (IMRT), that allows an increase of the total dose through modulation of the treatment beams, enabling a reduction in toxicity. One way to administer IMRT is through helical tomotherapy (TH). With this study we intent to analyze the advantages of helical tomotherapy when compared with 3DCRT, by evaluating the doses in the organs at risk (OAR) and planning target volumes (PTV).

Logarithmically proportional objective function for planar surfaces recognition in 3D point cloud

3D laser scanning is becoming a standard technology to generate building models of a facility's as-is condition. Since most constructions are constructed upon planar surfaces, recognition of them paves the way for automation of generating building models. This paper introduces a new logarithmically proportional objective function that can be used in both heuristic and metaheuristic (MH) algorithms to discover planar surfaces in a point cloud without exploiting any prior knowledge about those surfaces. It can also adopt itself to the structural density of a scanned construction. In this paper, a metaheuristic method, genetic algorithm (GA), is used to test this introduced objective function on a synthetic point cloud. The results obtained show the proposed method is capable to find all plane configurations of planar surfaces (with a wide variety of sizes) in the point cloud with a minor distance to the actual configurations. © 2014 IEEE.