Inexpensive solution for real-time video and image stitching

Image stitching is the process of joining several images to obtain a bigger view of a scene. It is used, for example, in tourism to transmit to the viewer the sensation of being in another place. I am presenting an inexpensive solution for automatic real time video and image stitching with two web cameras as the video/image sources. The proposed solution relies on the usage of several markers in the scene as reference points for the stitching algorithm. The implemented algorithm is divided in four main steps, the marker detection, camera pose determination (in reference to the markers), video/image size and 3d transformation, and image translation. Wii remote controllers are used to support several steps in the process. The built‐in IR camera provides clean marker detection, which facilitates the camera pose determination. The only restriction in the algorithm is that markers have to be in the field of view when capturing the scene. Several tests where made to evaluate the final algorithm. The algorithm is able to perform video stitching with a frame rate between 8 and 13 fps. The joining of the two videos/images is good with minor misalignments in objects at the same depth of the marker,misalignments in the background and foreground are bigger. The capture process is simple enough so anyone can perform a stitching with a very short explanation. Although real‐time video stitching can be achieved by this affordable approach, there are few shortcomings in current version. For example, contrast inconsistency along the stitching line could be reduced by applying a color correction algorithm to every source videos. In addition, the misalignments in stitched images due to camera lens distortion could be eased by optical correction algorithm. The work was developed in Apple’s Quartz Composer, a visual programming environment. A library of extended functions was developed using Xcode tools also from Apple.

Sensores de pressão em fibra óptica para o estudo dos fenómenos da percolação da água em solos

Dada a necessidade de obtermos sistemas monitorizados com elevada precisão, de grande durabilidade e resistentes às condições atmosféricas, surgiu a possibilidade de aplicação das fibras ópticas como sensores para monitorização de pressão. Nesse contexto, as fibras “hetero-core” (fibra óptica composta por uma fibra multimodo entre duas fibras ópticas monomodo) e a utilização de lentes GRIN (“GRaded INdex”) em conjunto com superfícies reflectoras permitem a determinação da pressão e são objecto de estudo desta dissertação. Em termos de aplicação, o objectivo principal desta tese de mestrado foi de proporcionar o projecto e desenvolvimentos da medida de pressão em 48 pontos para um tanque de estudo dos fenómenos de percolação da água nos solos e que é pertencente à Secção de Geotecnia do Departamento de Engenharia Civil da Faculdade de Engenharia da Universidade do Porto. Inicialmente, foi caracterizado um sistema contendo uma fibra “hetero-core” à qual foi aplicada uma curvatura, com auxílio de uma carruagem micrométrica. Este sistema permitiu a simulação do mesmo efeito de aplicação de pressão à fibra “hetero-core”. Na configuração seguinte, usou-se um OTDR (“Optical Time Domain Reflectometer”) para visualização e registo das perdas encontradas durante o processo de dobrar e esticar da fibra “hetero-core”. Ao longo deste registo, várias configurações foram testadas até ser encontrada a cabeça sensora com melhor comportamento para monitorizar a pressão. A multiplexagem foi conseguida ao colocar dois sensores em série, sendo cada um deles constituído por uma fibra “hetero-core” colocada no fundo de um tubo de água disposto verticalmente. Com a adição da água no tubo de água, a curvatura na fibra “hetero-core” aumentava, notando-se claramente que as perdas também subiam. Os resultados obtidos nesta configuração foram bastante satisfatórios permitindo a independência entre os dois sensores dispostos em série. Posteriormente, foi testada uma nova configuração sensora, o sensor de fibra óptica para monitorização de pressão foi construído com recurso a uma lente GRIN e uma superfície reflectora. Esta lente, disposta diante de um espelho, permitiu emitir e captar luz de um determinado comprimento de onda devido à reflexão do sinal luminoso no espelho. Com sucessivos incrementos, afastou-se e aproximou-se a lente ao espelho, registando-se e observando-se as perdas de potência obtidas com auxílio do OTDR. Também para esta configuração foi testada a multiplexagem de vários sensores, tendo sido utilizadas as seguintes opções: um acoplador de 2:1; um acoplador 4:1 e um comutador óptico. Verificou-se que a utilização de um comutador óptico é o melhor caso para a monitorização de pressão de múltiplos sensores. A multiplexagem com recurso ao comutador foi possível, uma vez que permitia a medição independente de cada sensor de pressão num determinado tempo. Com este resultado, é possível monitorizar 48 sensores com recurso ao OTDR, multiplexados temporalmente. Toda esta implementação prática da dissertação foi realizada nas instalações da Unidade de Optoelectrónica e Sistemas Electrónicos no INESC Porto, onde foram caracterizados e estudados sensores com diferentes características que poderão ser lidas neste documento. A componente teórica foi efectuada na Universidade da Madeira.

3D reconstruction through photographs

Humans can perceive three dimension, our world is three dimensional and it is becoming increasingly digital too. We have the need to capture and preserve our existence in digital means perhaps due to our own mortality. We have also the need to reproduce objects or create small identical objects to prototype, test or study them. Some objects have been lost through time and are only accessible through old photographs. With robust model generation from photographs we can use one of the biggest human data sets and reproduce real world objects digitally and physically with printers. What is the current state of development in three dimensional reconstruction through photographs both in the commercial world and in the open source world? And what tools are available for a developer to build his own reconstruction software? To answer these questions several pieces of software were tested, from full commercial software packages to open source small projects, including libraries aimed at computer vision. To bring to the real world the 3D models a 3D printer was built, tested and analyzed, its problems and weaknesses evaluated. Lastly using a computer vision library a small software with limited capabilities was developed.