Laminar Cortical Dynamics of Visual Form and Motion Interactions During Coherent Object Motion Perception

How do visual form and motion processes cooperate to compute object motion when each process separately is insufficient? Consider, for example, a deer moving behind a bush. Here the partially occluded fragments of motion signals available to an observer must be coherently grouped into the motion of a single object. A 3D FORMOTION model comprises five important functional interactions involving the brain’s form and motion systems that address such situations. Because the model’s stages are analogous to areas of the primate visual system, we refer to the stages by corresponding anatomical names. In one of these functional interactions, 3D boundary representations, in which figures are separated from their backgrounds, are formed in cortical area V2. These depth-selective V2 boundaries select motion signals at the appropriate depths in MT via V2-to-MT signals. In another, motion signals in MT disambiguate locally incomplete or ambiguous boundary signals in V2 via MT-to-V1-to-V2 feedback. The third functional property concerns resolution of the aperture problem along straight moving contours by propagating the influence of unambiguous motion signals generated at contour terminators or corners. Here, sparse “feature tracking signals” from, e.g., line ends, are amplified to overwhelm numerically superior ambiguous motion signals along line segment interiors. In the fourth, a spatially anisotropic motion grouping process takes place across perceptual space via MT-MST feedback to integrate veridical feature-tracking and ambiguous motion signals to determine a global object motion percept. The fifth property uses the MT-MST feedback loop to convey an attentional priming signal from higher brain areas back to V1 and V2. The model's use of mechanisms such as divisive normalization, endstopping, cross-orientation inhibition, and longrange cooperation is described. Simulated data include: the degree of motion coherence of rotating shapes observed through apertures, the coherent vs. element motion percepts separated in depth during the chopsticks illusion, and the rigid vs. non-rigid appearance of rotating ellipses.

Investigation and Development of a Fully 3D Tilt Capable Hybrid SPECT - CT System for Dedicated Breast Imaging

X-ray mammography has been the gold standard for breast imaging for decades, despite the significant limitations posed by the two dimensional (2D) image acquisitions. Difficulty in diagnosing lesions close to the chest wall and axilla, high amount of structural overlap and patient discomfort due to compression are only some of these limitations. To overcome these drawbacks, three dimensional (3D) breast imaging modalities have been developed including dual modality single photon emission computed tomography (SPECT) and computed tomography (CT) systems. This thesis focuses on the development and integration of the next generation of such a device for dedicated breast imaging. The goals of this dissertation work are to: [1] understand and characterize any effects of fully 3-D trajectories on reconstructed image scatter correction, absorbed dose and Hounsifeld Unit accuracy, and [2] design, develop and implement the fully flexible, third generation hybrid SPECT-CT system capable of traversing complex 3D orbits about a pendant breast volume, without interference from the other. Such a system would overcome artifacts resulting from incompletely sampled divergent cone beam imaging schemes and allow imaging closer to the chest wall, which other systems currently under research and development elsewhere cannot achieve.

The dependence of x-ray scatter radiation on object shape, size, material composition and the CT acquisition trajectory, was investigated with a well-established beam stop array (BSA) scatter correction method. While the 2D scatter to primary ratio (SPR) was the main metric used to characterize total system scatter, a new metric called ‘normalized scatter contribution’ was developed to compare the results of scatter correction on 3D reconstructed volumes. Scatter estimation studies were undertaken with a sinusoidal saddle (±15° polar tilt) orbit and a traditional circular (AZOR) orbit. Clinical studies to acquire data for scatter correction were used to evaluate the 2D SPR on a small set of patients scanned with the AZOR orbit. Clinical SPR results showed clear dependence of scatter on breast composition and glandular tissue distribution, otherwise consistent with the overall phantom-based size and density measurements. Additionally, SPR dependence was also observed on the acquisition trajectory where 2D scatter increased with an increase in the polar tilt angle of the system.

The dose delivered by any imaging system is of primary importance from the patient’s point of view, and therefore trajectory related differences in the dose distribution in a target volume were evaluated. Monte Carlo simulations as well as physical measurements using radiochromic film were undertaken using saddle and AZOR orbits. Results illustrated that both orbits deliver comparable dose to the target volume, and only slightly differ in distribution within the volume. Simulations and measurements showed similar results, and all measured dose values were within the standard screening mammography-specific, 6 mGy dose limit, which is used as a benchmark for dose comparisons.

Hounsfield Units (HU) are used clinically in differentiating tissue types in a reconstructed CT image, and therefore the HU accuracy of a system is very important, especially when using non-traditional trajectories. Uniform phantoms filled with various uniform density fluids were used to investigate differences in HU accuracy between saddle and AZOR orbits. Results illustrate the considerably better performance of the saddle orbit, especially close to the chest and nipple region of what would clinically be a pedant breast volume. The AZOR orbit causes shading artifacts near the nipple, due to insufficient sampling, rendering a major portion of the scanned phantom unusable, whereas the saddle orbit performs exceptionally well and provides a tighter distribution of HU values in reconstructed volumes.

Finally, the third generation, fully-suspended SPECT-CT system was designed in and developed in our lab. A novel mechanical method using a linear motor was developed for tilting the CT system. A new x-ray source and a custom made 40 x 30 cm2 detector were integrated on to this system. The SPECT system was nested, in the center of the gantry, orthogonal to the CT source-detector pair. The SPECT system tilts on a goniometer, and the newly developed CT tilting mechanism allows ±15° maximum polar tilting of the CT system. The entire gantry is mounted on a rotation stage, allowing complex arbitrary trajectories for each system, without interference from the other, while having a common field of view. This hybrid system shows potential to be used clinically as a diagnostic tool for dedicated breast imaging.

Creating replicas of scultural heritage through 3D reconstruction and low cost 3D printer in Education

The process of making replicas of heritage has traditionally been developed by public agencies, corporations and museums and is not commonly used in schools. Currently there are technologies that allow creating cheap replicas. The new 3D reconstruction software, based on photographs and low cost 3D printers allow to make replicas at a cost much lower than traditional. This article describes the process of creating replicas of the sculpture Goslar Warrior of artist Henry Moore, located in Santa Cruz de Tenerife. To make this process, first, a digital model have been created using Autodesk Recap 360, Autodesk 123D Catch and Autodesk Meshmixer MarkerBot MakerWare applications. Physical replication, has been reproduced in polylactic acid (PLA) by MakerBot Replicator 2 3D printer. In addition, a cost analysis using, in one hand, the printer mentioned, and in the other hand, 3D printing services both online and local, is included. Finally, there has been a specific action with 141 students and 12 high school teachers, who filled a questionnary about the use of sculptural replicas in education.

Image, Video and 3D Data Registration: Medical, Satellite and Video Processing Applications with Quality Metrics

Data registration refers to a series of techniques for matching or bringing similar objects or datasets together into alignment. These techniques enjoy widespread use in a diverse variety of applications, such as video coding, tracking, object and face detection and recognition, surveillance and satellite imaging, medical image analysis and structure from motion. Registration methods are as numerous as their manifold uses, from pixel level and block or feature based methods to Fourier domain methods.

This book is focused on providing algorithms and image and video techniques for registration and quality performance metrics. The authors provide various assessment metrics for measuring registration quality alongside analyses of registration techniques, introducing and explaining both familiar and state-of-the-art registration methodologies used in a variety of targeted applications.

Key features:
- Provides a state-of-the-art review of image and video registration techniques, allowing readers to develop an understanding of how well the techniques perform by using specific quality assessment criteria
- Addresses a range of applications from familiar image and video processing domains to satellite and medical imaging among others, enabling readers to discover novel methodologies with utility in their own research
- Discusses quality evaluation metrics for each application domain with an interdisciplinary approach from different research perspectives

Optical and mechanical analysis on a biological cell in optical tweezers

La réponse mécanique d’une cellule à une force externe permet d’inférer sa structure et fonction. Les pinces optiques s’avèrent une approche particulièrement attrayante pour la manipulation et caractérisation biophysique sophistiquée des cellules de façon non invasive. Cette thèse explore l’utilisation de trois types de pinces optiques couramment utilisées : 1) statiques (static), 2) à exposition partagée (time-sharing) et 3) oscillantes (oscillating). L’utilisation d’un code basé sur la méthode des éléments finis en trois dimensions (3DFEM) nous permet de modéliser ces trois types de piégeage optique afin d’extraire les propriétés mécaniques cellulaires à partir des expériences. La combinaison des pinces optiques avec la mécanique des cellules requiert des compétences interdisciplinaires. Une revue des approches expérimentales sur le piégeage optique et les tests unicellulaires est présentée. Les bases théoriques liant l’interaction entre la force radiative optique et la réponse mécanique de la cellule aussi. Pour la première fois, une simulation adaptée (3DFEM) incluant la diffusion lumineuse et la distribution du stress radiatif permet de prédire la déformation d’une cellule biconcave –analogue aux globules rouges—dans un piège statique double (static dual-trap). À l’équilibre, on observe que la déformation finale est donnée par l’espacement entre les deux faisceaux lasers: la cellule peut être étirée ou même comprimée. L’exposition partagée (time-sharing) est la technique qui permet de maintenir plusieurs sites de piégeage simultanément à partir du même faisceau laser. Notre analyse quantitative montre que, même oscillantes, la force optique et la déformation sont omniprésentes dans la cellule : la déformation viscoélastique et la dissipation de l’énergie sont analysées. Une autre cellule-type, la tige cubique, est étudiée : cela nous permet d’élucider de nouvelles propriétés sur la symétrie de la réponse mécanique. Enfin, l’analyse de la déformation résolue en temps dans un piége statique ou à exposition partagée montre que la déformation dépend simultanément de la viscoélasticité, la force externe et sa forme tridimensionnelle. La technique à force oscillante (oscillating tweezers) montre toutefois un décalage temporel, entre la force et la déformation, indépendant de la forme 3D; cette approche donnerait directement accès au tenseur viscoélastique complexe de la cellule.

Image, video and 3D data registration: medical, satellite and video processing applications with quality metrics

Data registration refers to a series of techniques for matching or bringing similar objects or datasets together into alignment. These techniques enjoy widespread use in a diverse variety of applications, such as video coding, tracking, object and face detection and recognition, surveillance and satellite imaging, medical image analysis and structure from motion. Registration methods are as numerous as their manifold uses, from pixel level and block or feature based methods to Fourier domain methods. This book is focused on providing algorithms and image and video techniques for registration and quality performance metrics. The authors provide various assessment metrics for measuring registration quality alongside analyses of registration techniques, introducing and explaining both familiar and state–of–the–art registration methodologies used in a variety of targeted applications.

Reconstrução de Superfícies usando um Scanner 3D de Luz Estruturada

Ao longo dos últimos anos, os scanners 3D têm tido uma utilização crescente nas mais variadas áreas. Desde a Medicina à Arqueologia, passando pelos vários tipos de indústria, ´e possível identificar aplicações destes sistemas. Essa crescente utilização deve-se, entre vários factores, ao aumento dos recursos computacionais, à simplicidade e `a diversidade das técnicas existentes, e `as vantagens dos scanners 3D comparativamente com outros sistemas. Estas vantagens são evidentes em áreas como a Medicina Forense, onde a fotografia, tradicionalmente utilizada para documentar objectos e provas, reduz a informação adquirida a duas dimensões. Apesar das vantagens associadas aos scanners 3D, um factor negativo é o preço elevado. No âmbito deste trabalho pretendeu-se desenvolver um scanner 3D de luz estruturada económico e eficaz, e um conjunto de algoritmos para o controlo do scanner, para a reconstrução de superfícies de estruturas analisadas, e para a validação dos resultados obtidos. O scanner 3D implementado ´e constituído por uma câmara e por um projector de vídeo ”off-the-shelf”, e por uma plataforma rotativa desenvolvida neste trabalho. A função da plataforma rotativa consiste em automatizar o scanner de modo a diminuir a interação dos utilizadores. Os algoritmos foram desenvolvidos recorrendo a pacotes de software open-source e a ferramentas gratuitas. O scanner 3D foi utilizado para adquirir informação 3D de um crânio, e o algoritmo para reconstrução de superfícies permitiu obter superfícies virtuais do crânio. Através do algoritmo de validação, as superfícies obtidas foram comparadas com uma superfície do mesmo crânio, obtida por tomografia computorizada (TC). O algoritmo de validação forneceu um mapa de distâncias entre regiões correspondentes nas duas superfícies, que permitiu quantificar a qualidade das superfícies obtidas. Com base no trabalho desenvolvido e nos resultados obtidos, é possível afirmar que foi criada uma base funcional para o varrimento de superfícies 3D de estruturas, apta para desenvolvimento futuro, mostrando que é possível obter alternativas aos métodos comerciais usando poucos recursos financeiros.

Représentation interne des caractéristiques physiques d'un objet

Dans les situations du quotidien, nous manipulons fréquemment des objets sans les regarder. Pour effectuer des mouvements vers une cible précise avec un objet à la main, il est nécessaire de percevoir les propriétés spatiales de l’objet. Plusieurs études ont démontré que les sujets peuvent discriminer entre des longueurs d'objet différentes sans l’aide des informations visuelles et peuvent adapter leurs mouvements aux nouvelles caractéristiques inertielles produites lors de la manipulation d’un objet. Dans cette étude, nous avons conduit deux expérimentations afin d’évaluer la capacité des sujets à adapter leurs mouvements d’atteinte à la longueur et à la forme perçues des objets manipulés sur la base unique des sensations non visuelles (sensations haptiques). Dans l'expérience 1, dix sujets devaient exécuter des mouvements d’atteintes vers 4 cibles tridimensionnelles (3D) avec un objet à la main. Trois objets de longueur différente ont été utilisés (pointeurs: 12.5, 17.5, 22.5 cm). Aucune connaissance de la position de la main et de l’objet par rapport à la cible n’était disponible pendant et après les mouvements vers les cibles 3D. Ainsi, lorsque comparé avec les erreurs spatiales commises lors des atteintes manuelles sans pointeur, l’erreur spatiale de chacun des mouvements avec pointeur reflète la précision de l’estimation de la longueur des pointeurs. Nos résultats indiquent que les sujets ont augmenté leurs erreurs spatiales lors des mouvements d’atteinte avec un objet en comparaison avec la condition sans pointeur. Cependant, de façon intéressante, ils ont maintenu le même niveau de précision à travers les trois conditions avec des objets de différentes longueurs malgré une différence de 10 cm entre l’objet le plus court et le plus long. Dans l'expérience 2, neuf sujets différents ont effectué des mouvements d’atteinte vers les mêmes cibles utilisant cette fois-ci deux objets en forme de L (objet no.1 : longueur de 17,5 cm et déviation à droite de 12,5 cm – objet no.2 : longueur de 17,5 cm et déviation à droite de 17,5 cm). Comme c’était le cas lors de l'expérience 1, les sujets ont augmenté leurs erreurs spatiales lors des mouvements d’atteinte avec les objets et cette augmentation était similaire entre les deux conditions avec les objets en forme de L. Une observation frappante de l’expérience 2 est que les erreurs de direction n’ont pas augmenté de façon significative entre les conditions avec objet en forme de L et la condition contrôle sans objet. Ceci démontre que les participants ont perçu de façon précise la déviation latérale des objets sans jamais avoir eu de connaissances visuelles de la configuration des objets. Les résultats suggèrent que l’adaptation à la longueur et à la forme des objets des mouvements d’atteinte est principalement basée sur l’intégration des sensations haptiques. À notre connaissance, cette étude est la première à fournir des données quantitatives sur la précision avec laquelle le système haptique peut permettre la perception de la longueur et de la forme d’un objet tenu dans la main afin d’effectuer un mouvement précis en direction d’une cible.

A Psychophysical Assessment of Multisensory Processing and Multiple Object Tracking in Autism Spectrum Disorders

Les troubles du spectre autistique (TSA) sont actuellement caractérisés par une triade d'altérations, incluant un dysfonctionnement social, des déficits de communication et des comportements répétitifs. L'intégration simultanée de multiples sens est cruciale dans la vie quotidienne puisqu'elle permet la création d'un percept unifié. De façon similaire, l'allocation d'attention à de multiples stimuli simultanés est critique pour le traitement de l'information environnementale dynamique. Dans l'interaction quotidienne avec l'environnement, le traitement sensoriel et les fonctions attentionnelles sont des composantes de base dans le développement typique (DT). Bien qu'ils ne fassent pas partie des critères diagnostiques actuels, les difficultés dans les fonctions attentionnelles et le traitement sensoriel sont très courants parmi les personnes autistes. Pour cela, la présente thèse évalue ces fonctions dans deux études séparées. La première étude est fondée sur la prémisse que des altérations dans le traitement sensoriel de base pourraient être à l'origine des comportements sensoriels atypiques chez les TSA, tel que proposé par des théories actuelles des TSA. Nous avons conçu une tâche de discrimination de taille intermodale, afin d'investiguer l'intégrité et la trajectoire développementale de l'information visuo-tactile chez les enfants avec un TSA (N = 21, âgés de 6 à18 ans), en comparaison à des enfants à DT, appariés sur l’âge et le QI de performance. Dans une tâche à choix forcé à deux alternatives simultanées, les participants devaient émettre un jugement sur la taille de deux stimuli, basé sur des inputs unisensoriels (visuels ou tactiles) ou multisensoriels (visuo-tactiles). Des seuils différentiels ont évalué la plus petite différence à laquelle les participants ont été capables de faire la discrimination de taille. Les enfants avec un TSA ont montré une performance diminuée et pas d'effet de maturation aussi bien dans les conditions unisensorielles que multisensorielles, comparativement aux participants à DT. Notre première étude étend donc des résultats précédents d'altérations dans le traitement multisensoriel chez les TSA au domaine visuo-tactile. Dans notre deuxième étude, nous avions évalué les capacités de poursuite multiple d’objets dans l’espace (3D-Multiple Object Tracking (3D-MOT)) chez des adultes autistes (N = 15, âgés de 18 à 33 ans), comparés à des participants contrôles appariés sur l'âge et le QI, qui devaient suivre une ou trois cibles en mouvement parmi des distracteurs dans un environnement de réalité virtuelle. Les performances ont été mesurées par des seuils de vitesse, qui évaluent la plus grande vitesse à laquelle des observateurs sont capables de suivre des objets en mouvement. Les individus autistes ont montré des seuils de vitesse réduits dans l'ensemble, peu importe le nombre d'objets à suivre. Ces résultats étendent des résultats antérieurs d'altérations au niveau des mécanismes d'attention en autisme quant à l'allocation simultanée de l'attention envers des endroits multiples. Pris ensemble, les résultats de nos deux études révèlent donc des altérations chez les TSA quant au traitement simultané d'événements multiples, que ce soit dans une modalité ou à travers des modalités, ce qui peut avoir des implications importantes au niveau de la présentation clinique de cette condition.

Applying 3D modelling technology to traditional craftwork : rapid prototyping in artisanal jewellery making and its impact on the perceived value of jewellery

Depuis la révolution industrielle, l’évolution de la technologie bouleverse le monde de la fabrication. Aujourd'hui, de nouvelles technologies telles que le prototypage rapide font une percée dans des domaines comme celui de la fabrication de bijoux, appartenant jadis à l'artisanat et en bouscule les traditions par l'introduction de méthodes plus rapides et plus faciles. Cette recherche vise à répondre aux deux questions suivantes : - ‘En quoi le prototypage rapide influence-t-il la pratique de fabrication de bijoux?’ - ‘En quoi influence-t-il de potentiels acheteurs dans leur appréciation du bijou?’ L' approche consiste en une collecte de données faite au cours de trois entretiens avec différents bijoutiers et une rencontre de deux groupes de discussion composés de consommateurs potentiels. Les résultats ont révélé l’utilité du prototypage rapide pour surmonter un certain nombre d'obstacles inhérents au fait-main, tel que dans sa géométrie, sa commercialisation, et sa finesse de détails. Cependant, il se crée une distance entre la main du bijoutier et l'objet, changeant ainsi la nature de la pratique. Cette technologie est perçue comme un moyen moins authentique car la machine rappelle la production de masse et la possibilité de reproduction en série détruit la notion d’unicité du bijou, en réduisant ainsi sa charge émotionnelle. Cette recherche propose une meilleure compréhension de l'utilisation du prototypage rapide et de ses conséquences dans la fabrication de bijoux. Peut-être ouvrira-t-elle la voie à une recherche visant un meilleur mariage entre cette technique et les méthodes traditionnelles.

Multi-view 3D reconstruction using virtual cameras

Ce mémoire s'intéresse à la reconstruction d'un modèle 3D à partir de plusieurs images. Le modèle 3D est élaboré avec une représentation hiérarchique de voxels sous la forme d'un octree. Un cube englobant le modèle 3D est calculé à partir de la position des caméras. Ce cube contient les voxels et il définit la position de caméras virtuelles. Le modèle 3D est initialisé par une enveloppe convexe basée sur la couleur uniforme du fond des images. Cette enveloppe permet de creuser la périphérie du modèle 3D. Ensuite un coût pondéré est calculé pour évaluer la qualité de chaque voxel à faire partie de la surface de l'objet. Ce coût tient compte de la similarité des pixels provenant de chaque image associée à la caméra virtuelle. Finalement et pour chacune des caméras virtuelles, une surface est calculée basée sur le coût en utilisant la méthode de SGM. La méthode SGM tient compte du voisinage lors du calcul de profondeur et ce mémoire présente une variation de la méthode pour tenir compte des voxels précédemment exclus du modèle par l'étape d'initialisation ou de creusage par une autre surface. Par la suite, les surfaces calculées sont utilisées pour creuser et finaliser le modèle 3D. Ce mémoire présente une combinaison innovante d'étapes permettant de créer un modèle 3D basé sur un ensemble d'images existant ou encore sur une suite d'images capturées en série pouvant mener à la création d'un modèle 3D en temps réel.

Region-Based Feature Interpretation for Recognizing 3D Models in 2D Images

In model-based vision, there are a huge number of possible ways to match model features to image features. In addition to model shape constraints, there are important match-independent constraints that can efficiently reduce the search without the combinatorics of matching. I demonstrate two specific modules in the context of a complete recognition system, Reggie. The first is a region-based grouping mechanism to find groups of image features that are likely to come from a single object. The second is an interpretive matching scheme to make explicit hypotheses about occlusion and instabilities in the image features.

Statistical Object Recognition

Two formulations of model-based object recognition are described. MAP Model Matching evaluates joint hypotheses of match and pose, while Posterior Marginal Pose Estimation evaluates the pose only. Local search in pose space is carried out with the Expectation--Maximization (EM) algorithm. Recognition experiments are described where the EM algorithm is used to refine and evaluate pose hypotheses in 2D and 3D. Initial hypotheses for the 2D experiments were generated by a simple indexing method: Angle Pair Indexing. The Linear Combination of Views method of Ullman and Basri is employed as the projection model in the 3D experiments.

Geometric and Algebraic Aspects of 3D Affine and Projective Structures from Perspective 2D Views

We investigate the differences --- conceptually and algorithmically --- between affine and projective frameworks for the tasks of visual recognition and reconstruction from perspective views. It is shown that an affine invariant exists between any view and a fixed view chosen as a reference view. This implies that for tasks for which a reference view can be chosen, such as in alignment schemes for visual recognition, projective invariants are not really necessary. We then use the affine invariant to derive new algebraic connections between perspective views. It is shown that three perspective views of an object are connected by certain algebraic functions of image coordinates alone (no structure or camera geometry needs to be involved).

Geometric Aspects of Visual Object Recognition

This thesis presents there important results in visual object recognition based on shape. (1) A new algorithm (RAST; Recognition by Adaptive Sudivisions of Tranformation space) is presented that has lower average-case complexity than any known recognition algorithm. (2) It is shown, both theoretically and empirically, that representing 3D objects as collections of 2D views (the "View-Based Approximation") is feasible and affects the reliability of 3D recognition systems no more than other commonly made approximations. (3) The problem of recognition in cluttered scenes is considered from a Bayesian perspective; the commonly-used "bounded-error errorsmeasure" is demonstrated to correspond to an independence assumption. It is shown that by modeling the statistical properties of real-scenes better, objects can be recognized more reliably.