Half-occlusion processing in stereoscopic vision

This study investigated questions related to half-occlusion processing in human stereoscopic vision: (1) How does the depth location of a half-occluding figure affect the depth localization of adjacent monocular objects? (2) Is three-dimensional slant around vertical axis (geometric effect) affected by half-occlusion constraints? and (3) How the half-occlusion constraints and surface formation processes are manifested in stereoscopic capture? Our results showed that the depth localization of binocular objects affects the depth localization of discrete monocular objects. We also showed that the visual system has a preference for a frontoparallel surface interpretation if the half-occlusion configuration allows multiple interpretation alternatives. When the surface formation was constrained by textures, our results showed that a process of rematching spreading determines the resulting perception and that the spreading can be limited by illusory contours that support the presence of binocularly unmatched figures. The unmatched figures could be present, if the inducing figures producing the illusory surface contained binocular image differences that provided cues for quantitative da Vinci stereopsis. These findings provide evidence of the significant role of half-occlusions in stereoscopic processing.

The interaction of color and luminance in stereoscopic vision

Experiments are described using the random dot stereo patterns devised by Julesz, but substituting various colors and luminances for the usual black and white random squares. The ability to perceive the patterns in depth depends on a luminance difference between the colors used. If two colors are the same luminance, then depth is not perceived although each of the individual squares which make up the patterns is easily seen due to the color difference. This is true for any combination of different colors. If different colors are used for corresponding random squares between the left and right eye patterns, stereopsis is possible for all combinations of binocular rivalry in color, provided the luminance difference is large enough. Rivalry in luminance always precludes stereopsis, regardless of the colors involved.

Structure from Stereo and Motion

Stereopsis and motion parallax are two methods for recovering three dimensional shape. Theoretical analyses of each method show that neither alone can recover rigid 3D shapes correctly unless other information, such as perspective, is included. The solutions for recovering rigid structure from motion have a reflection ambiguity; the depth scale of the stereoscopic solution will not be known unless the fixation distance is specified in units of interpupil separation. (Hence the configuration will appear distorted.) However, the correct configuration and the disposition of a rigid 3D shape can be recovered if stereopsis and motion are integrated, for then a unique solution follows from a set of linear equations. The correct interpretation requires only three points and two stereo views.

Laminar Cortical Dynamics of 3D Surface Perception: Stratification, transparency, and Neon Color Spreading

How does the laminar organization of cortical circuitry in areas VI and V2 give rise to 3D percepts of stratification, transparency, and neon color spreading in response to 2D pictures and 3D scenes? Psychophysical experiments have shown that such 3D percepts are sensitive to whether contiguous image regions have the same relative contrast polarity (dark-light or lightdark), yet long-range perceptual grouping is known to pool over opposite contrast polarities. The ocularity of contiguous regions is also critical for neon color spreading: Having different ocularity despite the contrast relationship that favors neon spreading blocks the spread. In addition, half visible points in a stereogram can induce near-depth transparency if the contrast relationship favors transparency in the half visible areas. It thus seems critical to have the whole contrast relationship in a monocular configuration, since splitting it between two stereogram images cancels the effect. What adaptive functions of perceptual grouping enable it to both preserve sensitivity to monocular contrast and also to pool over opposite contrasts? Aspects of cortical development, grouping, attention, perceptual learning, stereopsis and 3D planar surface perception have previously been analyzed using a 3D LAMINART model of cortical areas VI, V2, and V4. The present work consistently extends this model to show how like-polarity competition between VI simple cells in layer 4 may be combined with other LAMINART grouping mechanisms, such as cooperative pooling of opposite polarities at layer 2/3 complex cells. The model also explains how the Metelli Rules can lead to transparent percepts, how bistable transparency percepts can arise in which either surface can be perceived as transparent, and how such a transparency reversal can be facilitated by an attention shift. The like-polarity inhibition prediction is consistent with lateral masking experiments in which two f1anking Gabor patches with the same contrast polarity as the target increase the target detection threshold when they approach the target. It is also consistent with LAMINART simulations of cortical development. Other model explanations and testable predictions will also be presented.

3-D Vision and Figure-Ground Separation by Visual Cortex

A neural network theory of :3-D vision, called FACADE Theory, is described. The theory proposes a solution of the classical figure-ground problem for biological vision. It does so by suggesting how boundary representations and surface representations are formed within a Boundary Contour System (BCS) and a Feature Contour System (FCS). The BCS and FCS interact reciprocally to form 3-D boundary and surface representations that arc mutually consistent. Their interactions generate 3-D percepts wherein occluding and occluded object completed, and grouped. The theory clarifies how preattentive processes of 3-D perception and figure-ground separation interact reciprocally with attentive processes of spatial localization, object recognition, and visual search. A new theory of stereopsis is proposed that predicts how cells sensitive to multiple spatial frequencies, disparities, and orientations are combined by context-sensitive filtering, competition, and cooperation to form coherent BCS boundary segmentations. Several factors contribute to figure-ground pop-out, including: boundary contrast between spatially contiguous boundaries, whether due to scenic differences in luminance, color, spatial frequency, or disparity; partially ordered interactions from larger spatial scales and disparities to smaller scales and disparities; and surface filling-in restricted to regions surrounded by a connected boundary. Phenomena such as 3-D pop-out from a 2-D picture, DaVinci stereopsis, a 3-D neon color spreading, completion of partially occluded objects, and figure-ground reversals are analysed. The BCS and FCS sub-systems model aspects of how the two parvocellular cortical processing streams that join the Lateral Geniculate Nucleus to prestriate cortical area V4 interact to generate a multiplexed representation of Form-And-Color-And-Depth, or FACADE, within area V4. Area V4 is suggested to support figure-ground separation and to interact. with cortical mechanisms of spatial attention, attentive objcect learning, and visual search. Adaptive Resonance Theory (ART) mechanisms model aspects of how prestriate visual cortex interacts reciprocally with a visual object recognition system in inferotemporal cortex (IT) for purposes of attentive object learning and categorization. Object attention mechanisms of the What cortical processing stream through IT cortex are distinguished from spatial attention mechanisms of the Where cortical processing stream through parietal cortex. Parvocellular BCS and FCS signals interact with the model What stream. Parvocellular FCS and magnocellular Motion BCS signals interact with the model Where stream. Reciprocal interactions between these visual, What, and Where mechanisms arc used to discuss data about visual search and saccadic eye movements, including fast search of conjunctive targets, search of 3-D surfaces, selective search of like-colored targets, attentive tracking of multi-element groupings, and recursive search of simultaneously presented targets.

A Solution of the Figure-ground Problem for Biological Vision

A neural network model of 3-D visual perception and figure-ground separation by visual cortex is introduced. The theory provides a unified explanation of how a 2-D image may generate a 3-D percept; how figures pop-out from cluttered backgrounds; how spatially sparse disparity cues can generate continuous surface representations at different perceived depths; how representations of occluded regions can be completed and recognized without usually being seen; how occluded regions can sometimes be seen during percepts of transparency; how high spatial frequency parts of an image may appear closer than low spatial frequency parts; how sharp targets are detected better against a figure and blurred targets are detector better against a background; how low spatial frequency parts of an image may be fused while high spatial frequency parts are rivalrous; how sparse blue cones can generate vivid blue surface percepts; how 3-D neon color spreading, visual phantoms, and tissue contrast percepts are generated; how conjunctions of color-and-depth may rapidly pop-out during visual search. These explanations arise derived from an ecological analysis of how monocularly viewed parts of an image inherit the appropriate depth from contiguous binocularly viewed parts, as during DaVinci stereopsis. The model predicts the functional role and ordering of multiple interactions within and between the two parvocellular processing streams that join LGN to prestriate area V4. Interactions from cells representing larger scales and disparities to cells representing smaller scales and disparities are of particular importance.

Cortical Dynamics of 3-D Vision and Figure-Ground Pop-Out

Air Force Office of Scientific Research (90-0175); Defense Advanced Research Projects Agency (90-0083); Office of Naval Research (N00014-91-J-4100)

A population study of binocular function

As part of a genome-wide association study (GWAS) of perceptual traits in healthy adults, we measured stereo acuity, the duration of alternative percepts in binocular rivalry and the extent of dichoptic masking in 1060 participants. We present the distributions of the measures, the correlations between measures, and their relationships to other psychophysical traits. We report sex differences, and correlations with age, interpupillary distance, eye dominance, phorias, visual acuity and personality. The GWAS, using data from 988 participants, yielded one genetic association that passed a permutation test for significance: The variant rs1022907 in the gene VTI1A was associated with self-reported ability to see autostereograms. We list a number of other suggestive genetic associations (p<10^-5).

Conversions of Relief: on the perception of depth in drawings

Of the many ways in which depth can be intimated in drawings, perspective has undoubtedly been one of the most frequently examined. But there is also an equally rich history associated with other forms of pictorial representation. Alternatives to perspective became particularly significant in the early twentieth century as artists and architects, intent on throwing off the conventions of their predecessors, looked to new ways of depicting depth. In architecture, this tendency was exemplified by Modernism’s preference for parallel projection – most notably axonometric and oblique. The use of these techniques gave architects the opportunity to convey a new and uniquely modern form of spatial expression. At once shallow and yet expansive, a key feature of these drawings was their ability to support perceptual ambiguity. This paper will consider the philosophy and science of vision, out of which these preoccupations emerged. In this context, the nineteenth-century discovery of stereopsis and the invention of the stereoscope will be used to illustrate the way in which attempts to test the limits of spatial perception led to an opening up of visual experience; and provided a definition of visual experience that could encompass the representational ambiguities later exploited by the early twentieth-century avant-garde.

L’invariance au point de vue dans la représentation de l’organisation spatiale des composantes de formes complexes

Trois expériences ont été menées dans le but de déterminer quels codes sous-tendant la représentation de l’organisation spatiale des composantes des formes complexes contribuent aux discriminations d’objets complexes. Les trois expériences ont utilisé une tâche d’appariement simultané d’objets complexes. Aux essais négatifs, les objets pouvaient avoir des différences catégorielles de configuration, des différences métriques de configuration, des différences métriques de configuration et du rôle des parties ou des différences du rôle des parties seulement. La distance angulaire 2D ou 3D entre les stimuli pouvait varier. À l’expérience 1, les stimuli étaient présentés avec stéréoscopie et avaient une surface avec un gradient de texture de haut contraste. L’expérience 2 constitue une réplication de l’expérience 1 hormis pour l’utilisation de stimuli dont le contraste était réduit. Le but de cette manipulation était de vérifier si les résultats de l’expérience 1 sont répliqués avec une tâche dont le niveau de difficulté est plus élevé. Les stimuli de la troisième expérience avaient une surface gris mat et étaient présentés sans stéréoscopie. Les trois expériences ont montré que des codes catégoriel et pertinent aux rôles des parties contribuent à la discrimination d’objets complexes. Toutefois, ces codes sont dépendants aux orientations 2D et 3D, et ce, peu importe la richesse de l’information de profondeur présente dans les stimuli. De plus, nos résultats démontrent une plus grande sensibilité aux différences catégorielles de configuration qu’aux différences métriques. Enfin, un code métrique contribue également aux discriminations. Toutefois, la contribution de ce code disparaît lorsque la quantité d’information de profondeur est réduite.

La stéréoperception chez les enfants microstrabiques

La stéréopsie est souvent présente, bien qu’altérée, chez les sujets microstrabiques. Cependant, leur seuil de stéréopsie serait différent selon que le test utilisé contient (stéréopsie locale) ou non (stéréopsie globale) des contours définis. Peu d’études ont évalué empiriquement la différence de performance selon le type de tests utilisé. Le premier article est une étude rétrospective de 26 enfants microstrabiques. La majorité des enfants (73 %) possédaient un seuil de stéréopsie locale normal ou légèrement inférieur à la normale. Une absence de stéréopsie locale a été observée chez les 7 autres enfants (27 %). Aucune stéréopsie globale n’était mesurable chez 25 des 26 enfants étudiés. La stéréopsie locale est donc présente chez les enfants microstrabiques, mais ceux-ci montrent généralement une absence de stéréoperception globale. La seconde étude avait pour objectif d'étudier le rôle du scotome de suppression dans la perception stéréoscopique de sujets microstrabiques. Trois tâches psychophysiques de stéréopsie locale et globale ont été effectuées chez 9 enfants microstrabiques et 9 enfants contrôles appariés, en utilisant deux grandeurs de cible (4° et 12°). Aucune amélioration des performances n’a été notée chez les sujets microstrabiques pour la tâche de stéréopsie locale, mais les seuils de stéréopsie globale étaient inférieurs avec la cible de 12°. La zone de suppression semble jouer un rôle dans le déficit de stéréopsie globale des sujets microstrabiques. Le scotome de suppression pourrait être partiellement responsable du déficit stéréoscopique puisque même avec l’augmentation de la taille angulaire des stimuli stéréoscopiques, la stéréoperception des microstrabiques demeurent inférieure à celle des sujets normaux.

La contribution de la stéréoscopie à la constance de forme

Le but de cette étude est de vérifier l'apport de la stéréoscopie dans le phénomène de la constance de forme. La méthode utilisée consiste à mesurer la performance de différents participants (temps de réponse et de taux d'erreurs) à une tâche de prospection visuelle. Quatre groupes de participants ont effectué la tâche. Le premier groupe a été exposé à une présentation stéréoscopique des stimuli, le deuxième groupe à une présentation des stimuli en stéréoscopie inversée (la disparité binoculaire était inversée), le troisième groupe à des stimuli comprenant une information de texture, mais sans stéréoscopie et le quatrième groupe à des stimuli bi-dimensionnels, sans texture. Une interaction entre les effets de rotation (points de vue familiers vs. points de vue non familiers) et le type d'information de profondeur disponible (stéréoscopie, stéréoscopie inversée, texture ou ombrage) a été mise en évidence, le coût de rotation étant plus faible au sein du groupe exposé à une présentation en stéréoscopie inversée. Ces résultats appuient l'implication de représentations tridimensionnelles dans le traitement de l'information visuelle.

L’impact de la stéréoscopie dans la reconnaissance, la perception et la constance de forme 3D

Les buts des recherches présentées dans cette thèse étaient d’évaluer le rôle de la stéréoscopie dans la reconnaissance de forme, dans la perception du relief et dans la constance de forme. La première étude a examiné le rôle de la stéréoscopie dans la perception des formes visuelles en utilisant une tâche de reconnaissance de formes. Les stimuli pouvaient être présentés en 2D, avec disparité normale (3D) ou avec disparité inversée. La performance de reconnaissance était meilleure avec les modes de présentation 2D et 3D qu’avec la 3D inversée. Cela indique que la stéréoscopie contribue à la reconnaissance de forme. La deuxième étude s’est intéressée à la contribution conjointe de l’ombrage et de la stéréoscopie dans la perception du relief des formes. Les stimuli étaient des images d’une forme 3D convexe synthétique présentée sous un point de vue menant à une ambigüité quant à sa convexité. L’illumination pouvait provenir du haut ou du bas et de la gauche ou de la droite, et les stimuli étaient présentés dichoptiquement avec soit de la disparité binoculaire normale, de la disparité inversée ou sans disparité entre les vues. Les participants ont répondu que les formes étaient convexes plus souvent lorsque la lumière provenait du haut que du bas, plus souvent avec la disparité normale qu’en 2D, et plus souvent avec absence de disparité qu’avec disparité inversée. Les effets de direction d’illumination et du mode de présentation étaient additifs, c’est-à-dire qu’ils n’interagissaient pas. Cela indique que l’ombrage et la stéréoscopie contribuent indépendamment à la perception du relief des formes. La troisième étude a évalué la contribution de la stéréoscopie à la constance de forme, et son interaction avec l’expertise perceptuelle. Elle a utilisé trois tâches de discrimination séquentielle de trombones tordus ayant subi des rotations en profondeur. Les stimuli pouvaient être présentés sans stéréoscopie, avec stéréoscopie normale ou avec stéréoscopie inversée. Dans la première moitié de l’Exp. 1, dans laquelle les variations du mode de présentation étaient intra-sujets, les performances étaient meilleures en 3D qu’en 2D et qu’en 3D inversée. Ces effets ont été renversés dans la seconde moitié de l’expérience, et les coûts de rotation sont devenus plus faibles pour la 2D et la 3D inversée que pour la 3D. Dans les Exps. 2 (variations intra-sujets du mode de présentation, avec un changement de stimuli au milieu de l’expérience) et 3 (variations inter-sujets du mode de présentation), les effets de rotation étaient en tout temps plus faibles avec stéréoscopie qu’avec stéréoscopie inversée et qu’en 2D, et plus faibles avec stéréoscopie inversée que sans stéréoscopie. Ces résultats indiquent que la stéréoscopie contribue à la constance de forme. Toutefois, cela demande qu’elle soit valide avec un niveau minimal de consistance, sinon elle devient stratégiquement ignorée. En bref, les trois études présentées dans cette thèse ont permis de montrer que la stéréoscopie contribue à la reconnaissance de forme, à la perception du relief et à la constance de forme. De plus, l’ombrage et la stéréoscopie sont intégrés linéairement.

Étude électrophysiologique de la suppression interoculaire : implication pour l'amblyopie

L’amblyopie est un trouble développemental de la vision binoculaire. Elle est typiquement caractérisée par des atteintes de l’acuité visuelle et de la stéréoscopie. Toutefois, de plus en plus d’études indiquent la présence d’atteintes plus étendues telles que les difficultés d’attention visuelle ou de lecture. L’amblyopie est généralement expliquée par une suppression interoculaire au niveau cortical, considérée comme chronique ou permanente à l’extérieur de la période développementale. Or, un nombre croissant d’études suggèrent que des interactions binoculaires normales seraient présentes chez les amblyopes adultes. Dans une première étude, nous avons tenté d’identifier un marqueur électrophysiologique de la vision binoculaire. Nous avons enregistré des potentiels évoqués visuels chez des observateurs normaux à qui l’on a induit une dysfonction binoculaire. Les interactions binoculaires étaient caractérisées à l’aide de patrons (facilitation, moyennage et suppression) en comparant les réponses monoculaires et binoculaires. De plus, ces interactions étaient quantifiées à partir d’index d’intégration continus en soustrayant la somme des réponses monoculaires de la réponse binoculaire. Les résultats indiquaient que les patrons d’interaction n’étaient pas optimaux pour estimer les performances stéréoscopiques. Ces dernières étaient, en revanche, mieux expliquées par notre index d’intégration binoculaire. Ainsi, cette étude suggère que l’électrophysiologie est un bon prédicteur de la vision binoculaire. Dans une deuxième étude, nous avons examiné les corrélats neuronaux et comportementaux de la suppression interoculaire chez des amblyopes adultes et des observateurs normaux. Des potentiels évoqués visuels stationnaires ont été enregistrés en utilisant un paradigme de suppression par flash. La suppression était modulée par un changement de contraste du stimulus flash (10, 20, 30, ou 100%), ou le suppresseur, qui était présenté soit dans l’œil dominant ou non-dominant (ou amblyope). Sur le plan comportemental, la suppression interoculaire était observée indépendamment de l’œil stimulé par le flash chez les contrôles. Au contraire, chez les amblyopes, la suppression était asymétrique (c’est-à-dire supérieure lorsqu’elle provenait de l’œil dominant), ce qui suggérait une suppression chronique. De manière intéressante, l’œil amblyope a supprimé l’œil dominant à haut niveau de contraste. Sur le plan électrophysiologique, l’effet de suppression interoculaire observé à la région occipitale était équivalent dans chaque groupe. Toutefois, les réponses électrophysiologiques à la région frontale chez les amblyopes n’étaient pas modulées comme celles des contrôles; la suppression de l’œil amblyope était manifeste même à bas contraste. Nous résultats supportent ainsi l’existence d’interaction binoculaire fonctionnelle chez les amblyopes adultes ainsi que l’implication d’un réseau cortical étendu dans la suppression interoculaire. En somme, l’amblyopie est une condition complexe dont les atteintes corticales et les déficits fonctionnels semblent globaux. L’amblyopie ne doit plus être considérée comme limitée à une dysfonction de l’aire visuelle primaire. La suppression interoculaire semble un point central de cette problématique, mais encore beaucoup d’études seront nécessaires afin de déterminer l’ensemble des mécanismes impliqués dans celle-ci.

An approach to coded structured light to obtain three dimensional information

The human visual ability to perceive depth looks like a puzzle. We perceive three-dimensional spatial information quickly and efficiently by using the binocular stereopsis of our eyes and, what is mote important the learning of the most common objects which we achieved through living. Nowadays, modelling the behaviour of our brain is a fiction, that is why the huge problem of 3D perception and further, interpretation is split into a sequence of easier problems. A lot of research is involved in robot vision in order to obtain 3D information of the surrounded scene. Most of this research is based on modelling the stereopsis of humans by using two cameras as if they were two eyes. This method is known as stereo vision and has been widely studied in the past and is being studied at present, and a lot of work will be surely done in the future. This fact allows us to affirm that this topic is one of the most interesting ones in computer vision. The stereo vision principle is based on obtaining the three dimensional position of an object point from the position of its projective points in both camera image planes. However, before inferring 3D information, the mathematical models of both cameras have to be known. This step is known as camera calibration and is broadly describes in the thesis. Perhaps the most important problem in stereo vision is the determination of the pair of homologue points in the two images, known as the correspondence problem, and it is also one of the most difficult problems to be solved which is currently investigated by a lot of researchers. The epipolar geometry allows us to reduce the correspondence problem. An approach to the epipolar geometry is describes in the thesis. Nevertheless, it does not solve it at all as a lot of considerations have to be taken into account. As an example we have to consider points without correspondence due to a surface occlusion or simply due to a projection out of the camera scope. The interest of the thesis is focused on structured light which has been considered as one of the most frequently used techniques in order to reduce the problems related lo stereo vision. Structured light is based on the relationship between a projected light pattern its projection and an image sensor. The deformations between the pattern projected into the scene and the one captured by the camera, permits to obtain three dimensional information of the illuminated scene. This technique has been widely used in such applications as: 3D object reconstruction, robot navigation, quality control, and so on. Although the projection of regular patterns solve the problem of points without match, it does not solve the problem of multiple matching, which leads us to use hard computing algorithms in order to search the correct matches. In recent years, another structured light technique has increased in importance. This technique is based on the codification of the light projected on the scene in order to be used as a tool to obtain an unique match. Each token of light is imaged by the camera, we have to read the label (decode the pattern) in order to solve the correspondence problem. The advantages and disadvantages of stereo vision against structured light and a survey on coded structured light are related and discussed. The work carried out in the frame of this thesis has permitted to present a new coded structured light pattern which solves the correspondence problem uniquely and robust. Unique, as each token of light is coded by a different word which removes the problem of multiple matching. Robust, since the pattern has been coded using the position of each token of light with respect to both co-ordinate axis. Algorithms and experimental results are included in the thesis. The reader can see examples 3D measurement of static objects, and the more complicated measurement of moving objects. The technique can be used in both cases as the pattern is coded by a single projection shot. Then it can be used in several applications of robot vision. Our interest is focused on the mathematical study of the camera and pattern projector models. We are also interested in how these models can be obtained by calibration, and how they can be used to obtained three dimensional information from two correspondence points. Furthermore, we have studied structured light and coded structured light, and we have presented a new coded structured light pattern. However, in this thesis we started from the assumption that the correspondence points could be well-segmented from the captured image. Computer vision constitutes a huge problem and a lot of work is being done at all levels of human vision modelling, starting from a)image acquisition; b) further image enhancement, filtering and processing, c) image segmentation which involves thresholding, thinning, contour detection, texture and colour analysis, and so on. The interest of this thesis starts in the next step, usually known as depth perception or 3D measurement.