Towards Autonomous Motion Vision

Earlier, we introduced a direct method called fixation for the recovery of shape and motion in the general case. The method uses neither feature correspondence nor optical flow. Instead, it directly employs the spatiotemporal gradients of image brightness. This work reports the experimental results of applying some of our fixation algorithms to a sequence of real images where the motion is a combination of translation and rotation. These results show that parameters such as the fization patch size have crucial effects on the estimation of some motion parameters. Some of the critical issues involved in the implementaion of our autonomous motion vision system are also discussed here. Among those are the criteria for automatic choice of an optimum size for the fixation patch, and an appropriate location for the fixation point which result in good estimates for important motion parameters. Finally, a calibration method is described for identifying the real location of the rotation axis in imaging systems.

The Perception of Globally Coherent Motion

How do human observers perceive a coherent pattern of motion from a disparate set of local motion measures? Our research has examined how ambiguous motion signals along straight contours are spatially integrated to obtain a globally coherent perception of motion. Observers viewed displays containing a large number of apertures, with each aperture containing one or more contours whose orientations and velocities could be independently specified. The total pattern of the contour trajectories across the individual apertures was manipulated to produce globally coherent motions, such as rotations, expansions, or translations. For displays containing only straight contours extending to the circumferences of the apertures, observers' reports of global motion direction were biased whenever the sampling of contour orientations was asymmetric relative to the direction of motion. Performance was improved by the presence of identifiable features, such as line ends or crossings, whose trajectories could be tracked over time. The reports of our observers were consistent with a pooling process involving a vector average of measures of the component of velocity normal to contour orientation, rather than with the predictions of the intersection-of-constraints analysis in velocity space.

3-D Vision and Figure-Ground Separation by Visual Cortex

A neural network theory of :3-D vision, called FACADE Theory, is described. The theory proposes a solution of the classical figure-ground problem for biological vision. It does so by suggesting how boundary representations and surface representations are formed within a Boundary Contour System (BCS) and a Feature Contour System (FCS). The BCS and FCS interact reciprocally to form 3-D boundary and surface representations that arc mutually consistent. Their interactions generate 3-D percepts wherein occluding and occluded object completed, and grouped. The theory clarifies how preattentive processes of 3-D perception and figure-ground separation interact reciprocally with attentive processes of spatial localization, object recognition, and visual search. A new theory of stereopsis is proposed that predicts how cells sensitive to multiple spatial frequencies, disparities, and orientations are combined by context-sensitive filtering, competition, and cooperation to form coherent BCS boundary segmentations. Several factors contribute to figure-ground pop-out, including: boundary contrast between spatially contiguous boundaries, whether due to scenic differences in luminance, color, spatial frequency, or disparity; partially ordered interactions from larger spatial scales and disparities to smaller scales and disparities; and surface filling-in restricted to regions surrounded by a connected boundary. Phenomena such as 3-D pop-out from a 2-D picture, DaVinci stereopsis, a 3-D neon color spreading, completion of partially occluded objects, and figure-ground reversals are analysed. The BCS and FCS sub-systems model aspects of how the two parvocellular cortical processing streams that join the Lateral Geniculate Nucleus to prestriate cortical area V4 interact to generate a multiplexed representation of Form-And-Color-And-Depth, or FACADE, within area V4. Area V4 is suggested to support figure-ground separation and to interact. with cortical mechanisms of spatial attention, attentive objcect learning, and visual search. Adaptive Resonance Theory (ART) mechanisms model aspects of how prestriate visual cortex interacts reciprocally with a visual object recognition system in inferotemporal cortex (IT) for purposes of attentive object learning and categorization. Object attention mechanisms of the What cortical processing stream through IT cortex are distinguished from spatial attention mechanisms of the Where cortical processing stream through parietal cortex. Parvocellular BCS and FCS signals interact with the model What stream. Parvocellular FCS and magnocellular Motion BCS signals interact with the model Where stream. Reciprocal interactions between these visual, What, and Where mechanisms arc used to discuss data about visual search and saccadic eye movements, including fast search of conjunctive targets, search of 3-D surfaces, selective search of like-colored targets, attentive tracking of multi-element groupings, and recursive search of simultaneously presented targets.

Practitioners’ perception of the impact of the vision of policy-makers on practice: The example of the recommendations of the Moser Commission

This paper presents the perception of practitioners of the impact of the Moser Committee recommendations and the Skills for Life agenda it generated. The paper further explores areas of convergence and divergence between practitioners’ perceptions and the underpinning values of the Moser Committee recommendations. The study utilised a range of research tools including an online questionnaire, documentary analysis and elements of discourse analysis in the collection and analysis of data. It found that there is substantial divergence between the perception of practitioners and the values underpinning policy. It concludes by suggesting that a varying perception of what constitutes sustainable education and the lack of input from practitioners into policy might be responsible for this significant divergence of opinion and also raised a question on the perceived role of practitioners in the policy‐making process.

What motion distributions yield global transparency and spatial segmentation?

We have examined the ability of observers to parse bimodal local-motion distributions into two global motion surfaces, either overlapping (yielding transparent motion) or spatially segregated (yielding a motion boundary). The stimuli were random dot kinematograms in which the direction of motion of each dot was drawn from one of two rectangular probability distributions. A wide range of direction distribution widths and separations was tested. The ability to discriminate the direction of motion of one of the two motion surfaces from the direction of a comparison stimulus was used as an objective test of the perception of two discrete surfaces. Performance for both transparent and spatially segregated motion was remarkably good, being only slightly inferior to that achieved with a single global motion surface. Performance was consistently better for segregated motion than for transparency. Whereas transparent motion was only perceived with direction distributions which were separated by a significant gap, segregated motion could be seen with abutting or even partially overlapping direction distributions. For transparency, the critical gap increased with the range of directions in the distribution. This result does not support models in which transparency depends on detection of a minimum size of gap defining a bimodal direction distribution. We suggest, instead, that the operations which detect bimodality are scaled (in the direction domain) with the overall range of distributions. This yields a flexible, adaptive system that determines whether a gap in the direction distribution serves as a segmentation cue or is smoothed as part of a unitary computation of global motion.

A STRUCTURE-FROM-MOTION SCHEME THAT LOOKS FOR PARALLELS, AND ITS IMPLICATIONS FOR APPARENT REVERSALS IN ROTATING TRAPEZIA

Apparent reversals in rotating trapezia have been regarded as evidence that human vision favours methods which are heuristic or form dependent. However, the argument is based on the assumption that general algorithmic methods would avoid the illusion, and that has never been clear. A general algorithm for interpreting moving parallels has been developed to address the issue. It handles a considerable range of stimuli successfully, but finds multiple interpretations in situations which correspond closely to those where apparent reversals occur. This strengthens the hypothesis that apparent reversals may occur when general algorithmic methods fail and heuristics are invoked as a stopgap.

Balls to the wall: How acoustic information from a ball in motion guides interceptive movement in people with Parkinson’s disease

Previous research has shown that Parkinson's disease (PD) patients can increase the speed of their movement when catching a moving ball compared to when reaching for a static ball (Majsak et al., 1998). A recent model proposed by Redgrave et al. (2010) explains this phenomenon with regard to the dichotomic organization of motor loops in the basal ganglia circuitry and the role of sensory micro-circuitries in the control of goal-directed actions. According to this model, external visual information that is relevant to the required movement can induce a switch from a habitual control of movement toward an externally-paced, goal-directed form of guidance, resulting in augmented motor performance (Bienkiewicz et al., 2013). In the current study, we investigated whether continuous acoustic information generated by an object in motion can enhance motor performance in an arm reaching task in a similar way to that observed in the studies of Majsak et al. (1998, 2008). In addition, we explored whether the kinematic aspects of the movement are regulated in accordance with time to arrival information generated by the ball's motion as it reaches the catching zone. A group of 7 idiopathic PD (6 male, 1 female) patients performed a ball-catching task where the acceleration (and hence ball velocity) was manipulated by adjusting the angle of the ramp. The type of sensory information (visual and/or auditory) specifying the ball's arrival at the catching zone was also manipulated. Our results showed that patients with PD demonstrate improved motor performance when reaching for a ball in motion, compared to when stationary. We observed how PD patients can adjust their movement kinematics in accordance with the speed of a moving target, even if vision of the target is occluded and patients have to rely solely on auditory information. We demonstrate that the availability of dynamic temporal information is crucial for eliciting motor improvements in PD. Furthermore, these effects appear independent from the sensory modality through-which the information is conveyed. 

Perception and Automatic Recognition of Laughter from Whole-Body Motion: Continuous and Categorical Perspectives

Despite its importance in social interactions, laughter remains little studied in affective computing. Intelligent virtual agents are often blind to users’ laughter and unable to produce convincing laughter themselves. Respiratory, auditory, and facial laughter signals have been investigated but laughter-related body movements have received less attention. The aim of this study is threefold. First, to probe human laughter perception by analyzing patterns of categorisations of natural laughter animated on a minimal avatar. Results reveal that a low dimensional space can describe perception of laughter “types”. Second, to investigate observers’ perception of laughter (hilarious, social, awkward, fake, and non-laughter) based on animated avatars generated from natural and acted motion-capture data. Significant differences in torso and limb movements are found between animations perceived as laughter and those perceived as non-laughter. Hilarious laughter also differs from social laughter. Different body movement features were indicative of laughter in sitting and standing avatar postures. Third, to investigate automatic recognition of laughter to the same level of certainty as observers’ perceptions. Results show recognition rates of the Random Forest model approach human rating levels. Classification comparisons and feature importance analyses indicate an improvement in recognition of social laughter when localized features and nonlinear models are used.

Human Perception of Laughter from Context-free Whole Body Motion Dynamic Stimuli

Laughter is a ubiquitous social signal in human interactions yet it remains understudied from a scientific point of view. The need to understand laughter and its role in human interactions has become more pressing as the ability to create conversational agents capable of interacting with humans has come closer to a reality. This paper reports on three aspects of the human perception of laughter when context has been removed and only the body information from the laughter episode remains. We report on ability to categorise the laugh type and the sex of the laugher; the relationship between personality factors with laughter categorisation and perception; and finally the importance of intensity in the perception and categorisation of laughter.

The Impact of Thought Speed and Variability on Psychological State and Threat Perception: Further Exploration of the Theory of Mental Motion

Thought speed and variability are purportedly common features of specific psychological states, such as mania and anxiety. The present study explored the independent and combinational influence of these variables upon condition-specific symptoms and affective state, as proposed by Pronin and Jacobs’ (Perspect Psychol Sci, 3:461–485, 2008) theory of mental motion. A general population sample was recruited online (N = 263). Participants completed a thought speed and variability manipulation task, inducing a combination of fast/slow and varied/repetitive thought. Change in mania and anxiety symptoms was assessed through direct self-reported symptom levels and indirect, processing bias assessment (threat interpretation). Results indicated that fast and varied thought independently increased self-reported mania symptoms. Affect was significantly less positive and more negative during slow thought. No change in anxiety symptoms or threat interpretation was found between manipulation conditions. No evidence for the proposed combinational influence of speed and variability was found. Implications and avenues for therapeutic intervention are discussed.

Quand l’action surpasse la perception : rôle de la vision et de la proprioception dans la perception et le contrôle en temps réel de l’orientation spatiale de la main

Cette recherche a pour but d’évaluer le rôle de la vision et de la proprioception pour la perception et le contrôle de l’orientation spatiale de la main chez l’humain. L’orientation spatiale de la main est une composante importante des mouvements d’atteinte et de saisie. Toutefois, peu d’attention a été portée à l’étude de l’orientation spatiale de la main dans la littérature. À notre connaissance, cette étude est la première à évaluer spécifiquement l’influence des informations sensorielles et de l’expérience visuelle pour la perception et le contrôle en temps réel de l'orientation spatiale de la main pendant le mouvement d’atteinte naturel vers une cible stationnaire. Le premier objectif était d’étudier la contribution de la vision et de la proprioception dans des tâches de perception et de mouvement d’orientation de la main. Dans la tâche de perception (orientation-matching task), les sujets devaient passivement ou activement aligner une poignée de forme rectangulaire avec une cible fixée dans différentes orientations. Les rotations de l’avant-bras et du poignet étaient soit imposées par l’expérimentateur, soit effectuées par les sujets. Dans la tâche de mouvement d’orientation et d’atteinte simultanées (letter posting task 1), les sujets ont réalisé des mouvements d’atteinte et de rotation simultanées de la main afin d’insérer la poignée rectangulaire dans une fente fixée dans les mêmes orientations. Les tâches ont été réalisées dans différentes conditions sensorielles où l’information visuelle de la cible et de la main était manipulée. Dans la tâche perceptive, une augmentation des erreurs d’orientation de la main a été observée avec le retrait des informations visuelles concernant la cible et/ou ou la main. Lorsque la vision de la main n’était pas permise, il a généralement été observé que les erreurs d’orientation de la main augmentaient avec le degré de rotation nécessaire pour aligner la main et la cible. Dans la tâche de mouvement d’orientation et d’atteinte simultanées, les erreurs ont également augmenté avec le retrait des informations visuelles. Toutefois, les patrons d’erreurs étaient différents de ceux observés dans la tâche de perception, et les erreurs d’orientation n’ont pas augmenté avec le degré de rotation nécessaire pour insérer la poignée dans la fente. En absence de vision de la main, il a été observé que les erreurs d’orientation étaient plus petites dans la tâche de mouvement que de perception, suggérant l’implication de la proprioception pour le contrôle de l’orientation spatiale de la main lors des mouvements d’orientation et d’atteinte simultanées. Le deuxième objectif de cette recherche était d’étudier l’influence de la vision et de la proprioception dans le contrôle en temps réel de l’orientation spatiale de la main. Dans une tâche d’orientation de la main suivie d’une atteinte manuelle (letter posting task 2), les sujets devaient d’abord aligner l’orientation de la même poignée avec la fente fixée dans les mêmes orientations, puis réaliser un mouvement d’atteinte sans modifier l’orientation initiale de la main. Une augmentation des erreurs initiales et finales a été observée avec le retrait des informations visuelles. Malgré la consigne de ne pas changer l’orientation initiale de la main, une diminution des erreurs d’orientation a généralement été observée suite au mouvement d’atteinte, dans toutes les conditions sensorielles testées. Cette tendance n’a pas été observée lorsqu’aucune cible explicite n’était présentée et que les sujets devaient conserver l’orientation de départ de la main pendant le mouvement d’atteinte (mouvement intransitif; letter-posting task 3). La diminution des erreurs pendant l’atteinte manuelle transitive vers une cible explicite (letter-posting task 2), malgré la consigne de ne pas changer l’orientation de la main pendant le mouvement, suggère un mécanisme de corrections automatiques pour le contrôle en temps réel de l’orientation spatiale de la main pendant le mouvement d’atteinte naturel vers une cible stationnaire. Le troisième objectif de cette recherche était d’évaluer la contribution de l’expérience visuelle pour la perception et le contrôle de l’orientation spatiale de la main. Des sujets aveugles ont été testés dans les mêmes tâches de perception et de mouvement. De manière générale, les sujets aveugles ont présenté les mêmes tendances que les sujets voyants testés dans la condition proprioceptive (sans vision), suggérant que l’expérience visuelle n’est pas nécessaire pour le développement d’un mécanisme de correction en temps réel de l’orientation spatiale de la main basé sur la proprioception.

Impacts fonctionnels du traumatisme craniocérébral léger sur la vision et l'équilibre postural chez l'adulte

Le traumatisme craniocérébral léger (TCCL) a des effets complexes sur plusieurs fonctions cérébrales, dont l’évaluation et le suivi peuvent être difficiles. Les problèmes visuels et les troubles de l’équilibre font partie des plaintes fréquemment rencontrées après un TCCL. En outre, ces problèmes peuvent continuer à affecter les personnes ayant eu un TCCL longtemps après la phase aiguë du traumatisme. Cependant, les évaluations cliniques conventionnelles de la vision et de l’équilibre ne permettent pas, la plupart du temps, d’objectiver ces symptômes, surtout lorsqu’ils s’installent durablement. De plus, il n’existe pas, à notre connaissance, d’étude longitudinale ayant étudié les déficits visuels perceptifs, en tant que tels, ni les troubles de l’équilibre secondaires à un TCCL, chez l’adulte. L’objectif de ce projet était donc de déterminer la nature et la durée des effets d’un tel traumatisme sur la perception visuelle et sur la stabilité posturale, en évaluant des adultes TCCL et contrôles sur une période d’un an. Les mêmes sujets, exactement, ont participé aux deux expériences, qui ont été menées les mêmes jours pour chacun des sujets. L’impact du TCCL sur la perception visuelle de réseaux sinusoïdaux définis par des attributs de premier et de second ordre a d’abord été étudié. Quinze adultes diagnostiqués TCCL ont été évalués 15 jours, 3 mois et 12 mois après leur traumatisme. Quinze adultes contrôles appariés ont été évalués à des périodes identiques. Des temps de réaction (TR) de détection de clignotement et de discrimination de direction de mouvement ont été mesurés. Les niveaux de contraste des stimuli de premier et de second ordre ont été ajustés pour qu’ils aient une visibilité comparable, et les moyennes, médianes, écarts-types (ET) et écarts interquartiles (EIQ) des TR correspondant aux bonnes réponses ont été calculés. Le niveau de symptômes a également été évalué pour le comparer aux données de TR. De façon générale, les TR des TCCL étaient plus longs et plus variables (plus grands ET et EIQ) que ceux des contrôles. De plus, les TR des TCCL étaient plus courts pour les stimuli de premier ordre que pour ceux de second ordre, et plus variables pour les stimuli de premier ordre que pour ceux de second ordre, dans la condition de discrimination de mouvement. Ces observations se sont répétées au cours des trois sessions. Le niveau de symptômes des TCCL était supérieur à celui des participants contrôles, et malgré une amélioration, cet écart est resté significatif sur la période d’un an qui a suivi le traumatisme. La seconde expérience, elle, était destinée à évaluer l’impact du TCCL sur le contrôle postural. Pour cela, nous avons mesuré l’amplitude d’oscillation posturale dans l’axe antéropostérieur et l’instabilité posturale (au moyen de la vitesse quadratique moyenne (VQM) des oscillations posturales) en position debout, les pieds joints, sur une surface ferme, dans cinq conditions différentes : les yeux fermés, et dans un tunnel virtuel tridimensionnel soit statique, soit oscillant de façon sinusoïdale dans la direction antéropostérieure à trois vitesses différentes. Des mesures d’équilibre dérivées de tests cliniques, le Bruininks-Oseretsky Test of Motor Proficiency 2nd edition (BOT-2) et le Balance Error Scoring System (BESS) ont également été utilisées. Les participants diagnostiqués TCCL présentaient une plus grande instabilité posturale (une plus grande VQM des oscillations posturales) que les participants contrôles 2 semaines et 3 mois après le traumatisme, toutes conditions confondues. Ces troubles de l’équilibre secondaires au TCCL n’étaient plus présents un an après le traumatisme. Ces résultats suggèrent également que les déficits affectant les processus d’intégration visuelle mis en évidence dans la première expérience ont pu contribuer aux troubles de l’équilibre secondaires au TCCL. L’amplitude d’oscillation posturale dans l’axe antéropostérieur de même que les mesures dérivées des tests cliniques d’évaluation de l’équilibre (BOT-2 et BESS) ne se sont pas révélées être des mesures sensibles pour quantifier le déficit postural chez les sujets TCCL. L’association des mesures de TR à la perception des propriétés spécifiques des stimuli s’est révélée être à la fois une méthode de mesure particulièrement sensible aux anomalies visuomotrices secondaires à un TCCL, et un outil précis d’investigation des mécanismes sous-jacents à ces anomalies qui surviennent lorsque le cerveau est exposé à un traumatisme léger. De la même façon, les mesures d’instabilité posturale se sont révélées suffisamment sensibles pour permettre de mesurer les troubles de l’équilibre secondaires à un TCCL. Ainsi, le développement de tests de dépistage basés sur ces résultats et destinés à l’évaluation du TCCL dès ses premières étapes apparaît particulièrement intéressant. Il semble également primordial d’examiner les relations entre de tels déficits et la réalisation d’activités de la vie quotidienne, telles que les activités scolaires, professionnelles ou sportives, pour déterminer les impacts fonctionnels que peuvent avoir ces troubles des fonctions visuomotrice et du contrôle de l’équilibre.