Periphere Wahrnehmung beim Verfolgen mehrerer Objekte

Einleitung Beim Multiple-Object-Tracking müssen mehrere, sich bewegende Zielobjekte visuell ver-folgt werden. Dabei scheint es vorteilhaft zu sein, den Blick zwischen den Zielobjekten zu verankern, um Bewegungsinformationen peripher wahrzunehmen (Fehd & Seiffert, 2010). Nach Prüfung dieser Annahme (Experiment 1) wurde getestet, wie gut und schnell auf Bewegungs- und Formveränderungen der Zielobjekte reagiert werden kann (Experiment 2), um die Funktionalität der peripheren Wahrnehmung zu überprüfen. Methode 14 Teilnehmer hatten die Aufgabe, zum Ende eines Einzelversuchs 4 aus 10 Vierecken wiederzuerkennen, die sich linear für 6 s in einem projizierten Quadrat bewegten. Dabei wurden 3 Geschwindigkeiten (6, 9 und 12°/s) in 9 Blöcken à 15 Versuchen präsentiert, um herauszufinden, bei welcher Geschwindigkeit der Blickpunkt die längste Zeit auf dem Centroid der 4 Zielobjekte liegt und damit die Zielobjekte lange peripher wahrgenommen werden. In Experiment 2 sollten Teilnehmer bei dieser „optimalen“ Geschwindigkeit auf das Anhalten der Vierecke oder deren Formveränderung zur Raute (Manipulation:0.5 s) mit Knopfdruck reagieren, bei ausbleibender Veränderung hingegen die 4 Zielobjekte wiedererkennen (3 Bedingungen in 10 Blöcken à 12 Versuchen). Erwartet wurde, dass Bewegungsveränderungen häufiger und schneller erkannt werden als Formverände-rungen. Ergebnisse Der Geschwindigkeitsvergleich in Experiment 1 ergab, dass der Blick bei 6°/s die längste Zeit (46 %) auf den Centroid gerichtet ist, F(2,132) = 9.68, p < .01, ηp2 = .13 und die 4 Ziel-objekte bei dieser Geschwindigkeit signifikant häufiger wiedererkannt werden (59 %), F(2,132) = 37.62, p < .01, ηp2 = .36. In Experiment 2 wurde festgestellt, dass Bewegungs-veränderungen häufiger erkannt werden (83 %) als Formveränderungen (59 %), F(1,78) = 65.52, p < .01, ηp2 = .46, wobei die Erkennungsleistung der 4 Zielobjekte mit Experiment 1 vergleichbar ist (58%). Diskussion Die periphere Wahrnehmung scheint immer dann funktional zu sein, wenn mehrere, für eine Aufgabe relevante Objekte gleichzeitig verfolgt werden müssen und wenn Verände-rungen, besonders der Bewegung, schnell erkannt werden müssen. Weitere Untersu-chungen sollen zeigen, ob diese Funktionalität der peripheren Wahrnehmung auch im Sport (z.B. beim gleichzeitigen Verfolgen mehrerer Gegenspieler) erkannt werden kann. Literatur Fehd, H. M. & Seiffert, A. E. (2010). Looking at the center of the targets helps multiple object tracking. Journal of Vision, 10, 1–13.

Funktionalität peripherer Wahrnehmung bei Trackingaufgaben

Introduction: Beim Multiple-Object-Tracking müssen mehrere, sich bewegende Zielobjekte visuell verfolgt werden. Dabei scheint es vorteilhaft zu sein, den Blick zwischen den Zielobjekten zu verankern, um Bewegungsinformationen peripher wahrzunehmen (Fehd & Seiffert, 2010). Nach Prüfung dieser Annahme (Experiment 1) wurde getestet, wie gut und schnell auf Bewegungs- und Formveränderungen der Zielobjekte reagiert werden kann (Experiment 2), um die Funktionalität der peripheren Wahrnehmung zu überprüfen. Methods: 14 Teilnehmer hatten die Aufgabe, zum Ende eines Einzelversuchs 4 aus 10 Vierecken wiederzuerkennen, die sich linear für 6 s in einem projizierten Quadrat bewegten. Dabei wurden 3 Geschwindigkeiten (6, 9 und 12°/s) in 9 Blöcken à 15 Versuchen präsentiert, um die Ergebnisse von Fehd und Seiffert (2010) zu replizieren. In Experiment 2 sollten Teilnehmer auf das Anhalten eines Targets oder dessen Formveränderung zur Raute (Manipulation: 0.5 s) mit Knopfdruck reagieren, bei ausbleibender Veränderung hingegen die 4 Zielobjekte wiedererkennen (3 Bedingungen in 10 Blöcken à 12 Versuchen). Durch die Bestimmung von Sakkadenlatenzen (definiert als Zeitraum zwischen Beginn der Objektveränderung und Sakkadenbeginn auf das Objekt) kann bestimmt werden, ob die Veränderung bereits peripher wahrgenommen wurde. Unter anderem aufgrund der Sensitivität der Netzhaut gegenüber Bewegungen wurde erwartet, dass Bewegungsveränderungen häufiger und schneller erkannt werden und dass häufiger bereits reagiert werden kann, bevor der Blick auf dem veränderten Zielobjekt ist. Results: Experiment 1 ergab einen signifikanten Haupteffekt für Geschwindigkeit, F(2,26) = 62.66, p < .01, ηp2 = .83, mit höchsten Richtigkeiten bei 6°/s (58%). Ein Haupteffekt für Blickort, F(2,26) = 76.40, p < .01, ηp2 = .85, zeigt, dass der Blick unabhängig von der Geschwindigkeit länger auf dem Centroid war als auf Targets und Distraktoren. Aufgrund der höchsten Richtigkeiten bei 6°/s wurde diese Geschwindigkeit in Experiment 2 eingesetzt und festgestellt, dass Bewegungsveränderungen häufiger erkannt werden (83 %) als Formveränderungen (59 %), F(1,10) = 17.20, p < .01, ηp2 = .63. Unterschiede in Sakkadenlatenzen, F(1,10) = 6.73, p = .03, ηp2 = .40, deuten auf eine periphere Wahrnehmung der Bewegungsveränderungen hin. Experiment 3 wird zeigen, ob Sakkaden das Monitoring stören. Discussion/Conclusion: Die periphere Wahrnehmung scheint immer dann funktional zu sein, wenn mehrere, für eine Aufgabe relevante Objekte gleichzeitig verfolgt werden müssen und wenn Veränderungen, besonders der Bewegung, schnell erkannt werden müssen. Weitere Untersuchungen sollen zeigen, ob diese Funktionalität der peripheren Wahrnehmung auch im Sport (z.B. beim gleichzeitigen Verfolgen mehrerer Gegenspieler) erkannt werden kann. References: Fehd, H. M. & Seiffert, A. E. (2010). Looking at the center of the targets helps multiple object tracking. Journal of Vision, 10, 1–13.

Funktionalität peripherer Wahrnehmung bei Trackingaufgaben

Schlüsselwörter: Multiple-Object-Tracking, Sakkadenlatenz, Erkennungsleistung Einleitung Beim Multiple-Object-Tracking müssen mehrere, sich bewegende Zielobjekte visuell ver-folgt werden. Dabei scheint es vorteilhaft zu sein, den Blick zwischen den Zielobjekten zu verankern, um Bewegungsinformationen peripher wahrzunehmen (Fehd & Seiffert, 2010). Nach Prüfung dieser Annahme (Experiment 1) wurde getestet, wie gut und schnell auf Bewegungs- und Formveränderungen der Zielobjekte reagiert werden kann (Experiment 2), um die Funktionalität der peripheren Wahrnehmung zu überprüfen Methode 14 Teilnehmer hatten die Aufgabe, zum Ende eines Einzelversuchs 4 aus 10 Vierecken wiederzuerkennen, die sich linear für 6 s in einem projizierten Quadrat bewegten. Dabei wurden 3 Geschwindigkeiten (6, 9 und 12°/s) in 9 Blöcken à 15 Versuchen präsentiert, um die Ergebnisse von Fehd und Seiffert (2010) zu replizieren. In Experiment 2 sollten Teilnehmer auf das Anhalten eines Targets oder dessen Formveränderung zur Raute (Manipulation: 0.5 s) mit Knopfdruck reagieren, bei ausbleibender Veränderung hinge-gen die 4 Zielobjekte wiedererkennen (3 Bedingungen in 10 Blöcken à 12 Versuchen). Erwartet wurde, dass Bewegungsveränderungen häufiger und schneller erkannt werden. Ergebnisse Experiment 1 ergab einen signifikanten Haupteffekt für Geschwindigkeit, F(2,26) = 62.66, p < .01, ηp2 = .83, mit höchsten Richtigkeiten bei 6°/s (58%). Ein Haupteffekt für Blickort, F(2,26) = 76.40, p < .01, ηp2 = .85, zeigt, dass der Blick unabhängig von der Geschwindig-keit länger auf dem Centroid war als auf Targets und Distraktoren. Aufgrund der höchs-ten Richtigkeiten bei 6°/s wurde diese Geschwindigkeit in Experiment 2 eingesetzt und festgestellt, dass Bewegungsveränderungen häufiger erkannt werden (83 %) als Form-veränderungen (59 %), F(1,10) = 17.20, p < .01, ηp2 = .63. Unterschiede in Sakkadenla-tenzen, F(1,10) = 6.73, p = .03, ηp2 = .40, deuten auf eine periphere Wahrnehmung der Bewegungsveränderungen hin. Experiment 3 wird zeigen, ob Sakkaden das Monitoring stören. Diskussion Die periphere Wahrnehmung scheint immer dann funktional zu sein, wenn mehrere, für eine Aufgabe relevante Objekte gleichzeitig verfolgt werden müssen und wenn Verände-rungen, besonders der Bewegung, schnell erkannt werden müssen. Weitere Untersu-chungen sollen zeigen, ob diese Funktionalität der peripheren Wahrnehmung auch im Sport (z.B. beim gleichzeitigen Verfolgen mehrerer Gegenspieler) erkannt werden kann. Literatur Fehd, H. M. & Seiffert, A. E. (2010). Looking at the center of the targets helps multiple object tracking. Journal of Vision, 10, 1–13.

Reduced foveal vision enhances peripheral monitoring and peripheral event detection

Introduction: Although it seems plausible that sports performance relies on high-acuity foveal vision, it could be empirically shown that myoptic blur (up to +2 diopters) does not harm performance in sport tasks that require foveal information pick-up like golf putting (Bulson, Ciuffreda, & Hung, 2008). How myoptic blur affects peripheral performance is yet unknown. Attention might be less needed for processing visual cues foveally and lead to better performance because peripheral cues are better processed as a function of reduced foveal vision, which will be tested in the current experiment. Methods: 18 sport science students with self-reported myopia volunteered as participants, all of them regularly wearing contact lenses. Exclusion criteria comprised visual correction other than myopic, correction of astigmatism and use of contact lenses out of Swiss delivery area. For each of the participants, three pairs of additional contact lenses (besides their regular lenses; used in the “plano” condition) were manufactured with an individual overcorrection to a retinal defocus of +1 to +3 diopters (referred to as “+1.00 D”, “+2.00 D”, and “+3.00 D” condition, respectively). Gaze data were acquired while participants had to perform a multiple object tracking (MOT) task that required to track 4 out of 10 moving stimuli. In addition, in 66.7 % of all trials, one of the 4 targets suddenly stopped during the motion phase for a period of 0.5 s. Stimuli moved in front of a picture of a sports hall to allow for foveal processing. Due to the directional hypotheses, the level of significance for one-tailed tests on differences was set at α = .05 and posteriori effect sizes were computed as partial eta squares (ηρ2). Results: Due to problems with the gaze-data collection, 3 participants had to be excluded from further analyses. The expectation of a centroid strategy was confirmed because gaze was closer to the centroid than the target (all p < .01). In comparison to the plano baseline, participants more often recalled all 4 targets under defocus conditions, F(1,14) = 26.13, p < .01, ηρ2 = .65. The three defocus conditions differed significantly, F(2,28) = 2.56, p = .05, ηρ2 = .16, with a higher accuracy as a function of a defocus increase and significant contrasts between conditions +1.00 D and +2.00 D (p = .03) and +1.00 D and +3.00 D (p = .03). For stop trials, significant differences could neither be found between plano baseline and defocus conditions, F(1,14) = .19, p = .67, ηρ2 = .01, nor between the three defocus conditions, F(2,28) = 1.09, p = .18, ηρ2 = .07. Participants reacted faster in “4 correct+button” trials under defocus than under plano-baseline conditions, F(1,14) = 10.77, p < .01, ηρ2 = .44. The defocus conditions differed significantly, F(2,28) = 6.16, p < .01, ηρ2 = .31, with shorter response times as a function of a defocus increase and significant contrasts between +1.00 D and +2.00 D (p = .01) and +1.00 D and +3.00 D (p < .01). Discussion: The results show that gaze behaviour in MOT is not affected to a relevant degree by a visual overcorrection up to +3 diopters. Hence, it can be taken for granted that peripheral event detection was investigated in the present study. This overcorrection, however, does not harm the capability to peripherally track objects. Moreover, if an event has to be detected peripherally, neither response accuracy nor response time is negatively affected. Findings could claim considerable relevance for all sport situations in which peripheral vision is required which now needs applied studies on this topic. References: Bulson, R. C., Ciuffreda, K. J., & Hung, G. K. (2008). The effect of retinal defocus on golf putting. Ophthalmic and Physiological Optics, 28, 334-344.

Using psilocybin to investigate the relationship between attention, working memory, and the serotonin 1A and 2A receptors

Increasing evidence suggests a link between attention, working memory, serotonin (5-HT), and prefrontal cortex activity. In an attempt to tease out the relationship between these elements, this study tested the effects of the hallucinogenic mixed 5-HT1A/2A receptor agonist psilocybin alone and after pretreatment with the 5-HT2A antagonist ketanserin. Eight healthy human volunteers were rested on a multiple-object tracking task and spatial working memory task under the four conditions: placebo, psilocybin (215 mu g/kg), ketanserin (50 mg), and psilocybin and ketanserin. Psilocybin significantly reduced attentional tracking ability, but had no significant effect on spatial working memory, suggesting a functional dissociation between the two tasks. Pretreatment with ketanserin did not attenuate the effect of psilocybin on attentional performance, suggestinga primary involvement of the 5-HT1A receptor in the observed defecit. Based on physiological and pharmacological data,we speculate that this impaired attentional performance may reflect a reduced ability to suppress or ignore distracting stimuli rather than reduced attentional capacity. The clinical relevance of these results is also discussed.

Expertise sportive et entraînement perceptivo-cognitif de l’athlète

Pour être performant au plus haut niveau, les athlètes doivent posséder une capacité perceptivo-cognitive supérieure à la moyenne. Cette faculté, reflétée sur le terrain par la vision et l’intelligence de jeu des sportifs, permet d’extraire l’information clé de la scène visuelle. La science du sport a depuis longtemps observé l’expertise perceptivo-cognitive au sein de l’environnement sportif propre aux athlètes. Récemment, des études ont rapporté que l’expertise pouvait également se refléter hors de ce contexte, lors d’activités du quotidien par exemple. De plus, les récentes théories entourant la capacité plastique du cerveau ont amené les chercheurs à développer des outils pour entraîner les capacités perceptivo-cognitives des athlètes afin de les rendre plus performants sur le terrain. Ces méthodes sont la plupart du temps contextuelles à la discipline visée. Cependant, un nouvel outil d’entraînement perceptivo-cognitif, nommé 3-Dimensional Multiple Object Tracking (3D-MOT) et dénué de contexte sportif, a récemment vu le jour et a fait l’objet de nos recherches. Un de nos objectifs visait à mettre en évidence l’expertise perceptivo-cognitive spécifique et non-spécifique chez des athlètes lors d’une même étude. Nous avons évalué la perception du mouvement biologique chez des joueurs de soccer et des non-athlètes dans une salle de réalité virtuelle. Les sportifs étaient systématiquement plus performants en termes d’efficacité et de temps de réaction que les novices pour discriminer la direction du mouvement biologique lors d’un exercice spécifique de soccer (tir) mais également lors d’une action issue du quotidien (marche). Ces résultats signifient que les athlètes possèdent une meilleure capacité à percevoir les mouvements biologiques humains effectués par les autres. La pratique du soccer semble donc conférer un avantage fondamental qui va au-delà des fonctions spécifiques à la pratique d’un sport. Ces découvertes sont à mettre en parallèle avec la performance exceptionnelle des athlètes dans le traitement de scènes visuelles dynamiques et également dénuées de contexte sportif. Des joueurs de soccer ont surpassé des novices dans le test de 3D-MOT qui consiste à suivre des cibles en mouvement et stimule les capacités perceptivo-cognitives. Leur vitesse de suivi visuel ainsi que leur faculté d’apprentissage étaient supérieures. Ces résultats confirmaient des données obtenues précédemment chez des sportifs. Le 3D-MOT est un test de poursuite attentionnelle qui stimule le traitement actif de l’information visuelle dynamique. En particulier, l’attention sélective, dynamique et soutenue ainsi que la mémoire de travail. Cet outil peut être utilisé pour entraîner les fonctions perceptivo-cognitives des athlètes. Des joueurs de soccer entraînés au 3D-MOT durant 30 sessions ont montré une amélioration de la prise de décision dans les passes de 15% sur le terrain comparés à des joueurs de groupes contrôles. Ces données démontrent pour la première fois un transfert perceptivo-cognitif du laboratoire au terrain suivant un entraînement perceptivo-cognitif non-contextuel au sport de l’athlète ciblé. Nos recherches aident à comprendre l’expertise des athlètes par l’approche spécifique et non-spécifique et présentent également les outils d’entraînements perceptivo-cognitifs, en particulier le 3D-MOT, pour améliorer la performance dans le sport de haut-niveau.

Expertise sportive et entraînement perceptivo-cognitif de l’athlète

Pour être performant au plus haut niveau, les athlètes doivent posséder une capacité perceptivo-cognitive supérieure à la moyenne. Cette faculté, reflétée sur le terrain par la vision et l’intelligence de jeu des sportifs, permet d’extraire l’information clé de la scène visuelle. La science du sport a depuis longtemps observé l’expertise perceptivo-cognitive au sein de l’environnement sportif propre aux athlètes. Récemment, des études ont rapporté que l’expertise pouvait également se refléter hors de ce contexte, lors d’activités du quotidien par exemple. De plus, les récentes théories entourant la capacité plastique du cerveau ont amené les chercheurs à développer des outils pour entraîner les capacités perceptivo-cognitives des athlètes afin de les rendre plus performants sur le terrain. Ces méthodes sont la plupart du temps contextuelles à la discipline visée. Cependant, un nouvel outil d’entraînement perceptivo-cognitif, nommé 3-Dimensional Multiple Object Tracking (3D-MOT) et dénué de contexte sportif, a récemment vu le jour et a fait l’objet de nos recherches. Un de nos objectifs visait à mettre en évidence l’expertise perceptivo-cognitive spécifique et non-spécifique chez des athlètes lors d’une même étude. Nous avons évalué la perception du mouvement biologique chez des joueurs de soccer et des non-athlètes dans une salle de réalité virtuelle. Les sportifs étaient systématiquement plus performants en termes d’efficacité et de temps de réaction que les novices pour discriminer la direction du mouvement biologique lors d’un exercice spécifique de soccer (tir) mais également lors d’une action issue du quotidien (marche). Ces résultats signifient que les athlètes possèdent une meilleure capacité à percevoir les mouvements biologiques humains effectués par les autres. La pratique du soccer semble donc conférer un avantage fondamental qui va au-delà des fonctions spécifiques à la pratique d’un sport. Ces découvertes sont à mettre en parallèle avec la performance exceptionnelle des athlètes dans le traitement de scènes visuelles dynamiques et également dénuées de contexte sportif. Des joueurs de soccer ont surpassé des novices dans le test de 3D-MOT qui consiste à suivre des cibles en mouvement et stimule les capacités perceptivo-cognitives. Leur vitesse de suivi visuel ainsi que leur faculté d’apprentissage étaient supérieures. Ces résultats confirmaient des données obtenues précédemment chez des sportifs. Le 3D-MOT est un test de poursuite attentionnelle qui stimule le traitement actif de l’information visuelle dynamique. En particulier, l’attention sélective, dynamique et soutenue ainsi que la mémoire de travail. Cet outil peut être utilisé pour entraîner les fonctions perceptivo-cognitives des athlètes. Des joueurs de soccer entraînés au 3D-MOT durant 30 sessions ont montré une amélioration de la prise de décision dans les passes de 15% sur le terrain comparés à des joueurs de groupes contrôles. Ces données démontrent pour la première fois un transfert perceptivo-cognitif du laboratoire au terrain suivant un entraînement perceptivo-cognitif non-contextuel au sport de l’athlète ciblé. Nos recherches aident à comprendre l’expertise des athlètes par l’approche spécifique et non-spécifique et présentent également les outils d’entraînements perceptivo-cognitifs, en particulier le 3D-MOT, pour améliorer la performance dans le sport de haut-niveau.

The neuroscience of cognitive enhancement : enhanced attention, working memory and visual information processing speed using 3D-MOT

Des interventions ciblant l’amélioration cognitive sont de plus en plus à l’intérêt dans nombreux domaines, y compris la neuropsychologie. Bien qu'il existe de nombreuses méthodes pour maximiser le potentiel cognitif de quelqu’un, ils sont rarement appuyé par la recherche scientifique. D’abord, ce mémoire examine brièvement l'état des interventions d'amélioration cognitives. Il décrit premièrement les faiblesses observées dans ces pratiques et par conséquent il établit un modèle standard contre lequel on pourrait et devrait évaluer les diverses techniques ciblant l'amélioration cognitive. Une étude de recherche est ensuite présenté qui considère un nouvel outil de l'amélioration cognitive, une tâche d’entrainement perceptivo-cognitive : 3-dimensional multiple object tracking (3D-MOT). Il examine les preuves actuelles pour le 3D-MOT auprès du modèle standard proposé. Les résultats de ce projet démontrent de l’augmentation dans les capacités d’attention, de mémoire de travail visuel et de vitesse de traitement d’information. Cette étude représente la première étape dans la démarche vers l’établissement du 3D-MOT comme un outil d’amélioration cognitive.

The neuroscience of cognitive enhancement : enhanced attention, working memory and visual information processing speed using 3D-MOT

Des interventions ciblant l’amélioration cognitive sont de plus en plus à l’intérêt dans nombreux domaines, y compris la neuropsychologie. Bien qu'il existe de nombreuses méthodes pour maximiser le potentiel cognitif de quelqu’un, ils sont rarement appuyé par la recherche scientifique. D’abord, ce mémoire examine brièvement l'état des interventions d'amélioration cognitives. Il décrit premièrement les faiblesses observées dans ces pratiques et par conséquent il établit un modèle standard contre lequel on pourrait et devrait évaluer les diverses techniques ciblant l'amélioration cognitive. Une étude de recherche est ensuite présenté qui considère un nouvel outil de l'amélioration cognitive, une tâche d’entrainement perceptivo-cognitive : 3-dimensional multiple object tracking (3D-MOT). Il examine les preuves actuelles pour le 3D-MOT auprès du modèle standard proposé. Les résultats de ce projet démontrent de l’augmentation dans les capacités d’attention, de mémoire de travail visuel et de vitesse de traitement d’information. Cette étude représente la première étape dans la démarche vers l’établissement du 3D-MOT comme un outil d’amélioration cognitive.

Improved detection and tracking of objects in surveillance video

Surveillance networks are typically monitored by a few people, viewing several monitors displaying the camera feeds. It is then very difficult for a human operator to effectively detect events as they happen. Recently, computer vision research has begun to address ways to automatically process some of this data, to assist human operators. Object tracking, event recognition, crowd analysis and human identification at a distance are being pursued as a means to aid human operators and improve the security of areas such as transport hubs. The task of object tracking is key to the effective use of more advanced technologies. To recognize an event people and objects must be tracked. Tracking also enhances the performance of tasks such as crowd analysis or human identification. Before an object can be tracked, it must be detected. Motion segmentation techniques, widely employed in tracking systems, produce a binary image in which objects can be located. However, these techniques are prone to errors caused by shadows and lighting changes. Detection routines often fail, either due to erroneous motion caused by noise and lighting effects, or due to the detection routines being unable to split occluded regions into their component objects. Particle filters can be used as a self contained tracking system, and make it unnecessary for the task of detection to be carried out separately except for an initial (often manual) detection to initialise the filter. Particle filters use one or more extracted features to evaluate the likelihood of an object existing at a given point each frame. Such systems however do not easily allow for multiple objects to be tracked robustly, and do not explicitly maintain the identity of tracked objects. This dissertation investigates improvements to the performance of object tracking algorithms through improved motion segmentation and the use of a particle filter. A novel hybrid motion segmentation / optical flow algorithm, capable of simultaneously extracting multiple layers of foreground and optical flow in surveillance video frames is proposed. The algorithm is shown to perform well in the presence of adverse lighting conditions, and the optical flow is capable of extracting a moving object. The proposed algorithm is integrated within a tracking system and evaluated using the ETISEO (Evaluation du Traitement et de lInterpretation de Sequences vidEO - Evaluation for video understanding) database, and significant improvement in detection and tracking performance is demonstrated when compared to a baseline system. A Scalable Condensation Filter (SCF), a particle filter designed to work within an existing tracking system, is also developed. The creation and deletion of modes and maintenance of identity is handled by the underlying tracking system; and the tracking system is able to benefit from the improved performance in uncertain conditions arising from occlusion and noise provided by a particle filter. The system is evaluated using the ETISEO database. The dissertation then investigates fusion schemes for multi-spectral tracking systems. Four fusion schemes for combining a thermal and visual colour modality are evaluated using the OTCBVS (Object Tracking and Classification in and Beyond the Visible Spectrum) database. It is shown that a middle fusion scheme yields the best results and demonstrates a significant improvement in performance when compared to a system using either mode individually. Findings from the thesis contribute to improve the performance of semi-automated video processing and therefore improve security in areas under surveillance.

Multi-sensor tracking using a scalable condensation filter

Surveillance and tracking systems typically use a single colour modality for their input. These systems work well in controlled conditions but often fail with low lighting, shadowing, smoke, dust, unstable backgrounds or when the foreground object is of similar colouring to the background. With advances in technology and manufacturing techniques, sensors that allow us to see into the thermal infrared spectrum are becoming more affordable. By using modalities from both the visible and thermal infrared spectra, we are able to obtain more information from a scene and overcome the problems associated with using visible light only for surveillance and tracking. Thermal images are not affected by lighting or shadowing and are not overtly affected by smoke, dust or unstable backgrounds. We propose and evaluate three approaches for fusing visual and thermal images for person tracking. We also propose a modified condensation filter to track and aid in the fusion of the modalities. We compare the proposed fusion schemes with using the visual and thermal domains on their own, and demonstrate that significant improvements can be achieved by using multiple modalities.

Multiple classifier boosting and tree-structured classifiers

Visual recognition problems often involve classification of myriads of pixels, across scales, to locate objects of interest in an image or to segment images according to object classes. The requirement for high speed and accuracy makes the problems very challenging and has motivated studies on efficient classification algorithms. A novel multi-classifier boosting algorithm is proposed to tackle the multimodal problems by simultaneously clustering samples and boosting classifiers in Section 2. The method is extended into an online version for object tracking in Section 3. Section 4 presents a tree-structured classifier, called Super tree, to further speed up the classification time of a standard boosting classifier. The proposed methods are demonstrated for object detection, tracking and segmentation tasks. © 2013 Springer-Verlag Berlin Heidelberg.

Decentralized Target Tracking based on Multi-Robot Cooperative Triangulation

Target tracking with bearing-only sensors is a challenging problem when the target moves dynamically in complex scenarios. Besides the partial observability of such sensors, they have limited field of views, occlusions can occur, etc. In those cases, cooperative approaches with multiple tracking robots are interesting, but the different sources of uncertain information need to be considered appropriately in order to achieve better estimates. Even though there exist probabilistic filters that can estimate the position of a target dealing with incertainties, bearing-only measurements bring usually additional problems with initialization and data association. In this paper, we propose a multi-robot triangulation method with a dynamic baseline that can triangulate bearing-only measurements in a probabilistic manner to produce 3D observations. This method is combined with a decentralized stochastic filter and used to tackle those initialization and data association issues. The approach is validated with simulations and field experiments where a team of aerial and ground robots with cameras track a dynamic target.

Real-Time Automatic Object Classification and Tracking using Genetic Programming and NVIDIA R CUDA TM

Genetic Programming (GP) is a widely used methodology for solving various computational problems. GP's problem solving ability is usually hindered by its long execution times. In this thesis, GP is applied toward real-time computer vision. In particular, object classification and tracking using a parallel GP system is discussed. First, a study of suitable GP languages for object classification is presented. Two main GP approaches for visual pattern classification, namely the block-classifiers and the pixel-classifiers, were studied. Results showed that the pixel-classifiers generally performed better. Using these results, a suitable language was selected for the real-time implementation. Synthetic video data was used in the experiments. The goal of the experiments was to evolve a unique classifier for each texture pattern that existed in the video. The experiments revealed that the system was capable of correctly tracking the textures in the video. The performance of the system was on-par with real-time requirements.

3D path planning with novel multiple 2D layered approach for complex human-robot interaction

Navigating cluttered indoor environments is a difficult problem in indoor service robotics. The Acroboter concept, a novel approach to indoor locomotion, represents unique opportunity to avoid obstacles in indoor environments by navigating the ceiling plane. This mode of locomotion requires the ability to accurately detect obstacles, and plan 3D trajectories through the environment. This paper presents the development of a resilient object tracking system, as well as a novel approach to generating 3D paths suitable for such robot configurations. Distributed human-machine interfacing allowing simulation previewing of actions is also considered in the developed system architecture.