Seguiment de les extremitats dels ratolins i les vibrisses del musell

El present TFM té per objectiu aplicar tècniques d'intel·ligència artificial per realitzar el seguiment de les extremitats dels ratolins i les vibrisses del seu musell. Aquest objectiu es deriva de la necessitat per part dels realitzadors d'experiments optogenètics de registrar els moviments dels ratolins.

Efficient Optimization Algorithms for Nonlinear Data Analysis

Identification of low-dimensional structures and main sources of variation from multivariate data are fundamental tasks in data analysis. Many methods aimed at these tasks involve solution of an optimization problem. Thus, the objective of this thesis is to develop computationally efficient and theoretically justified methods for solving such problems. Most of the thesis is based on a statistical model, where ridges of the density estimated from the data are considered as relevant features. Finding ridges, that are generalized maxima, necessitates development of advanced optimization methods. An efficient and convergent trust region Newton method for projecting a point onto a ridge of the underlying density is developed for this purpose. The method is utilized in a differential equation-based approach for tracing ridges and computing projection coordinates along them. The density estimation is done nonparametrically by using Gaussian kernels. This allows application of ridge-based methods with only mild assumptions on the underlying structure of the data. The statistical model and the ridge finding methods are adapted to two different applications. The first one is extraction of curvilinear structures from noisy data mixed with background clutter. The second one is a novel nonlinear generalization of principal component analysis (PCA) and its extension to time series data. The methods have a wide range of potential applications, where most of the earlier approaches are inadequate. Examples include identification of faults from seismic data and identification of filaments from cosmological data. Applicability of the nonlinear PCA to climate analysis and reconstruction of periodic patterns from noisy time series data are also demonstrated. Other contributions of the thesis include development of an efficient semidefinite optimization method for embedding graphs into the Euclidean space. The method produces structure-preserving embeddings that maximize interpoint distances. It is primarily developed for dimensionality reduction, but has also potential applications in graph theory and various areas of physics, chemistry and engineering. Asymptotic behaviour of ridges and maxima of Gaussian kernel densities is also investigated when the kernel bandwidth approaches infinity. The results are applied to the nonlinear PCA and to finding significant maxima of such densities, which is a typical problem in visual object tracking.

Automatic recognition of fish from video sequences

The problem of automatic recognition of the fish from the video sequences is discussed in this Master’s Thesis. This is a very urgent issue for many organizations engaged in fish farming in Finland and Russia because the process of automation control and counting of individual species is turning point in the industry. The difficulties and the specific features of the problem have been identified in order to find a solution and propose some recommendations for the components of the automated fish recognition system. Methods such as background subtraction, Kalman filtering and Viola-Jones method were implemented during this work for detection, tracking and estimation of fish parameters. Both the results of the experiments and the choice of the appropriate methods strongly depend on the quality and the type of a video which is used as an input data. Practical experiments have demonstrated that not all methods can produce good results for real data, whereas on synthetic data they operate satisfactorily.

Mouvement biologique et entraînement perceptivo-cognitif chez les personnes âgées

Lorsque nous cherchons un ami dans une foule ou attendons un proche sur le quai d’une gare, l’identification de cette personne nous est souvent possible grâce à la reconnaissance de sa démarche. Plusieurs chercheurs se sont intéressés à la façon de se mouvoir de l’être humain en étudiant le mouvement biologique. Le mouvement biologique est la représentation, par un ensemble structuré de points lumineux animés, des gestes d’un individu en mouvement dans une situation particulière (marche, golf, tennis, etc.). Une des caractéristiques du patron de mouvement biologique peu étudiée et néanmoins essentielle est sa taille. La plupart des études concernées utilisent des patrons de petite taille correspondant à une personne située à 16 mètres de l’observateur. Or les distances d’interaction sociale, chez l’humain, sont généralement inférieures à 16 mètres. D’autre part, les résultats des études portant sur la perception des patrons de mouvement biologique et le vieillissement demeurent contradictoires. Nous avons donc, dans un premier temps, évalué, dans une voûte d’immersion en réalité virtuelle, l’importance de la distance entre l’observateur et le patron de mouvement biologique, chez des adultes jeunes et des personnes âgées. Cette étude a démontré que l’évaluation de la direction de mouvement d’un patron devient difficile pour les personnes âgées lorsque le patron est situé à moins de 4 mètres, alors que les résultats des jeunes sont comparables pour toutes distances, à partir d’un mètre et au-delà. Cela indique que les gens âgés peinent à intégrer l’information occupant une portion étendue de leur champ visuel, ce qui peut s’avérer problématique dans des espaces où les distances d’interaction sont inférieures à 4 mètres. Nombre de recherches indiquent aussi clairement que les gens âgés s’adaptent difficilement à des situations complexes. Nous avons donc cherché, dans un second temps, à minimiser ces altérations liées à l’âge de l’intégration des processus complexes, en utilisant une tâche adaptée à l’entraînement et à l’évaluation de l’intégration de ces processus : la poursuite multiple d’objets dans l’espace ou 3D-MOT (3 Dimensions Multiple Object Tracking). Le 3D-MOT consiste à suivre simultanément plusieurs objets d’intérêt en mouvement parmi des distracteurs également en mouvement. Nous avons évalué les habiletés de participants jeunes et âgés à une telle tâche dans un environnement virtuel en 3D en déterminant la vitesse maximale de déplacement des objets à laquelle la tâche pouvait être exécutée. Les résultats des participants âgés étaient initialement inférieurs à ceux des jeunes. Cependant, après plusieurs semaines d’entraînement, les personnes âgées ont obtenu des résultats comparables à ceux des sujets jeunes non entraînés. Nous avons enfin évalué, pour ces mêmes participants, l’impact de cet entraînement sur la perception de patrons de mouvement biologique présentés à 4 et 16 mètres dans l’espace virtuel : les habiletés des personnes âgées entraînées obtenues à 4 mètres ont augmenté de façon significative pour atteindre le niveau de celles obtenues à 16 mètres. Ces résultats suggèrent que l’entraînement à certaines tâches peut réduire les déclins cognitivo-perceptifs liés à l’âge et possiblement aider les personnes âgées dans leurs déplacements quotidiens.

3D path planning with novel multiple 2D layered approach for complex human-robot interaction

Navigating cluttered indoor environments is a difficult problem in indoor service robotics. The Acroboter concept, a novel approach to indoor locomotion, represents unique opportunity to avoid obstacles in indoor environments by navigating the ceiling plane. This mode of locomotion requires the ability to accurately detect obstacles, and plan 3D trajectories through the environment. This paper presents the development of a resilient object tracking system, as well as a novel approach to generating 3D paths suitable for such robot configurations. Distributed human-machine interfacing allowing simulation previewing of actions is also considered in the developed system architecture.

Methods of sensory augmentation through electro-tactile stimulation of the tongue

This paper details an investigation into sensory substitution by means of direct electrical stimulation of the tongue for the purpose of information input to the human brain. In particular, a device has been constructed and a series of trials have been performed in order to demonstrate the efficacy and performance of an electro-tactile array mounted onto the tongue surface for the purpose of sensory augmentation. Tests have shown that by using a low resolution array a computer-human feedback loop can be successfully implemented by humans in order to complete tasks such as object tracking, surface shape identification and shape recognition with no training or prior experience with the device. Comparisons of this technique have been made with visual alternatives and these show that the tongue based tactile array can match such methods in convenience and accuracy in performing simple tasks.

tCAD: a 3D modeling application on a depth enhanced tabletop computer

Tabletop computers featuring multi-touch input and object tracking are a common platform for research on Tangible User Interfaces (also known as Tangible Interaction). However, such systems are confined to sensing activity on the tabletop surface, disregarding the rich and relatively unexplored interaction canvas above the tabletop. This dissertation contributes with tCAD, a 3D modeling tool combining fiducial marker tracking, finger tracking and depth sensing in a single system. This dissertation presents the technical details of how these features were integrated, attesting to its viability through the design, development and early evaluation of the tCAD application. A key aspect of this work is a description of the interaction techniques enabled by merging tracked objects with direct user input on and above a table surface.

Increasing Realism and Supporting Content Planning for Dynamic Scenes in a Mixed Reality System incorporating a Time-of-Flight Camera

For broadcasting purposes MIXED REALITY, the combination of real and virtual scene content, has become ubiquitous nowadays. Mixed Reality recording still requires expensive studio setups and is often limited to simple color keying. We present a system for Mixed Reality applications which uses depth keying and provides threedimensional mixing of real and artificial content. It features enhanced realism through automatic shadow computation which we consider a core issue to obtain realism and a convincing visual perception, besides the correct alignment of the two modalities and correct occlusion handling. Furthermore we present a possibility to support placement of virtual content in the scene. Core feature of our system is the incorporation of a TIME-OF-FLIGHT (TOF)-camera device. This device delivers real-time depth images of the environment at a reasonable resolution and quality. This camera is used to build a static environment model and it also allows correct handling of mutual occlusions between real and virtual content, shadow computation and enhanced content planning. The presented system is inexpensive, compact, mobile, flexible and provides convenient calibration procedures. Chroma-keying is replaced by depth-keying which is efficiently performed on the GRAPHICS PROCESSING UNIT (GPU) by the usage of an environment model and the current ToF-camera image. Automatic extraction and tracking of dynamic scene content is herewith performed and this information is used for planning and alignment of virtual content. An additional sustainable feature is that depth maps of the mixed content are available in real-time, which makes the approach suitable for future 3DTV productions. The presented paper gives an overview of the whole system approach including camera calibration, environment model generation, real-time keying and mixing of virtual and real content, shadowing for virtual content and dynamic object tracking for content planning.

Periphere Wahrnehmung beim Verfolgen mehrerer Objekte

Einleitung Beim Multiple-Object-Tracking müssen mehrere, sich bewegende Zielobjekte visuell ver-folgt werden. Dabei scheint es vorteilhaft zu sein, den Blick zwischen den Zielobjekten zu verankern, um Bewegungsinformationen peripher wahrzunehmen (Fehd & Seiffert, 2010). Nach Prüfung dieser Annahme (Experiment 1) wurde getestet, wie gut und schnell auf Bewegungs- und Formveränderungen der Zielobjekte reagiert werden kann (Experiment 2), um die Funktionalität der peripheren Wahrnehmung zu überprüfen. Methode 14 Teilnehmer hatten die Aufgabe, zum Ende eines Einzelversuchs 4 aus 10 Vierecken wiederzuerkennen, die sich linear für 6 s in einem projizierten Quadrat bewegten. Dabei wurden 3 Geschwindigkeiten (6, 9 und 12°/s) in 9 Blöcken à 15 Versuchen präsentiert, um herauszufinden, bei welcher Geschwindigkeit der Blickpunkt die längste Zeit auf dem Centroid der 4 Zielobjekte liegt und damit die Zielobjekte lange peripher wahrgenommen werden. In Experiment 2 sollten Teilnehmer bei dieser „optimalen“ Geschwindigkeit auf das Anhalten der Vierecke oder deren Formveränderung zur Raute (Manipulation:0.5 s) mit Knopfdruck reagieren, bei ausbleibender Veränderung hingegen die 4 Zielobjekte wiedererkennen (3 Bedingungen in 10 Blöcken à 12 Versuchen). Erwartet wurde, dass Bewegungsveränderungen häufiger und schneller erkannt werden als Formverände-rungen. Ergebnisse Der Geschwindigkeitsvergleich in Experiment 1 ergab, dass der Blick bei 6°/s die längste Zeit (46 %) auf den Centroid gerichtet ist, F(2,132) = 9.68, p < .01, ηp2 = .13 und die 4 Ziel-objekte bei dieser Geschwindigkeit signifikant häufiger wiedererkannt werden (59 %), F(2,132) = 37.62, p < .01, ηp2 = .36. In Experiment 2 wurde festgestellt, dass Bewegungs-veränderungen häufiger erkannt werden (83 %) als Formveränderungen (59 %), F(1,78) = 65.52, p < .01, ηp2 = .46, wobei die Erkennungsleistung der 4 Zielobjekte mit Experiment 1 vergleichbar ist (58%). Diskussion Die periphere Wahrnehmung scheint immer dann funktional zu sein, wenn mehrere, für eine Aufgabe relevante Objekte gleichzeitig verfolgt werden müssen und wenn Verände-rungen, besonders der Bewegung, schnell erkannt werden müssen. Weitere Untersu-chungen sollen zeigen, ob diese Funktionalität der peripheren Wahrnehmung auch im Sport (z.B. beim gleichzeitigen Verfolgen mehrerer Gegenspieler) erkannt werden kann. Literatur Fehd, H. M. & Seiffert, A. E. (2010). Looking at the center of the targets helps multiple object tracking. Journal of Vision, 10, 1–13.

Funktionalität peripherer Wahrnehmung bei Trackingaufgaben

Introduction: Beim Multiple-Object-Tracking müssen mehrere, sich bewegende Zielobjekte visuell verfolgt werden. Dabei scheint es vorteilhaft zu sein, den Blick zwischen den Zielobjekten zu verankern, um Bewegungsinformationen peripher wahrzunehmen (Fehd & Seiffert, 2010). Nach Prüfung dieser Annahme (Experiment 1) wurde getestet, wie gut und schnell auf Bewegungs- und Formveränderungen der Zielobjekte reagiert werden kann (Experiment 2), um die Funktionalität der peripheren Wahrnehmung zu überprüfen. Methods: 14 Teilnehmer hatten die Aufgabe, zum Ende eines Einzelversuchs 4 aus 10 Vierecken wiederzuerkennen, die sich linear für 6 s in einem projizierten Quadrat bewegten. Dabei wurden 3 Geschwindigkeiten (6, 9 und 12°/s) in 9 Blöcken à 15 Versuchen präsentiert, um die Ergebnisse von Fehd und Seiffert (2010) zu replizieren. In Experiment 2 sollten Teilnehmer auf das Anhalten eines Targets oder dessen Formveränderung zur Raute (Manipulation: 0.5 s) mit Knopfdruck reagieren, bei ausbleibender Veränderung hingegen die 4 Zielobjekte wiedererkennen (3 Bedingungen in 10 Blöcken à 12 Versuchen). Durch die Bestimmung von Sakkadenlatenzen (definiert als Zeitraum zwischen Beginn der Objektveränderung und Sakkadenbeginn auf das Objekt) kann bestimmt werden, ob die Veränderung bereits peripher wahrgenommen wurde. Unter anderem aufgrund der Sensitivität der Netzhaut gegenüber Bewegungen wurde erwartet, dass Bewegungsveränderungen häufiger und schneller erkannt werden und dass häufiger bereits reagiert werden kann, bevor der Blick auf dem veränderten Zielobjekt ist. Results: Experiment 1 ergab einen signifikanten Haupteffekt für Geschwindigkeit, F(2,26) = 62.66, p < .01, ηp2 = .83, mit höchsten Richtigkeiten bei 6°/s (58%). Ein Haupteffekt für Blickort, F(2,26) = 76.40, p < .01, ηp2 = .85, zeigt, dass der Blick unabhängig von der Geschwindigkeit länger auf dem Centroid war als auf Targets und Distraktoren. Aufgrund der höchsten Richtigkeiten bei 6°/s wurde diese Geschwindigkeit in Experiment 2 eingesetzt und festgestellt, dass Bewegungsveränderungen häufiger erkannt werden (83 %) als Formveränderungen (59 %), F(1,10) = 17.20, p < .01, ηp2 = .63. Unterschiede in Sakkadenlatenzen, F(1,10) = 6.73, p = .03, ηp2 = .40, deuten auf eine periphere Wahrnehmung der Bewegungsveränderungen hin. Experiment 3 wird zeigen, ob Sakkaden das Monitoring stören. Discussion/Conclusion: Die periphere Wahrnehmung scheint immer dann funktional zu sein, wenn mehrere, für eine Aufgabe relevante Objekte gleichzeitig verfolgt werden müssen und wenn Veränderungen, besonders der Bewegung, schnell erkannt werden müssen. Weitere Untersuchungen sollen zeigen, ob diese Funktionalität der peripheren Wahrnehmung auch im Sport (z.B. beim gleichzeitigen Verfolgen mehrerer Gegenspieler) erkannt werden kann. References: Fehd, H. M. & Seiffert, A. E. (2010). Looking at the center of the targets helps multiple object tracking. Journal of Vision, 10, 1–13.

Funktionalität peripherer Wahrnehmung bei Trackingaufgaben

Schlüsselwörter: Multiple-Object-Tracking, Sakkadenlatenz, Erkennungsleistung Einleitung Beim Multiple-Object-Tracking müssen mehrere, sich bewegende Zielobjekte visuell ver-folgt werden. Dabei scheint es vorteilhaft zu sein, den Blick zwischen den Zielobjekten zu verankern, um Bewegungsinformationen peripher wahrzunehmen (Fehd & Seiffert, 2010). Nach Prüfung dieser Annahme (Experiment 1) wurde getestet, wie gut und schnell auf Bewegungs- und Formveränderungen der Zielobjekte reagiert werden kann (Experiment 2), um die Funktionalität der peripheren Wahrnehmung zu überprüfen Methode 14 Teilnehmer hatten die Aufgabe, zum Ende eines Einzelversuchs 4 aus 10 Vierecken wiederzuerkennen, die sich linear für 6 s in einem projizierten Quadrat bewegten. Dabei wurden 3 Geschwindigkeiten (6, 9 und 12°/s) in 9 Blöcken à 15 Versuchen präsentiert, um die Ergebnisse von Fehd und Seiffert (2010) zu replizieren. In Experiment 2 sollten Teilnehmer auf das Anhalten eines Targets oder dessen Formveränderung zur Raute (Manipulation: 0.5 s) mit Knopfdruck reagieren, bei ausbleibender Veränderung hinge-gen die 4 Zielobjekte wiedererkennen (3 Bedingungen in 10 Blöcken à 12 Versuchen). Erwartet wurde, dass Bewegungsveränderungen häufiger und schneller erkannt werden. Ergebnisse Experiment 1 ergab einen signifikanten Haupteffekt für Geschwindigkeit, F(2,26) = 62.66, p < .01, ηp2 = .83, mit höchsten Richtigkeiten bei 6°/s (58%). Ein Haupteffekt für Blickort, F(2,26) = 76.40, p < .01, ηp2 = .85, zeigt, dass der Blick unabhängig von der Geschwindig-keit länger auf dem Centroid war als auf Targets und Distraktoren. Aufgrund der höchs-ten Richtigkeiten bei 6°/s wurde diese Geschwindigkeit in Experiment 2 eingesetzt und festgestellt, dass Bewegungsveränderungen häufiger erkannt werden (83 %) als Form-veränderungen (59 %), F(1,10) = 17.20, p < .01, ηp2 = .63. Unterschiede in Sakkadenla-tenzen, F(1,10) = 6.73, p = .03, ηp2 = .40, deuten auf eine periphere Wahrnehmung der Bewegungsveränderungen hin. Experiment 3 wird zeigen, ob Sakkaden das Monitoring stören. Diskussion Die periphere Wahrnehmung scheint immer dann funktional zu sein, wenn mehrere, für eine Aufgabe relevante Objekte gleichzeitig verfolgt werden müssen und wenn Verände-rungen, besonders der Bewegung, schnell erkannt werden müssen. Weitere Untersu-chungen sollen zeigen, ob diese Funktionalität der peripheren Wahrnehmung auch im Sport (z.B. beim gleichzeitigen Verfolgen mehrerer Gegenspieler) erkannt werden kann. Literatur Fehd, H. M. & Seiffert, A. E. (2010). Looking at the center of the targets helps multiple object tracking. Journal of Vision, 10, 1–13.

Reduced foveal vision enhances peripheral monitoring and peripheral event detection

Introduction: Although it seems plausible that sports performance relies on high-acuity foveal vision, it could be empirically shown that myoptic blur (up to +2 diopters) does not harm performance in sport tasks that require foveal information pick-up like golf putting (Bulson, Ciuffreda, & Hung, 2008). How myoptic blur affects peripheral performance is yet unknown. Attention might be less needed for processing visual cues foveally and lead to better performance because peripheral cues are better processed as a function of reduced foveal vision, which will be tested in the current experiment. Methods: 18 sport science students with self-reported myopia volunteered as participants, all of them regularly wearing contact lenses. Exclusion criteria comprised visual correction other than myopic, correction of astigmatism and use of contact lenses out of Swiss delivery area. For each of the participants, three pairs of additional contact lenses (besides their regular lenses; used in the “plano” condition) were manufactured with an individual overcorrection to a retinal defocus of +1 to +3 diopters (referred to as “+1.00 D”, “+2.00 D”, and “+3.00 D” condition, respectively). Gaze data were acquired while participants had to perform a multiple object tracking (MOT) task that required to track 4 out of 10 moving stimuli. In addition, in 66.7 % of all trials, one of the 4 targets suddenly stopped during the motion phase for a period of 0.5 s. Stimuli moved in front of a picture of a sports hall to allow for foveal processing. Due to the directional hypotheses, the level of significance for one-tailed tests on differences was set at α = .05 and posteriori effect sizes were computed as partial eta squares (ηρ2). Results: Due to problems with the gaze-data collection, 3 participants had to be excluded from further analyses. The expectation of a centroid strategy was confirmed because gaze was closer to the centroid than the target (all p < .01). In comparison to the plano baseline, participants more often recalled all 4 targets under defocus conditions, F(1,14) = 26.13, p < .01, ηρ2 = .65. The three defocus conditions differed significantly, F(2,28) = 2.56, p = .05, ηρ2 = .16, with a higher accuracy as a function of a defocus increase and significant contrasts between conditions +1.00 D and +2.00 D (p = .03) and +1.00 D and +3.00 D (p = .03). For stop trials, significant differences could neither be found between plano baseline and defocus conditions, F(1,14) = .19, p = .67, ηρ2 = .01, nor between the three defocus conditions, F(2,28) = 1.09, p = .18, ηρ2 = .07. Participants reacted faster in “4 correct+button” trials under defocus than under plano-baseline conditions, F(1,14) = 10.77, p < .01, ηρ2 = .44. The defocus conditions differed significantly, F(2,28) = 6.16, p < .01, ηρ2 = .31, with shorter response times as a function of a defocus increase and significant contrasts between +1.00 D and +2.00 D (p = .01) and +1.00 D and +3.00 D (p < .01). Discussion: The results show that gaze behaviour in MOT is not affected to a relevant degree by a visual overcorrection up to +3 diopters. Hence, it can be taken for granted that peripheral event detection was investigated in the present study. This overcorrection, however, does not harm the capability to peripherally track objects. Moreover, if an event has to be detected peripherally, neither response accuracy nor response time is negatively affected. Findings could claim considerable relevance for all sport situations in which peripheral vision is required which now needs applied studies on this topic. References: Bulson, R. C., Ciuffreda, K. J., & Hung, G. K. (2008). The effect of retinal defocus on golf putting. Ophthalmic and Physiological Optics, 28, 334-344.

Use of Costas arrays in subpixel metrology

Subpixel methods increase the accuracy and efficiency of image detectors, processing units, and algorithms and provide very cost-effective systems for object tracking. A recently proposed method permits micropixel and submicropixel accuracies providing certain design constraints on the target are met. In this paper, we explore the use of Costas arrays - permutation matrices with ideal auto-ambiguity properties - for the design of such targets.