Groundtruth system for underwater benchmarking

Oceans - San Diego, 2013

Exploration of the visual system : Part 2. In vivo analysis methods : virtual-reality optomotor system, fundus examination and fluorescent angiography

The mouse has emerged as an animal model for many diseases. At IRO, we have used this animal to understand the development of many eye diseases and treatment of some of them. Precise evaluation of vision is a prerequisite for both these approaches. In this unit we describe three ways to measure vision: testing the optokinetic response, and evaluating the fundus by direct observation and by fluorescent angiography.

Exploitation de contraintes photométriques et géométriques en vision : application au suivi, au calibrage et à la reconstruction

Cette thése a été réalisée dans le cadre d'une cotutelle avec l'Institut National Polytechnique de Grenoble (France). La recherche a été effectuée au sein des laboratoires de vision 3D (DIRO, UdM) et PERCEPTION-INRIA (Grenoble).

Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Localization and function of the endocannabinoid system throughout the retinogeniculate pathway of vervet monkeys

Le système endocannabinoïde (eCB) est présent dans le système nerveux central (SNC) de mammifères, incluant la rétine, et est responsable de la régulation de nombreux processus physiologiques. Bien que la présence du récepteur cannabinoïde de type 1 (CB1R) a bien été documenté dans la rétine de rongeurs et primates, il y a encore une controverse quant à la présence du récepteur cannabinoïde de type 2 (CB2R) au niveau du SNC. En utilisant la microscopie confocale, nous sommes les premiers à signaler les patrons d’expression du CB2R dans la rétine de singe. Nos résultats démontrent que le CB2R est exprimé exclusivement dans les cellules de Müller de la rétine du singe. En outre, nous avons comparé les différents patrons d’expression du système eCB dans la rétine de la souris, du toupaye, ainsi que du singe vervet et macaque. Nous rapportons que les distributions de CB1R, FAAH (fatty acid amid hydrolase), MAGL (monoacylglycerol lipase) et DAGLα (diacylglycerol lipase alpha) sont hautement conservées parmi ces espèces alors que CB2R et NAPE-PLD (N-acyl phosphatidylethanolamine phospholipase D) présentent différents profils d'expression. CB2R n'a pas été détecté dans les cellules neuronales de la rétine des primates. L’immunoréactivité de NAPE-PLD est présente dans les couches de la rétine de souris et toupayes, mais a été limitée à la couche des photorécepteurs des singes vervet et macaque. Pour étudier les corrélats neuronaux et le rôle de la signalisation du système eCB dans la rétine, nous avons établi un protocole standard pour l'électrorétinographie (ERG), puis enregistré la réponse ERG de la rétine après le blocage des récepteurs avec des antagonistes spécifiques pour CB1R (AM251) et CB2R (AM630). Comparé au témoin, dans des conditions photopiques, et à certaines intensités faibles du stimulus, le blocage de CB1R diminue l'amplitude de l'onde-b, alors qu’à des intensités plus élevées, le blocage de CB2R augmente l'amplitude des deux-ondes a et b. De plus, le blocage des récepteurs cannabinoïdes provoque une augmentation de la latence des deux ondes a et b. Dans des conditions d’adaptation à l'obscurité, le blocage de CB1R et CB2R réduit l’amplitudes de l'onde a seulement à des intensités plus élevées et réduit l’onde b à intensités plus faibles. Des augmentations significatives de latence ont été observées dans les deux cas. Ces résultats indiquent que les récepteurs CB1 et CB2 chez les primates non humains sont impliqués dans la fonction rétinienne conditions photopiques. En outre, nous avons évalué le profil d'expression du CB1R, de FAAH et de NAPE-PLD au-delà de la rétine dans le corps géniculé latéral des singes et nous rapportons pour la première fois que CB1R et FAAH sont exprimés davantage dans les couches magnocellulaires. La NAPE-PLD a été localisée à travers les couches magno- et parvocellulaires. Aucune de ces composantes n’est exprimée dans les couches koniocellulaires. Ces résultats nous aident à mieux comprendre les effets des cannabinoïdes sur le système visuel qui pourraient nous mener à trouver éventuellement de nouvelles cibles thérapeutiques.

Impacts fonctionnels du traumatisme craniocérébral léger sur la vision et l'équilibre postural chez l'adulte

Le traumatisme craniocérébral léger (TCCL) a des effets complexes sur plusieurs fonctions cérébrales, dont l’évaluation et le suivi peuvent être difficiles. Les problèmes visuels et les troubles de l’équilibre font partie des plaintes fréquemment rencontrées après un TCCL. En outre, ces problèmes peuvent continuer à affecter les personnes ayant eu un TCCL longtemps après la phase aiguë du traumatisme. Cependant, les évaluations cliniques conventionnelles de la vision et de l’équilibre ne permettent pas, la plupart du temps, d’objectiver ces symptômes, surtout lorsqu’ils s’installent durablement. De plus, il n’existe pas, à notre connaissance, d’étude longitudinale ayant étudié les déficits visuels perceptifs, en tant que tels, ni les troubles de l’équilibre secondaires à un TCCL, chez l’adulte. L’objectif de ce projet était donc de déterminer la nature et la durée des effets d’un tel traumatisme sur la perception visuelle et sur la stabilité posturale, en évaluant des adultes TCCL et contrôles sur une période d’un an. Les mêmes sujets, exactement, ont participé aux deux expériences, qui ont été menées les mêmes jours pour chacun des sujets. L’impact du TCCL sur la perception visuelle de réseaux sinusoïdaux définis par des attributs de premier et de second ordre a d’abord été étudié. Quinze adultes diagnostiqués TCCL ont été évalués 15 jours, 3 mois et 12 mois après leur traumatisme. Quinze adultes contrôles appariés ont été évalués à des périodes identiques. Des temps de réaction (TR) de détection de clignotement et de discrimination de direction de mouvement ont été mesurés. Les niveaux de contraste des stimuli de premier et de second ordre ont été ajustés pour qu’ils aient une visibilité comparable, et les moyennes, médianes, écarts-types (ET) et écarts interquartiles (EIQ) des TR correspondant aux bonnes réponses ont été calculés. Le niveau de symptômes a également été évalué pour le comparer aux données de TR. De façon générale, les TR des TCCL étaient plus longs et plus variables (plus grands ET et EIQ) que ceux des contrôles. De plus, les TR des TCCL étaient plus courts pour les stimuli de premier ordre que pour ceux de second ordre, et plus variables pour les stimuli de premier ordre que pour ceux de second ordre, dans la condition de discrimination de mouvement. Ces observations se sont répétées au cours des trois sessions. Le niveau de symptômes des TCCL était supérieur à celui des participants contrôles, et malgré une amélioration, cet écart est resté significatif sur la période d’un an qui a suivi le traumatisme. La seconde expérience, elle, était destinée à évaluer l’impact du TCCL sur le contrôle postural. Pour cela, nous avons mesuré l’amplitude d’oscillation posturale dans l’axe antéropostérieur et l’instabilité posturale (au moyen de la vitesse quadratique moyenne (VQM) des oscillations posturales) en position debout, les pieds joints, sur une surface ferme, dans cinq conditions différentes : les yeux fermés, et dans un tunnel virtuel tridimensionnel soit statique, soit oscillant de façon sinusoïdale dans la direction antéropostérieure à trois vitesses différentes. Des mesures d’équilibre dérivées de tests cliniques, le Bruininks-Oseretsky Test of Motor Proficiency 2nd edition (BOT-2) et le Balance Error Scoring System (BESS) ont également été utilisées. Les participants diagnostiqués TCCL présentaient une plus grande instabilité posturale (une plus grande VQM des oscillations posturales) que les participants contrôles 2 semaines et 3 mois après le traumatisme, toutes conditions confondues. Ces troubles de l’équilibre secondaires au TCCL n’étaient plus présents un an après le traumatisme. Ces résultats suggèrent également que les déficits affectant les processus d’intégration visuelle mis en évidence dans la première expérience ont pu contribuer aux troubles de l’équilibre secondaires au TCCL. L’amplitude d’oscillation posturale dans l’axe antéropostérieur de même que les mesures dérivées des tests cliniques d’évaluation de l’équilibre (BOT-2 et BESS) ne se sont pas révélées être des mesures sensibles pour quantifier le déficit postural chez les sujets TCCL. L’association des mesures de TR à la perception des propriétés spécifiques des stimuli s’est révélée être à la fois une méthode de mesure particulièrement sensible aux anomalies visuomotrices secondaires à un TCCL, et un outil précis d’investigation des mécanismes sous-jacents à ces anomalies qui surviennent lorsque le cerveau est exposé à un traumatisme léger. De la même façon, les mesures d’instabilité posturale se sont révélées suffisamment sensibles pour permettre de mesurer les troubles de l’équilibre secondaires à un TCCL. Ainsi, le développement de tests de dépistage basés sur ces résultats et destinés à l’évaluation du TCCL dès ses premières étapes apparaît particulièrement intéressant. Il semble également primordial d’examiner les relations entre de tels déficits et la réalisation d’activités de la vie quotidienne, telles que les activités scolaires, professionnelles ou sportives, pour déterminer les impacts fonctionnels que peuvent avoir ces troubles des fonctions visuomotrice et du contrôle de l’équilibre.

Content Based Image Retrieval System for Malayalam Handwritten Characters

Content Based Image Retrieval is one of the prominent areas in Computer Vision and Image Processing. Recognition of handwritten characters has been a popular area of research for many years and still remains an open problem. The proposed system uses visual image queries for retrieving similar images from database of Malayalam handwritten characters. Local Binary Pattern (LBP) descriptors of the query images are extracted and those features are compared with the features of the images in database for retrieving desired characters. This system with local binary pattern gives excellent retrieval performance

The function of SIFamide, PDF, and further neuropeptides in the circadian system of Rhyparobia maderae

Der täglich Wechsel von Hell- und Dunkelphasen führte während der Evolution zur Entwicklung innerer Uhren in nahezu allen Organismen. In der Schabe Rhyparobia maderae lokalisierten Läsions- und Transplantationsexperimente die innere Uhr in der akzessorischen Medulla (AME). Dieses kleine birnenförmige Neuropil am ventromedianen Rand der Medulla ist mit etwa 240 Neuronen assoziiert, die eine hohe Anzahl an zum Teil kolokalisierten Neuropeptiden und Neurotransmittern exprimieren. Diese Signalstoffe scheinen essentiell zu sein für die Synchronisation der inneren Uhr mit der Umwelt, der Kopplung der beiden bilateralen AME, der Aufrechterhaltung des circadianen Rhythmus sowie der zeitlichen Steuerung bestimmter Verhaltensweisen. Während die Funktion einiger dieser neuronalen Botenstoffe bereits gut untersucht ist, fehlt sie für andere. Zudem ist noch ungeklärt, wann einzelne Botenstoffe im circadianen Netzwerk agieren. Im Fokus dieser Studie lag daher die Erforschung der Funktion von SIFamide und Corazonin im circadianen Netzwerk sowie die weitere Untersuchung der Funktionen der Neuropeptide MIP und PDF. Es konnte gezeigt werden, dass SIFamide auch in R. maderae in vier großen neurosekretorischen Zellen in der pars intercerebralis exprimiert wird. Varikosenreiche SIFamide-immureaktive (-ir) Fasern innervieren eine Vielzahl an Neuropilen und finden sich auch in der Hüllregion der AME. Injektionsexperimente resultierten in einer monophasischen Phasen-Antwort-Kurve (PRC) mit einer Verzögerung zur frühen subjektiven Nacht. SIFamide ist also ein Eingangssignal für das circadiane Netzwerk und könnte in der Kontrolle der Schalf/Wach-Homöostase involviert sein. Auch Corazonin fungiert als Eingangssignal. Da die Injektionsexperimente in einer monophasischen PRC mit einem Phasenvorschub zur späten subjektiven Nacht resultierten, ist davon auszugehen, dass die Corazonin-ir AME-Zelle Bestandteil des Morning-Oszillator-Netzwerkes in R. maderae ist. Darüber hinaus zeigten Backfill-Experimente, dass MIP an der Kopplung beider AMAE beteiligt ist. ELISA-Quantifizierungen der PDF-Level im Tagesverlauf ergaben Schwankungen in der Konzentration, die auf eine Ausschüttung des Peptids während des Tages hindeuten – ähnlich wie es in Drosophila melanogaster der Fall ist. Dies spiegelt sich in der vervollständigten bimodalen PDF-PRC wieder. Hier führen Injektionen zu einem Phasenvorschub, bevor maximale Peptidlevel erreicht werden, sowie zu einer Phasenverzögerung, sobald die Peptidlevel wieder zu sinken beginnen. Die PRCs erlauben somit Rückschlüsse auf den Zeitpunkt der maximalen Peptidfreisetzung. PDF-ir Neuriten findet sich zudem in sämtlichen Ganglien des ventralen Strickleiternervensystems, was eine Funktion in der Kontrolle der Prozesse impliziert, die durch die Mustergeneratoren in Thorakal- und Abdominalganglien gesteuert werden.

Rotation Invariant Real-time Face Detection and Recognition System

In this report, a face recognition system that is capable of detecting and recognizing frontal and rotated faces was developed. Two face recognition methods focusing on the aspect of pose invariance are presented and evaluated - the whole face approach and the component-based approach. The main challenge of this project is to develop a system that is able to identify faces under different viewing angles in realtime. The development of such a system will enhance the capability and robustness of current face recognition technology. The whole-face approach recognizes faces by classifying a single feature vector consisting of the gray values of the whole face image. The component-based approach first locates the facial components and extracts them. These components are normalized and combined into a single feature vector for classification. The Support Vector Machine (SVM) is used as the classifier for both approaches. Extensive tests with respect to the robustness against pose changes are performed on a database that includes faces rotated up to about 40 degrees in depth. The component-based approach clearly outperforms the whole-face approach on all tests. Although this approach isproven to be more reliable, it is still too slow for real-time applications. That is the reason why a real-time face recognition system using the whole-face approach is implemented to recognize people in color video sequences.

Slow and Smooth: A Bayesian Theory for the Combination of Local Motion Signals in Human Vision

In order to estimate the motion of an object, the visual system needs to combine multiple local measurements, each of which carries some degree of ambiguity. We present a model of motion perception whereby measurements from different image regions are combined according to a Bayesian estimator --- the estimated motion maximizes the posterior probability assuming a prior favoring slow and smooth velocities. In reviewing a large number of previously published phenomena we find that the Bayesian estimator predicts a wide range of psychophysical results. This suggests that the seemingly complex set of illusions arise from a single computational strategy that is optimal under reasonable assumptions.

Face processing in humans is compatible with a simple shape-based model of vision

Understanding how the human visual system recognizes objects is one of the key challenges in neuroscience. Inspired by a large body of physiological evidence (Felleman and Van Essen, 1991; Hubel and Wiesel, 1962; Livingstone and Hubel, 1988; Tso et al., 2001; Zeki, 1993), a general class of recognition models has emerged which is based on a hierarchical organization of visual processing, with succeeding stages being sensitive to image features of increasing complexity (Hummel and Biederman, 1992; Riesenhuber and Poggio, 1999; Selfridge, 1959). However, these models appear to be incompatible with some well-known psychophysical results. Prominent among these are experiments investigating recognition impairments caused by vertical inversion of images, especially those of faces. It has been reported that faces that differ "featurally" are much easier to distinguish when inverted than those that differ "configurally" (Freire et al., 2000; Le Grand et al., 2001; Mondloch et al., 2002) ??finding that is difficult to reconcile with the aforementioned models. Here we show that after controlling for subjects' expectations, there is no difference between "featurally" and "configurally" transformed faces in terms of inversion effect. This result reinforces the plausibility of simple hierarchical models of object representation and recognition in cortex.

Vision-based localization of an underwater robot in a structured environment

This paper presents a vision-based localization approach for an underwater robot in a structured environment. The system is based on a coded pattern placed on the bottom of a water tank and an onboard down looking camera. Main features are, absolute and map-based localization, landmark detection and tracking, and real-time computation (12.5 Hz). The proposed system provides three-dimensional position and orientation of the vehicle along with its velocity. Accuracy of the drift-free estimates is very high, allowing them to be used as feedback measures of a velocity-based low-level controller. The paper details the localization algorithm, by showing some graphical results, and the accuracy of the system

An approach to vision-based station keeping for an unmanned underwater vehicle

This paper presents an automatic vision-based system for UUV station keeping. The vehicle is equipped with a down-looking camera, which provides images of the sea-floor. The station keeping system is based on a feature-based motion detection algorithm, which exploits standard correlation and explicit textural analysis to solve the correspondence problem. A visual map of the area surveyed by the vehicle is constructed to increase the flexibility of the system, allowing the vehicle to position itself when it has lost the reference image. The testing platform is the URIS underwater vehicle. Experimental results demonstrating the behavior of the system on a real environment are presented

A system to evaluate the accuracy of a visual mosaicking methodology

When underwater vehicles navigate close to the ocean floor, computer vision techniques can be applied to obtain motion estimates. A complete system to create visual mosaics of the seabed is described in this paper. Unfortunately, the accuracy of the constructed mosaic is difficult to evaluate. The use of a laboratory setup to obtain an accurate error measurement is proposed. The system consists on a robot arm carrying a downward looking camera. A pattern formed by a white background and a matrix of black dots uniformly distributed along the surveyed scene is used to find the exact image registration parameters. When the robot executes a trajectory (simulating the motion of a submersible), an image sequence is acquired by the camera. The estimated motion computed from the encoders of the robot is refined by detecting, to subpixel accuracy, the black dots of the image sequence, and computing the 2D projective transform which relates two consecutive images. The pattern is then substituted by a poster of the sea floor and the trajectory is executed again, acquiring the image sequence used to test the accuracy of the mosaicking system

Correction of shading effects in vision-based UUV localization

This paper describes the improvements achieved in our mosaicking system to assist unmanned underwater vehicle navigation. A major advance has been attained in the processing of images of the ocean floor when light absorption effects are evident. Due to the absorption of natural light, underwater vehicles often require artificial light sources attached to them to provide the adequate illumination for processing underwater images. Unfortunately, these flashlights tend to illuminate the scene in a nonuniform fashion. In this paper a technique to correct non-uniform lighting is proposed. The acquired frames are compensated through a point-by-point division of the image by an estimation of the illumination field. Then, the gray-levels of the obtained image remapped to enhance image contrast. Experiments with real images are presented