Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Influence d’un atelier de prise de notes sur la capacité d’étudiants du collégial à restituer les idées principales d’un texte de philosophie : une vision contrastive étudiants – professeurs de philosophie.

Cette recherche avait pour but de déterminer quelle était l’influence de l’administration d’un atelier de prise de notes dans le cadre du premier cours de philosophie du collégial qui se donnait au début de la deuxième session des apprenants. Elle se situait dans le cadre d’une recherche intervention et le point de vue des parties prenantes, à savoir les apprenants et les enseignants, était recueilli de façon qualitative. Les premiers, forts d’une expérience d’une session au niveau collégial, ont exprimé le besoin de suivre une formation formelle liée à la prise de notes, quand bien même celle-ci leur demanderait un effort supplémentaire. Les deuxièmes nous ont fait part de leurs préoccupations en ce qui a trait à la qualité des notes de leurs étudiants. Nous avons demandé aux répondants de restituer les thèmes principaux de deux textes équivalents distribués de façon simultanée en fonction des rangées (première rangée – premier texte, deuxième rangée – deuxième texte, etc.), puis nous avons interverti l’ordre de distribution des textes après l’atelier. Lors de l’analyse des résultats, nous avons constaté que les répondants avaient restitué les thèmes dans un ordre d’importance plus approprié après l’atelier qu’avant celui-ci, mais nous avons surtout remarqué une amélioration significative dans l’emploi des stratégies de prise de notes et dans la constance de leur utilisation tout au long du second texte étudié.

Role of Reactive Gliosis and Neuroinflammation in Experimental Glaucoma

Le glaucome est la principale cause de cécité irréversible dans le monde. Chez les patients atteints de cette pathologie, la perte de la vue résulte de la mort sélective des cellules ganglionnaires (CGR) de la rétine ainsi que de la dégénérescence axonale. La pression intraoculaire élevée est considérée le facteur de risque majeur pour le développement de cette maladie. Les thérapies actuelles emploient des traitements pharmacologiques et/ou chirurgicaux pour diminuer la pression oculaire. Néanmoins, la perte du champ visuel continue à progresser, impliquant des mécanismes indépendants de la pression intraoculaire dans la progression de la maladie. Il a été récemment démontré que des facteurs neuroinflammatoires pourraient être impliqués dans le développement du glaucome. Cette réponse est caractérisée par une régulation positive des cytokines pro-inflammatoires, en particulier du facteur de nécrose tumorale alpha (TNFα). Cependant, le mécanisme par lequel le processus neuroinflammatoire agit sur la mort neuronale reste à clarifier. L’hypothèse principale de ce doctorat propose que les facteurs pro-inflammatoires comme le TNFα et la phosphodiestérase 4 (PDE4) interagissent avec les mécanismes moléculaires de la mort neuronale, favorisant ainsi la survie et la protection des CGRs au cours du glaucome. Dans la première partie de ma thèse, J’ai utilisé un modèle in vivo de glaucome chez des rats Brown Norway pour montrer que l’expression du TNFα est augmentée après l'induction de l'hypertension oculaire. L'hypothèse spécifique de cette étude suggère que les niveaux élevés de TNFα provoquent la mort des CGRs en favorisant l'insertion de récepteurs AMPA perméables au calcium (CP-AMPAR) à la membrane cytoplasmique. Pour tester cette hypothèse, j’ai utilisé un inhibiteur sélectif de la forme soluble du TNFα, le XPro1595. L'administration de cet agent pharmacologique a induit une protection significative des somas et des axones des neurones rétiniens. L'évaluation de la perméabilité au cobalt a montré que le TNFα soluble est impliqué dans l'insertion de CP-AMPAR à la membrane des CGRs lors du glaucome. L’exposition des neurones à une pression oculaire élevée est à l’origine de la hausse de la densité membranaire des CP-AMPARs, grâce à une diminution de l’expression de la sous-unité GluA2. La présence de GluA2 au sein du récepteur ne permet pas l’entrée du calcium à l’intérieur de la cellule. L'administration intraoculaire d’antagonistes spécifiques des CP-AMPARs promeut la protection des somas et des axones des CGRs. Ces résultats montrent que les CP-AMPARs jouent un rôle important dans la pathologie du glaucome. Dans la deuxième partie de ma thèse, j’ai caractérisé l'effet neuroprotecteur d’un inhibiteur de la PDE4, l’ibudilast, dans notre modèle de glaucome. L'hypothèse spécifique s’oriente vers une atténuation de la réponse neuroinflammatoire et de la gliose par l’administration d’ibudilast, favorisant ainsi la protection neuronale. Les résultats montrent que dans les rétines glaucomateuses, l’ibudilast diminue la gliose et l'expression de plusieurs facteurs tels que le TNFα, l'interleukine-1β (IL-1β), l’interleukine-6 (IL-6) et le facteur inhibiteur de la migration des macrophages (MIF). Chez les rats glaucomateux, nous avons observé une expression notable de PDE4A dans les cellules de Müller, qui est en corrélation avec l'accumulation de l’AMP cyclique (AMPc) dans ces cellules après un traitement d’ibudilast. Finalement, nous avons démontré que la protection des CGRs via l’administration d’ibudilast est un mécanisme dépendent de l’AMPc et de la protéine kinase A (PKA). En conclusion, les résultats présentés dans cette thèse identifient deux mécanismes différents impliqués dans la perte des CGRs au cours du glaucome. Ces mécanismes pourraient fournir des perspectives potentielles pour le développement de nouvelles stratégies de traitement du glaucome.

Réadaptation et performance visuelle chez la personne hémianopsique : une étude de cas portant sur les saccades oculaires et le blindsight.

But: La perte unilatérale du cortex visuel postérieur engendre une cécité corticale controlatérale à la lésion, qu’on appelle hémianopsie homonyme (HH). Celle-ci est notamment accompagnée de problèmes d’exploration visuelle dans l’hémichamp aveugle dus à des stratégies oculaires déficitaires, qui ont été la cible des thérapies de compensation. Or, cette perte de vision peut s’accompagner d’une perception visuelle inconsciente, appelée blindsight. Notre hypothèse propose que le blindsight soit médié par la voie rétino-colliculaire extrastriée, recrutant le colliculus supérieur (CS), une structure multisensorielle. Notre programme a pour objectif d’évaluer l’impact d’un entraînement multisensoriel (audiovisuel) sur la performance visuelle inconsciente des personnes hémianopsiques et les stratégies oculaires. Nous essayons, ainsi, de démontrer l’implication du CS dans le phénomène de blindsight et la pertinence de la technique de compensation multisensorielle comme thérapie de réadaptation. Méthode: Notre participante, ML, atteinte d’une HH droite a effectué un entraînement d’intégration audiovisuel pour une période de 10 jours. Nous avons évalué la performance visuelle en localisation et en détection ainsi que les stratégies oculaires selon trois comparaisons principales : (1) entre l’hémichamp normal et l’hémichamp aveugle; (2) entre la condition visuelle et les conditions audiovisuelles; (3) entre les sessions de pré-entraînement, post-entraînement et 3 mois post-entraînement. Résultats: Nous avons démontré que (1) les caractéristiques des saccades et des fixations sont déficitaires dans l’hémichamp aveugle; (2) les stratégies saccadiques diffèrent selon les excentricités et les conditions de stimulations; (3) une adaptation saccadique à long terme est possible dans l’hémichamp aveugle si l’on considère le bon cadre de référence; (4) l’amélioration des mouvements oculaires est liée au blindsight. Conclusion(s): L’entraînement multisensoriel conduit à une amélioration de la performance visuelle pour des cibles non perçues, tant en localisation qu’en détection, ce qui est possiblement induit par le développement de la performance oculomotrice.

Impacts fonctionnels du traumatisme craniocérébral léger sur la vision et l'équilibre postural chez l'adulte

Le traumatisme craniocérébral léger (TCCL) a des effets complexes sur plusieurs fonctions cérébrales, dont l’évaluation et le suivi peuvent être difficiles. Les problèmes visuels et les troubles de l’équilibre font partie des plaintes fréquemment rencontrées après un TCCL. En outre, ces problèmes peuvent continuer à affecter les personnes ayant eu un TCCL longtemps après la phase aiguë du traumatisme. Cependant, les évaluations cliniques conventionnelles de la vision et de l’équilibre ne permettent pas, la plupart du temps, d’objectiver ces symptômes, surtout lorsqu’ils s’installent durablement. De plus, il n’existe pas, à notre connaissance, d’étude longitudinale ayant étudié les déficits visuels perceptifs, en tant que tels, ni les troubles de l’équilibre secondaires à un TCCL, chez l’adulte. L’objectif de ce projet était donc de déterminer la nature et la durée des effets d’un tel traumatisme sur la perception visuelle et sur la stabilité posturale, en évaluant des adultes TCCL et contrôles sur une période d’un an. Les mêmes sujets, exactement, ont participé aux deux expériences, qui ont été menées les mêmes jours pour chacun des sujets. L’impact du TCCL sur la perception visuelle de réseaux sinusoïdaux définis par des attributs de premier et de second ordre a d’abord été étudié. Quinze adultes diagnostiqués TCCL ont été évalués 15 jours, 3 mois et 12 mois après leur traumatisme. Quinze adultes contrôles appariés ont été évalués à des périodes identiques. Des temps de réaction (TR) de détection de clignotement et de discrimination de direction de mouvement ont été mesurés. Les niveaux de contraste des stimuli de premier et de second ordre ont été ajustés pour qu’ils aient une visibilité comparable, et les moyennes, médianes, écarts-types (ET) et écarts interquartiles (EIQ) des TR correspondant aux bonnes réponses ont été calculés. Le niveau de symptômes a également été évalué pour le comparer aux données de TR. De façon générale, les TR des TCCL étaient plus longs et plus variables (plus grands ET et EIQ) que ceux des contrôles. De plus, les TR des TCCL étaient plus courts pour les stimuli de premier ordre que pour ceux de second ordre, et plus variables pour les stimuli de premier ordre que pour ceux de second ordre, dans la condition de discrimination de mouvement. Ces observations se sont répétées au cours des trois sessions. Le niveau de symptômes des TCCL était supérieur à celui des participants contrôles, et malgré une amélioration, cet écart est resté significatif sur la période d’un an qui a suivi le traumatisme. La seconde expérience, elle, était destinée à évaluer l’impact du TCCL sur le contrôle postural. Pour cela, nous avons mesuré l’amplitude d’oscillation posturale dans l’axe antéropostérieur et l’instabilité posturale (au moyen de la vitesse quadratique moyenne (VQM) des oscillations posturales) en position debout, les pieds joints, sur une surface ferme, dans cinq conditions différentes : les yeux fermés, et dans un tunnel virtuel tridimensionnel soit statique, soit oscillant de façon sinusoïdale dans la direction antéropostérieure à trois vitesses différentes. Des mesures d’équilibre dérivées de tests cliniques, le Bruininks-Oseretsky Test of Motor Proficiency 2nd edition (BOT-2) et le Balance Error Scoring System (BESS) ont également été utilisées. Les participants diagnostiqués TCCL présentaient une plus grande instabilité posturale (une plus grande VQM des oscillations posturales) que les participants contrôles 2 semaines et 3 mois après le traumatisme, toutes conditions confondues. Ces troubles de l’équilibre secondaires au TCCL n’étaient plus présents un an après le traumatisme. Ces résultats suggèrent également que les déficits affectant les processus d’intégration visuelle mis en évidence dans la première expérience ont pu contribuer aux troubles de l’équilibre secondaires au TCCL. L’amplitude d’oscillation posturale dans l’axe antéropostérieur de même que les mesures dérivées des tests cliniques d’évaluation de l’équilibre (BOT-2 et BESS) ne se sont pas révélées être des mesures sensibles pour quantifier le déficit postural chez les sujets TCCL. L’association des mesures de TR à la perception des propriétés spécifiques des stimuli s’est révélée être à la fois une méthode de mesure particulièrement sensible aux anomalies visuomotrices secondaires à un TCCL, et un outil précis d’investigation des mécanismes sous-jacents à ces anomalies qui surviennent lorsque le cerveau est exposé à un traumatisme léger. De la même façon, les mesures d’instabilité posturale se sont révélées suffisamment sensibles pour permettre de mesurer les troubles de l’équilibre secondaires à un TCCL. Ainsi, le développement de tests de dépistage basés sur ces résultats et destinés à l’évaluation du TCCL dès ses premières étapes apparaît particulièrement intéressant. Il semble également primordial d’examiner les relations entre de tels déficits et la réalisation d’activités de la vie quotidienne, telles que les activités scolaires, professionnelles ou sportives, pour déterminer les impacts fonctionnels que peuvent avoir ces troubles des fonctions visuomotrice et du contrôle de l’équilibre.