Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Réaction de photocyclodéshydrogénation par catalyse photorédox

Cette thèse présente une nouvelle méthode pour accomplir la réaction de Mallory en utilisant la lumière visible. Pour atteindre ce but, la chimie photorédox qui s'est développée ces dernières années permettra une utilisation efficace de la lumière visible. De plus, la chimie en flux continu sera utilisé afin d'augmenter la surface irradiée du mélange réactionnel. Au cours de ces travaux, une nouvelle méthodologie photochimique utilisant un photocatalyseur de cuivre avec la lumière visible a été efficace pour la synthèse du 5hélicène. Un mécanisme de désactivation oxydante est proposé pour cette réaction. Par ailleurs, cette nouvelle méthodologie a été utilisée pour la synthèse d'un dérivé du 5hélicène et d'un 4hélicène-pyrène hybride. Par la suite, la méthodologie photochimique utilisant un photocatalyseur de cuivre avec la lumière visible a servi à la synthèse de divers carbazoles substitués au niveau de l'azote par des groupements aryles et alkyles. Au cours de cette synthèse, la réaction a révélé un problème de régiosélectivité. Ce dernier a été étudié par la synthèse de nouvelles triarylamines. Finalement, il a été découvert que l'utilisation d'un photocatalyseur de fer peut remplacer le photocatalyseur de cuivre en utilisant l'oxygène comme oxydant pour la synthèse de 9-phénylcarbazole.

Méthode efficace d'assignation de tissus humains par tomodensitométrie à double énergie

Pour analyser les images en tomodensitométrie, une méthode stœchiométrique est gé- néralement utilisée. Une courbe relie les unités Hounsfield d’une image à la densité électronique du milieu. La tomodensitométrie à double énergie permet d’obtenir des informations supplémentaires sur ces images. Une méthode stœchiométrique a été dé- veloppée pour permettre de déterminer les valeurs de densité électronique et de numéro atomique effectif à partir d’une paire d’images d’un tomodensitomètre à double énergie. Le but de cette recherche est de développer une nouvelle méthode d’identification de tissus en utilisant ces paramètres extraits en tomodensitométrie à double énergie. Cette nouvelle méthode est comparée avec la méthode standard de tomodensitométrie à simple énergie. Par ailleurs, l’impact dosimétrique de bien identifier un tissu est déterminé. Des simulations Monte Carlo permettent d’utiliser des fantômes numériques dont tous les paramètres sont connus. Les différents fantômes utilisés permettent d’étalonner les méthodes stœchiométriques, de comparer la polyvalence et la robustesse des méthodes d’identification de tissus double énergie et simple énergie, ainsi que de comparer les distributions de dose dans des fantômes uniformes de mêmes densités, mais de compo- sitions différentes. La méthode utilisant la tomodensitométrie à double énergie fournit des valeurs de densi- tés électroniques plus exactes, quelles que soient les conditions étudiées. Cette méthode s’avère également plus robuste aux variations de densité des tissus. L’impact dosimé- trique d’une bonne identification de tissus devient important pour des traitements aux énergies plus faibles, donc aux énergies d’imagerie et de curiethérapie.

Diversified query expansion

La diversification des résultats de recherche (DRR) vise à sélectionner divers documents à partir des résultats de recherche afin de couvrir autant d’intentions que possible. Dans les approches existantes, on suppose que les résultats initiaux sont suffisamment diversifiés et couvrent bien les aspects de la requête. Or, on observe souvent que les résultats initiaux n’arrivent pas à couvrir certains aspects. Dans cette thèse, nous proposons une nouvelle approche de DRR qui consiste à diversifier l’expansion de requête (DER) afin d’avoir une meilleure couverture des aspects. Les termes d’expansion sont sélectionnés à partir d’une ou de plusieurs ressource(s) suivant le principe de pertinence marginale maximale. Dans notre première contribution, nous proposons une méthode pour DER au niveau des termes où la similarité entre les termes est mesurée superficiellement à l’aide des ressources. Quand plusieurs ressources sont utilisées pour DER, elles ont été uniformément combinées dans la littérature, ce qui permet d’ignorer la contribution individuelle de chaque ressource par rapport à la requête. Dans la seconde contribution de cette thèse, nous proposons une nouvelle méthode de pondération de ressources selon la requête. Notre méthode utilise un ensemble de caractéristiques qui sont intégrées à un modèle de régression linéaire, et génère à partir de chaque ressource un nombre de termes d’expansion proportionnellement au poids de cette ressource. Les méthodes proposées pour DER se concentrent sur l’élimination de la redondance entre les termes d’expansion sans se soucier si les termes sélectionnés couvrent effectivement les différents aspects de la requête. Pour pallier à cet inconvénient, nous introduisons dans la troisième contribution de cette thèse une nouvelle méthode pour DER au niveau des aspects. Notre méthode est entraînée de façon supervisée selon le principe que les termes reliés doivent correspondre au même aspect. Cette méthode permet de sélectionner des termes d’expansion à un niveau sémantique latent afin de couvrir autant que possible différents aspects de la requête. De plus, cette méthode autorise l’intégration de plusieurs ressources afin de suggérer des termes d’expansion, et supporte l’intégration de plusieurs contraintes telles que la contrainte de dispersion. Nous évaluons nos méthodes à l’aide des données de ClueWeb09B et de trois collections de requêtes de TRECWeb track et montrons l’utilité de nos approches par rapport aux méthodes existantes.

Analysis of intrinsic cardiac neuron activity in relation to neurogenic atrial fibrillation and vagal stimulation

La fibrillation auriculaire est le trouble du rythme le plus fréquent chez l'homme. Elle conduit souvent à de graves complications telles que l'insuffisance cardiaque et les accidents vasculaires cérébraux. Un mécanisme neurogène de la fibrillation auriculaire mis en évidence. L'induction de tachyarythmie par stimulation du nerf médiastinal a été proposée comme modèle pour étudier la fibrillation auriculaire neurogène. Dans cette thèse, nous avons étudié l'activité des neurones cardiaques intrinsèques et leurs interactions à l'intérieur des plexus ganglionnaires de l'oreillette droite dans un modèle canin de la fibrillation auriculaire neurogène. Ces activités ont été enregistrées par un réseau multicanal de microélectrodes empalé dans le plexus ganglionnaire de l'oreillette droite. L'enregistrement de l'activité neuronale a été effectué continument sur une période de près de 4 heures comprenant différentes interventions vasculaires (occlusion de l'aorte, de la veine cave inférieure, puis de l'artère coronaire descendante antérieure gauche), des stimuli mécaniques (toucher de l'oreillette ou du ventricule) et électriques (stimulation du nerf vague ou des ganglions stellaires) ainsi que des épisodes induits de fibrillation auriculaire. L'identification et la classification neuronale ont été effectuées en utilisant l'analyse en composantes principales et le partitionnement de données (cluster analysis) dans le logiciel Spike2. Une nouvelle méthode basée sur l'analyse en composante principale est proposée pour annuler l'activité auriculaire superposée sur le signal neuronal et ainsi augmenter la précision de l'identification de la réponse neuronale et de la classification. En se basant sur la réponse neuronale, nous avons défini des sous-types de neurones (afférent, efférent et les neurones des circuits locaux). Leur activité liée à différents facteurs de stress nous ont permis de fournir une description plus détaillée du système nerveux cardiaque intrinsèque. La majorité des neurones enregistrés ont réagi à des épisodes de fibrillation auriculaire en devenant plus actifs. Cette hyperactivité des neurones cardiaques intrinsèques suggère que le contrôle de cette activité pourrait aider à prévenir la fibrillation auriculaire neurogène. Puisque la stimulation à basse intensité du nerf vague affaiblit l'activité neuronale cardiaque intrinsèque (en particulier pour les neurones afférents et convergents des circuits locaux), nous avons examiné si cette intervention pouvait être appliquée comme thérapie pour la fibrillation auriculaire. Nos résultats montrent que la stimulation du nerf vague droit a été en mesure d'atténuer la fibrillation auriculaire dans 12 des 16 cas malgré un effet pro-arythmique défavorable dans 1 des 16 cas. L'action protective a diminué au fil du temps et est devenue inefficace après ~ 40 minutes après 3 minutes de stimulation du nerf vague.

Analyse de maillages surfaciques par construction et comparaison de modèles moyens et par décomposition par graphes s’appuyant sur les courbures discrètes : application à l’étude de la cornée humaine

Réalisé en cotutelle avec Aix Marseille Université.

Une nouvelle méthode pour estimer la torsion géométrique en scoliose idiopathique de l’adolescent

La scoliose idiopathique de l’adolescent (SIA) est une déformation tridimensionnelle (3D) de la colonne vertébrale. Pour la plupart des patients atteints de SIA, aucun traitement chirurgical n’est nécessaire. Lorsque la déformation devient sévère, un traitement chirurgical visant à réduire la déformation est recommandé. Pour déterminer la sévérité de la SIA, l’imagerie la plus utilisée est une radiographie postéroantérieure (PA) ou antéro-postérieure (AP) du rachis. Plusieurs indices sont disponibles à partir de cette modalité d’imagerie afin de quantifier la déformation de la SIA, dont l’angle de Cobb. La conduite thérapeutique est généralement basée sur cet indice. Cependant, les indices disponibles à cette modalité d’imagerie sont de nature bidimensionnelle (2D). Celles-ci ne décrivent donc pas entièrement la déformation dans la SIA dû à sa nature tridimensionnelle (3D). Conséquemment, les classifications basées sur les indices 2D souffrent des mêmes limitations. Dans le but décrire la SIA en 3D, la torsion géométrique a été étudiée et proposée par Poncet et al. Celle-ci mesure la tendance d’une courbe tridimensionnelle à changer de direction. Cependant, la méthode proposée est susceptible aux erreurs de reconstructions 3D et elle est calculée localement au niveau vertébral. L’objectif de cette étude est d’évaluer une nouvelle méthode d’estimation de la torsion géométrique par l’approximation de longueurs d’arcs locaux et par paramétrisation de courbes dans la SIA. Une première étude visera à étudier la sensibilité de la nouvelle méthode présentée face aux erreurs de reconstructions 3D du rachis. Par la suite, deux études cliniques vont présenter la iv torsion géométrique comme indice global et viseront à démontrer l’existence de sous-groupes non-identifiés dans les classifications actuelles et que ceux-ci ont une pertinence clinique. La première étude a évalué la robustesse de la nouvelle méthode d’estimation de la torsion géométrique chez un groupe de patient atteint de la SIA. Elle a démontré que la nouvelle technique est robuste face aux erreurs de reconstructions 3D du rachis. La deuxième étude a évalué la torsion géométrique utilisant cette nouvelle méthode dans une cohorte de patient avec des déformations de type Lenke 1. Elle a démontré qu’il existe deux sous-groupes, une avec des valeurs de torsion élevées et l’autre avec des valeurs basses. Ces deux sous-groupes possèdent des différences statistiquement significatives, notamment au niveau du rachis lombaire avec le groupe de torsion élevée ayant des valeurs d’orientation des plans de déformation maximales (PMC) en thoraco-lombaire (TLL) plus élevées. La dernière étude a évalué les résultats chirurgicaux de patients ayant une déformation Lenke 1 sous-classifiées selon les valeurs de torsion préalablement. Cette étude a pu démontrer des différences au niveau du PMC au niveau thoraco-lombaire avec des valeurs plus élevées en postopératoire chez les patients ayant une haute torsion. Ces études présentent une nouvelle méthode d’estimation de la torsion géométrique et présentent cet indice quantitativement. Elles ont démontré l’existence de sous-groupes 3D basés sur cet indice ayant une pertinence clinique dans la SIA, qui n’étaient pas identifiés auparavant. Ce projet contribue dans la tendance actuelle vers le développement d’indices 3D et de classifications 3D pour la scoliose idiopathique de l’adolescent.