Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

L'effort associé à la reconnaissance de la parole chez les adultes et les personnes aînées

L’objectif principal de cette thèse était de quantifier et comparer l’effort requis pour reconnaître la parole dans le bruit chez les jeunes adultes et les personnes aînées ayant une audition normale et une acuité visuelle normale (avec ou sans lentille de correction de la vue). L’effort associé à la perception de la parole est lié aux ressources attentionnelles et cognitives requises pour comprendre la parole. La première étude (Expérience 1) avait pour but d’évaluer l’effort associé à la reconnaissance auditive de la parole (entendre un locuteur), tandis que la deuxième étude (Expérience 2) avait comme but d’évaluer l’effort associé à la reconnaissance auditivo-visuelle de la parole (entendre et voir le visage d’un locuteur). L’effort fut mesuré de deux façons différentes. D’abord par une approche comportementale faisant appel à un paradigme expérimental nommé double tâche. Il s’agissait d’une tâche de reconnaissance de mot jumelée à une tâche de reconnaissance de patrons vibro-tactiles. De plus, l’effort fut quantifié à l’aide d’un questionnaire demandant aux participants de coter l’effort associé aux tâches comportementales. Les deux mesures d’effort furent utilisées dans deux conditions expérimentales différentes : 1) niveau équivalent – c'est-à-dire lorsque le niveau du bruit masquant la parole était le même pour tous les participants et, 2) performance équivalente – c'est-à-dire lorsque le niveau du bruit fut ajusté afin que les performances à la tâche de reconnaissance de mots soient identiques pour les deux groupes de participant. Les niveaux de performance obtenus pour la tâche vibro-tactile ont révélé que les personnes aînées fournissent plus d’effort que les jeunes adultes pour les deux conditions expérimentales, et ce, quelle que soit la modalité perceptuelle dans laquelle les stimuli de la parole sont présentés (c.-à.-d., auditive seulement ou auditivo-visuelle). Globalement, le ‘coût’ associé aux performances de la tâche vibro-tactile était au plus élevé pour les personnes aînées lorsque la parole était présentée en modalité auditivo-visuelle. Alors que les indices visuels peuvent améliorer la reconnaissance auditivo-visuelle de la parole, nos résultats suggèrent qu’ils peuvent aussi créer une charge additionnelle sur les ressources utilisées pour traiter l’information. Cette charge additionnelle a des conséquences néfastes sur les performances aux tâches de reconnaissance de mots et de patrons vibro-tactiles lorsque celles-ci sont effectuées sous des conditions de double tâche. Conformément aux études antérieures, les coefficients de corrélations effectuées à partir des données de l’Expérience 1 et de l’Expérience 2 soutiennent la notion que les mesures comportementales de double tâche et les réponses aux questionnaires évaluent différentes dimensions de l’effort associé à la reconnaissance de la parole. Comme l’effort associé à la perception de la parole repose sur des facteurs auditifs et cognitifs, une troisième étude fut complétée afin d’explorer si la mémoire auditive de travail contribue à expliquer la variance dans les données portant sur l’effort associé à la perception de la parole. De plus, ces analyses ont permis de comparer les patrons de réponses obtenues pour ces deux facteurs après des jeunes adultes et des personnes aînées. Pour les jeunes adultes, les résultats d’une analyse de régression séquentielle ont démontré qu’une mesure de la capacité auditive (taille de l’empan) était reliée à l’effort, tandis qu’une mesure du traitement auditif (rappel alphabétique) était reliée à la précision avec laquelle les mots étaient reconnus lorsqu’ils étaient présentés sous les conditions de double tâche. Cependant, ces mêmes relations n’étaient pas présentes dans les données obtenues pour le groupe de personnes aînées ni dans les données obtenues lorsque les tâches de reconnaissance de la parole étaient effectuées en modalité auditivo-visuelle. D’autres études sont nécessaires pour identifier les facteurs cognitifs qui sous-tendent l’effort associé à la perception de la parole, et ce, particulièrement chez les personnes aînées.

Évaluation de la régulation de l'oxygénation dans les capillaires de la tête du nerf optique suivant un effort physique dynamique

Il est généralement accepté que les lits vasculaires oculaires auraient la faculté d’autoréguler leur apport sanguin afin de contrebalancer les variations de pression de perfusion oculaire (PPO). Plusieurs études ont tenté d’évaluer ce mécanisme en mesurant les effets d’une variation de la PPO - induite par un exercice ou par une augmentation de la pression intra-oculaire (PIO) à l’aide d’une suction sclérale - sur le débit sanguin oculaire (DSO). Or, les méthodes de mesure du DSO utilisées jusqu'à maintenant présentent de nombreux désavantages et limites, ce qui rend difficile leur usage clinique. De récents développements dans le domaine des investigations non-invasives des paramètres sanguins oculaires proposent un modèle capable de mesurer en temps réel la concentration en oxygène, un autre paramètre important du métabolisme rétinien. Dans le cadre de la présente étude, ce nouveau modèle est utilisé afin de mesurer les effets d’un effort physique dynamique sur la concentration d’oxygène dans les capillaires de la tête du nerf optique (COTNO) de sujets jeunes et en santé. Six jeunes hommes non fumeurs ont participé à l’étude. L’effort physique dynamique consistait en une séance de bicyclette stationnaire de 15 minutes menant à une augmentation du pouls à 160 battements par minute. La COTNO était mesurée avant et immédiatement après la séance d’exercice. La pression artérielle (PA) et la PIO étaient mesurées ponctuellement alors que le pouls et la saturation sanguine en oxygène (SpO2) au niveau digital étaient mesurés tout au long de l’expérience. L’effort physique a entrainé une réduction de la PIO chez tous les sujets, une réduction de la COTNO chez tous les sujets sauf un tandis que la SpO2 demeura constante chez tous les sujets. Une corrélation quadratique entre les variations de la PIO et de la COTNO a pu être notée. Ces résultats suggèrent une corrélation directe entre les variations de la COTNO et celles de la PPO et de la PA. Les résultats de la présente étude suggèrent que les variations de la COTNO chez un sujet en santé suite à un effort physique dynamique pourraient représenter sa capacité à compenser un tel effort. De plus, les changements métaboliques sanguins induits par l’effort physique dynamique pourraient représenter une cause commune aux variations de la PIO et de la COTNO.

Perception d’effort et de mise en charge et asymétrie motrice lors du passage assis à debout chez le sujet hémiparétique

L’asymétrie de mise en charge (MEC) lors du passage assis à debout (PAD) chez les personnes hémiparétiques est une observation clinique connue mais peu expliquée. Ce projet visait donc le développement de connaissances sur les facteurs explicatifs de l’asymétrie de MEC chez cette clientèle en s’intéressant plus spécifiquement au lien entre la distribution des efforts aux genoux lors du PAD et l’asymétrie de MEC observée ainsi qu’à la perception de ces deux éléments lors de cette tâche. Ainsi, les objectifs généraux étaient de : 1) déterminer si l’exécution spontanée asymétrique du PAD des sujets hémiparétiques est expliquée par une distribution des efforts symétriques aux genoux en quantifiant ces efforts par le Taux d’utilisation musculaire électromyographique (TUMEMG) et, 2) déterminer si les individus hémiparétiques sont conscients des stratégies motrices qu’ils utilisent en évaluant leurs perceptions de MEC et d’efforts aux genoux durant le PAD. La première étude a évalué la capacité des personnes hémiparétiques à percevoir leur distribution de MEC aux membres inférieurs lors du PAD. Par rapport aux participants sains, leur distribution de MEC fut davantage asymétrique et leurs erreurs de perception plus élevées. La deuxième étude a quantifié la distribution des efforts aux genoux chez les sujets sains et hémiparétiques lors du PAD spontané. Les deux groupes ont montré une association entre leur distribution de MEC et leur distribution d’effort. Toutefois, la relation était plus faible chez les patients. Le classement des participants hémiparétiques en sous-groupes selon leur degré d’asymétrie de force maximale des extenseurs des genoux (faible, modéré, sévère) a révélé une similarité des efforts aux genoux parétique et non parétique chez le groupe ayant une atteinte sévère. La troisième étude a déterminé si la perception de la distribution des efforts aux genoux des sujets hémiparétiques était reliée à leur distribution réelle d’effort mesurée lors de PAD exécutés dans différentes positions de pieds. En plus d’être incapables de percevoir les changements de distribution d’effort induits par les différentes positions de pieds, leurs erreurs de perception d’effort furent plus élevées que celles de MEC. Par le biais du test fonctionnel assis-debout de cinq répétitions, la dernière étude a déterminé l’influence du nombre de répétitions du PAD sur les distributions de MEC et d’efforts aux genoux chez les sujets sains et hémiparétiques. Contrairement aux contrôles, les distributions des sujets hémiparétiques furent plus asymétriques à la première répétition du test fonctionnel que lors de l’exécution spontanée unique du PAD. En somme, les résultats de cette thèse ont démontré que la distribution des efforts aux genoux doit être considérée parmi les facteurs explicatifs de l’asymétrie de MEC des individus hémiparétiques lors du PAD et qu’il y a un besoin de mieux documenter la perception des personnes hémiparétiques lorsqu’elles exécutent des tâches fonctionnelles.

Optimization models and methods for real-time transportation planning in forestry

Lors du transport du bois de la forêt vers les usines, de nombreux événements imprévus peuvent se produire, événements qui perturbent les trajets prévus (par exemple, en raison des conditions météo, des feux de forêt, de la présence de nouveaux chargements, etc.). Lorsque de tels événements ne sont connus que durant un trajet, le camion qui accomplit ce trajet doit être détourné vers un chemin alternatif. En l’absence d’informations sur un tel chemin, le chauffeur du camion est susceptible de choisir un chemin alternatif inutilement long ou pire, qui est lui-même "fermé" suite à un événement imprévu. Il est donc essentiel de fournir aux chauffeurs des informations en temps réel, en particulier des suggestions de chemins alternatifs lorsqu’une route prévue s’avère impraticable. Les possibilités de recours en cas d’imprévus dépendent des caractéristiques de la chaîne logistique étudiée comme la présence de camions auto-chargeurs et la politique de gestion du transport. Nous présentons trois articles traitant de contextes d’application différents ainsi que des modèles et des méthodes de résolution adaptés à chacun des contextes. Dans le premier article, les chauffeurs de camion disposent de l’ensemble du plan hebdomadaire de la semaine en cours. Dans ce contexte, tous les efforts doivent être faits pour minimiser les changements apportés au plan initial. Bien que la flotte de camions soit homogène, il y a un ordre de priorité des chauffeurs. Les plus prioritaires obtiennent les volumes de travail les plus importants. Minimiser les changements dans leurs plans est également une priorité. Étant donné que les conséquences des événements imprévus sur le plan de transport sont essentiellement des annulations et/ou des retards de certains voyages, l’approche proposée traite d’abord l’annulation et le retard d’un seul voyage, puis elle est généralisée pour traiter des événements plus complexes. Dans cette ap- proche, nous essayons de re-planifier les voyages impactés durant la même semaine de telle sorte qu’une chargeuse soit libre au moment de l’arrivée du camion à la fois au site forestier et à l’usine. De cette façon, les voyages des autres camions ne seront pas mo- difiés. Cette approche fournit aux répartiteurs des plans alternatifs en quelques secondes. De meilleures solutions pourraient être obtenues si le répartiteur était autorisé à apporter plus de modifications au plan initial. Dans le second article, nous considérons un contexte où un seul voyage à la fois est communiqué aux chauffeurs. Le répartiteur attend jusqu’à ce que le chauffeur termine son voyage avant de lui révéler le prochain voyage. Ce contexte est plus souple et offre plus de possibilités de recours en cas d’imprévus. En plus, le problème hebdomadaire peut être divisé en des problèmes quotidiens, puisque la demande est quotidienne et les usines sont ouvertes pendant des périodes limitées durant la journée. Nous utilisons un modèle de programmation mathématique basé sur un réseau espace-temps pour réagir aux perturbations. Bien que ces dernières puissent avoir des effets différents sur le plan de transport initial, une caractéristique clé du modèle proposé est qu’il reste valable pour traiter tous les imprévus, quelle que soit leur nature. En effet, l’impact de ces événements est capturé dans le réseau espace-temps et dans les paramètres d’entrée plutôt que dans le modèle lui-même. Le modèle est résolu pour la journée en cours chaque fois qu’un événement imprévu est révélé. Dans le dernier article, la flotte de camions est hétérogène, comprenant des camions avec des chargeuses à bord. La configuration des routes de ces camions est différente de celle des camions réguliers, car ils ne doivent pas être synchronisés avec les chargeuses. Nous utilisons un modèle mathématique où les colonnes peuvent être facilement et naturellement interprétées comme des itinéraires de camions. Nous résolvons ce modèle en utilisant la génération de colonnes. Dans un premier temps, nous relaxons l’intégralité des variables de décision et nous considérons seulement un sous-ensemble des itinéraires réalisables. Les itinéraires avec un potentiel d’amélioration de la solution courante sont ajoutés au modèle de manière itérative. Un réseau espace-temps est utilisé à la fois pour représenter les impacts des événements imprévus et pour générer ces itinéraires. La solution obtenue est généralement fractionnaire et un algorithme de branch-and-price est utilisé pour trouver des solutions entières. Plusieurs scénarios de perturbation ont été développés pour tester l’approche proposée sur des études de cas provenant de l’industrie forestière canadienne et les résultats numériques sont présentés pour les trois contextes.