Designing Regularizers and Architectures for Recurrent Neural Networks

Cette thèse contribue a la recherche vers l'intelligence artificielle en utilisant des méthodes connexionnistes. Les réseaux de neurones récurrents sont un ensemble de modèles séquentiels de plus en plus populaires capable en principe d'apprendre des algorithmes arbitraires. Ces modèles effectuent un apprentissage en profondeur, un type d'apprentissage machine. Sa généralité et son succès empirique en font un sujet intéressant pour la recherche et un outil prometteur pour la création de l'intelligence artificielle plus générale. Le premier chapitre de cette thèse donne un bref aperçu des sujets de fonds: l'intelligence artificielle, l'apprentissage machine, l'apprentissage en profondeur et les réseaux de neurones récurrents. Les trois chapitres suivants couvrent ces sujets de manière de plus en plus spécifiques. Enfin, nous présentons quelques contributions apportées aux réseaux de neurones récurrents. Le chapitre \ref{arxiv1} présente nos travaux de régularisation des réseaux de neurones récurrents. La régularisation vise à améliorer la capacité de généralisation du modèle, et joue un role clé dans la performance de plusieurs applications des réseaux de neurones récurrents, en particulier en reconnaissance vocale. Notre approche donne l'état de l'art sur TIMIT, un benchmark standard pour cette tâche. Le chapitre \ref{cpgp} présente une seconde ligne de travail, toujours en cours, qui explore une nouvelle architecture pour les réseaux de neurones récurrents. Les réseaux de neurones récurrents maintiennent un état caché qui représente leurs observations antérieures. L'idée de ce travail est de coder certaines dynamiques abstraites dans l'état caché, donnant au réseau une manière naturelle d'encoder des tendances cohérentes de l'état de son environnement. Notre travail est fondé sur un modèle existant; nous décrivons ce travail et nos contributions avec notamment une expérience préliminaire.

Réseaux de neurones à relaxation entraînés par critère d'autoencodeur débruitant

L’apprentissage machine est un vaste domaine où l’on cherche à apprendre les paramètres de modèles à partir de données concrètes. Ce sera pour effectuer des tâches demandant des aptitudes attribuées à l’intelligence humaine, comme la capacité à traiter des don- nées de haute dimensionnalité présentant beaucoup de variations. Les réseaux de neu- rones artificiels sont un exemple de tels modèles. Dans certains réseaux de neurones dits profonds, des concepts "abstraits" sont appris automatiquement. Les travaux présentés ici prennent leur inspiration de réseaux de neurones profonds, de réseaux récurrents et de neuroscience du système visuel. Nos tâches de test sont la classification et le débruitement d’images quasi binaires. On permettra une rétroac- tion où des représentations de haut niveau (plus "abstraites") influencent des représentations à bas niveau. Cette influence s’effectuera au cours de ce qu’on nomme relaxation, des itérations où les différents niveaux (ou couches) du modèle s’interinfluencent. Nous présentons deux familles d’architectures, l’une, l’architecture complètement connectée, pouvant en principe traiter des données générales et une autre, l’architecture convolutionnelle, plus spécifiquement adaptée aux images. Dans tous les cas, les données utilisées sont des images, principalement des images de chiffres manuscrits. Dans un type d’expérience, nous cherchons à reconstruire des données qui ont été corrompues. On a pu y observer le phénomène d’influence décrit précédemment en comparant le résultat avec et sans la relaxation. On note aussi certains gains numériques et visuels en terme de performance de reconstruction en ajoutant l’influence des couches supérieures. Dans un autre type de tâche, la classification, peu de gains ont été observés. On a tout de même pu constater que dans certains cas la relaxation aiderait à apprendre des représentations utiles pour classifier des images corrompues. L’architecture convolutionnelle développée, plus incertaine au départ, permet malgré tout d’obtenir des reconstructions numériquement et visuellement semblables à celles obtenues avec l’autre architecture, même si sa connectivité est contrainte.

Évaluation des intérêts sexuels auprès d’agresseurs sexuels d’enfants par la vidéo-oculographie et la présentation de stimuli générés par ordinateur

Il est proposé que la pléthysmographie pénienne puisse faire l’objet d’améliorations par la combinaison de la pléthysmographie pénienne et de la vidéo-oculographie lors de la présentation de stimuli générés par ordinateur (SGO). L’application de cette combinaison n’a fait l’objet d’aucune étude auprès d’agresseurs sexuels d’enfants. Cette thèse comporte trois articles empiriques qui visent respectivement à soutenir le développement d’un instrument d’évaluation basé sur l’utilisation combinée des réponses oculaires et érectiles lors de la présentation de SGO afin d’évaluer les intérêts sexuels d'agresseurs sexuels d’enfants. Pour ce faire, des hommes ayant eu (n = 26) ou non (n = 36) des comportements sexuels envers des enfants sont recrutés afin de constituer des groupes de comparaison. Le premier article représente une exploration préliminaire des données issues de caractéristiques sociodémographiques, sexuelles et criminologiques ainsi que des réponses oculaires et péniennes lors de présentations de SGO et de bandes sonores conventionnelles. Il permet d’orienter les décisions entourant la poursuite de la recherche. Le second article porte sur la comparaison des profils des réponses péniennes issues de présentations de SGO et de bandes sonores conventionnelles ainsi que sur leur capacité respective à classifier les individus selon la présence d’antécédents de comportements sexuels sur des enfants. Il permet d’établir la validité discriminante de l’utilisation de SGO et d’établir des normes d’utilisation clinique. Le troisième article vise à circonscrire une dynamique oculaire associée à l’intérêt sexuel envers l’âge d’un objet et à soutenir la contribution de la combinaison des réponses oculaires et péniennes lors de la présentation de SGO. En somme, les résultats issus de cette thèse soutiennent l’utilisation clinique de la pléthysmographie pénienne lors de la présentation de SGO. Ils permettent d’identifier la présence d’une signature oculaire spécifique aux agresseurs sexuels lors de la présentation de SGO. Ils démontrent la contribution de la combinaison des réponses oculaires et péniennes par rapport à une mesure reposant uniquement sur les réponses péniennes. Ces résultats ouvrent la voie à l’utilisation clinique de la vidéo-oculographie et de SGO et offrent non seulement des possibilités intéressantes dans le domaine de la délinquance sexuelle, mais également de la sexualité en général.

A Generalization of a Theorem of Boyd and Lawton

Ce mémoire s’applique à étudier d’abord, dans la première partie, la mesure de Mahler des polynômes à une seule variable. Il commence en donnant des définitions et quelques résultats pertinents pour le calcul de telle hauteur. Il aborde aussi le sujet de la question de Lehmer, la conjecture la plus célèbre dans le domaine, donne quelques exemples et résultats ayant pour but de résoudre la question. Ensuite, il y a l’extension de la mesure de Mahler sur les polynômes à plusieurs variables, une démarche semblable au premier cas de la mesure de Mahler, et le sujet des points limites avec quelques exemples. Dans la seconde partie, on commence par donner des définitions concernant un ordre supérieur de la mesure de Mahler, et des généralisations en passant des polynômes simples aux polynômes à plusieurs variables. La question de Lehmer existe aussi dans le domaine de la mesure de Mahler supérieure, mais avec des réponses totalement différentes. À la fin, on arrive à notre objectif, qui sera la démonstration de la généralisation d’un théorème de Boyd-Lawton, ce dernier met en évidence une relation entre la mesure de Mahler des polynômes à plusieurs variables avec la limite de la mesure de Mahler des polynômes à une seule variable. Ce résultat a des conséquences en termes de la conjecture de Lehmer et sert à clarifier la relation entre les valeurs de la mesure de Mahler des polynômes à une variable et celles des polynômes à plusieurs variables, qui, en effet, sont très différentes en nature.

Les ressources de pouvoir et l’influence sur les politiques publiques : le cas des associations patronales de l’industrie aérospatiale au Québec.

Cette recherche vise à mieux comprendre la mobilisation des ressources de pouvoir, par les associations patronales, dans le but d’influencer les politiques publiques, plus précisément dans le secteur de l’aérospatiale. Dans un premier temps, cette recherche tente de répondre à notre première question de recherche qui s’attarde à l’impact de la logique de représentation sur la détermination du champ d’intervention en matière de politiques publiques. Dans un deuxième temps, notre seconde question de recherche tente de cerner comment les associations patronales utilisent leurs ressources de pouvoir dans le but d’influencer les politiques publiques. D’un angle théorique, cette recherche s’inscrit dans le courant des travaux néo-institutionnalistes. Tout d’abord, les associations patronales sont perçues comme étant des «entrepreneurs institutionnels» capables d’influencer leur environnement institutionnel (Campbell, 2004 ; Streeck et Thelen, 2005 ; Crouch, 2005). Plus précisément, nous constatons également que les employeurs et leurs associations sont en mesure de mobiliser plusieurs leviers de pouvoir pour influencer, à leur avantage, les développements politiques et économiques des sociétés capitalistes (Traxler et Huemer, 2007). D’un angle empirique, notre recherche vise trois objectifs : cerner les logiques de représentation des associations patronales; identifier quels types de ressources sont à la disposition des associations patronales; analyser comment s’exerce le lien entre les ressources de pouvoir (internes et externes) et l’influence potentielle sur les politiques publiques (commerciales et du travail). Afin de rencontrer nos objectifs de recherche, nous avons utilisé la technique de l’étude de cas. Cette méthode qualitative est l’un des meilleurs moyens pour analyser un phénomène inconnu car elle fournit des données en profondeur. Cette recherche suit les recommandations de Merriem (1998) qui propose de mener la recherche en trois grandes étapes : la préparation, la collecte des données et l’interprétation. Nous avons recueilli nos données à l’aide d’entrevues semi-dirigées, conduites à l’hiver 2012. Ces entrevues ont été menées auprès de représentants des associations patronales du secteur de l’aérospatiale. Nous avons effectué une analyse qualitative des données en fonction de notre revue de littérature et nos propositions de recherche. Dans cette perspective, nous avons utilisé la technique de l’appariement logique de Yin (1994) qui consistait à comparer nos observations avec nos propositions de recherche. Enfin, il faut mentionner que cette méthode de recherche (étude de cas) comporte une importante limite de recherche : la généralisation. Effectivement, nous pouvons difficilement généraliser les résultats de notre recherche à une autre population, considérant les nombreuses particularités du secteur de l’aérospatiale. Toutefois, cette recherche a tout de même contribué à enrichir les connaissances sur l’acteur patronal organisé au Canada.

The use of artificial intelligence algorithms to guide surgical treatment of adolescent idiopathic scoliosis

La scoliose idiopathique de l’adolescent (SIA) est une déformation tri-dimensionelle du rachis. Son traitement comprend l’observation, l’utilisation de corsets pour limiter sa progression ou la chirurgie pour corriger la déformation squelettique et cesser sa progression. Le traitement chirurgical reste controversé au niveau des indications, mais aussi de la chirurgie à entreprendre. Malgré la présence de classifications pour guider le traitement de la SIA, une variabilité dans la stratégie opératoire intra et inter-observateur a été décrite dans la littérature. Cette variabilité s’accentue d’autant plus avec l’évolution des techniques chirurgicales et de l’instrumentation disponible. L’avancement de la technologie et son intégration dans le milieu médical a mené à l’utilisation d’algorithmes d’intelligence artificielle informatiques pour aider la classification et l’évaluation tridimensionnelle de la scoliose. Certains algorithmes ont démontré être efficace pour diminuer la variabilité dans la classification de la scoliose et pour guider le traitement. L’objectif général de cette thèse est de développer une application utilisant des outils d’intelligence artificielle pour intégrer les données d’un nouveau patient et les évidences disponibles dans la littérature pour guider le traitement chirurgical de la SIA. Pour cela une revue de la littérature sur les applications existantes dans l’évaluation de la SIA fut entreprise pour rassembler les éléments qui permettraient la mise en place d’une application efficace et acceptée dans le milieu clinique. Cette revue de la littérature nous a permis de réaliser que l’existence de “black box” dans les applications développées est une limitation pour l’intégration clinique ou la justification basée sur les évidence est essentielle. Dans une première étude nous avons développé un arbre décisionnel de classification de la scoliose idiopathique basé sur la classification de Lenke qui est la plus communément utilisée de nos jours mais a été critiquée pour sa complexité et la variabilité inter et intra-observateur. Cet arbre décisionnel a démontré qu’il permet d’augmenter la précision de classification proportionnellement au temps passé à classifier et ce indépendamment du niveau de connaissance sur la SIA. Dans une deuxième étude, un algorithme de stratégies chirurgicales basé sur des règles extraites de la littérature a été développé pour guider les chirurgiens dans la sélection de l’approche et les niveaux de fusion pour la SIA. Lorsque cet algorithme est appliqué à une large base de donnée de 1556 cas de SIA, il est capable de proposer une stratégie opératoire similaire à celle d’un chirurgien expert dans prêt de 70% des cas. Cette étude a confirmé la possibilité d’extraire des stratégies opératoires valides à l’aide d’un arbre décisionnel utilisant des règles extraites de la littérature. Dans une troisième étude, la classification de 1776 patients avec la SIA à l’aide d’une carte de Kohonen, un type de réseaux de neurone a permis de démontrer qu’il existe des scoliose typiques (scoliose à courbes uniques ou double thoracique) pour lesquelles la variabilité dans le traitement chirurgical varie peu des recommandations par la classification de Lenke tandis que les scolioses a courbes multiples ou tangentielles à deux groupes de courbes typiques étaient celles avec le plus de variation dans la stratégie opératoire. Finalement, une plateforme logicielle a été développée intégrant chacune des études ci-dessus. Cette interface logicielle permet l’entrée de données radiologiques pour un patient scoliotique, classifie la SIA à l’aide de l’arbre décisionnel de classification et suggère une approche chirurgicale basée sur l’arbre décisionnel de stratégies opératoires. Une analyse de la correction post-opératoire obtenue démontre une tendance, bien que non-statistiquement significative, à une meilleure balance chez les patients opérés suivant la stratégie recommandée par la plateforme logicielle que ceux aillant un traitement différent. Les études exposées dans cette thèse soulignent que l’utilisation d’algorithmes d’intelligence artificielle dans la classification et l’élaboration de stratégies opératoires de la SIA peuvent être intégrées dans une plateforme logicielle et pourraient assister les chirurgiens dans leur planification préopératoire.

Extensive characterization of Campylobacter jejuni chicken isolates to uncover genes involved in the ability to compete for gut colonization

Background: Campylobacter jejuni is responsible for human foodborne enteritis. This bacterium is a remarkable colonizer of the chicken gut, with some strains outcompeting others for colonization. To better understand this phenomenon, the objective of this study was to extensively characterize the phenotypic performance of C. jejuni chicken strains and associate their gut colonizing ability with specific genes. Results: C. jejuni isolates (n = 45) previously analyzed for the presence of chicken colonization associated genes were further characterized for phenotypic properties influencing colonization: autoagglutination and chemotaxis as well as adhesion to and invasion of primary chicken caecal cells. This allowed strains to be ranked according to their in vitro performance. After their in vitro capacity to outcompete was demonstrated in vivo, strains were then typed by comparative genomic fingerprinting (CGF). In vitro phenotypical properties displayed a linear variability among the tested strains. Strains possessing higher scores for phenotypical properties were able to outcompete others during chicken colonization trials. When the gene content of strains was compared, some were associated with different phenotypical scores and thus with different outcompeting capacities. Use of CGF profiles showed an extensive genetic variability among the studied strains and suggested that the outcompeting capacity is not predictable by CGF profile. Conclusion: This study revealed a wide array of phenotypes present in C. jejuni strains, even though they were all recovered from chicken caecum. Each strain was classified according to its in vitro competitive potential and its capacity to compete for chicken gut colonization was associated with specific genes. This study also exposed the disparity existing between genetic typing and phenotypical behavior of C. jejuni strains.

Developmental, morphological, and behavioural plasticity in the reproductive strategies of stink bugs and their egg parasitoids

L’environnement façonne la physiologie, la morphologie et le comportement des organismes par l’entremise de processus écologiques et évolutifs complexes et multidimensionnels. Le succès reproducteur des animaux est déterminé par la valeur adaptative d’un phénotype dans un environnement en modification constante selon une échelle temporelle d’une à plusieurs générations. De plus, les phénotypes sont façonnés par l’environnement, ce qui entraine des modifications adaptatives des stratégies de reproduction tout en imposant des contraintes. Dans cette thèse, considérant des punaises et leurs parasitoïdes comme organismes modèles, j’ai investigué comment plusieurs types de plasticité peuvent interagir pour influencer la valeur adaptative, et comment la plasticité des stratégies de reproduction répond à plusieurs composantes des changements environnementaux (qualité de l’hôte, radiation ultraviolette, température, invasion biologique). Premièrement, j’ai comparé la réponse comportementale et de traits d’histoire de vie à la variation de taille corporelle chez le parasitoïde Telenomus podisi Ashmead (Hymenoptera : Platygastridae), démontrant que les normes de réaction des comportements étaient plus souvent positives que celles des traits d’histoires de vie. Ensuite, j’ai démontré que la punaise prédatrice Podisus maculiventris Say (Hemiptera : Pentatomidae) peut contrôler la couleur de ses œufs, et que la pigmentation des œufs protège les embryons du rayonnement ultraviolet; une composante d’une stratégie complexe de ponte qui a évoluée en réponse à une multitude de facteurs environnementaux. Puis, j’ai testé comment le stress thermique affectait la dynamique de la mémoire du parasitoïde Trissolcus basalis (Wollaston) (Hymenoptera : Platygastridae) lors de l’apprentissage de la fiabilité des traces chimiques laissées par son hôte. Ces expériences ont révélé que des températures hautes et basses prévenaient l’oubli, affectant ainsi l’allocation du temps passé par les parasitoïdes dans des agrégats d’hôtes contenant des traces chimiques. J’ai aussi développé un cadre théorique général pour classifier les effets de la température sur l’ensemble des aspects comportementaux des ectothermes, distinguant les contraintes des adaptations. Finalement, j’ai testé l’habileté d’un parasitoïde indigène (T. podisi) à exploiter les œufs d’un nouveau ravageur invasif en agriculture, Halyomorpha halys Stål (Hemiptera : Pentatomidae). Les résultats ont montré que T. podisi attaque les œufs de H. halys, mais qu’il ne peut s’y développer, indiquant que le ravageur invasif s’avère un « piège évolutif » pour ce parasitoïde. Cela pourrait indirectement bénéficier aux espèces indigènes de punaises en agissant comme un puits écologique de ressources (œufs) et de temps pour le parasitoïde. Ces résultats ont des implications importantes sur la réponse des insectes, incluant ceux impliqués dans les programmes de lutte biologique, face aux changements environnementaux.