Modeling High-Dimensional Audio Sequences with Recurrent Neural Networks

Cette thèse étudie des modèles de séquences de haute dimension basés sur des réseaux de neurones récurrents (RNN) et leur application à la musique et à la parole. Bien qu'en principe les RNN puissent représenter les dépendances à long terme et la dynamique temporelle complexe propres aux séquences d'intérêt comme la vidéo, l'audio et la langue naturelle, ceux-ci n'ont pas été utilisés à leur plein potentiel depuis leur introduction par Rumelhart et al. (1986a) en raison de la difficulté de les entraîner efficacement par descente de gradient. Récemment, l'application fructueuse de l'optimisation Hessian-free et d'autres techniques d'entraînement avancées ont entraîné la recrudescence de leur utilisation dans plusieurs systèmes de l'état de l'art. Le travail de cette thèse prend part à ce développement. L'idée centrale consiste à exploiter la flexibilité des RNN pour apprendre une description probabiliste de séquences de symboles, c'est-à-dire une information de haut niveau associée aux signaux observés, qui en retour pourra servir d'à priori pour améliorer la précision de la recherche d'information. Par exemple, en modélisant l'évolution de groupes de notes dans la musique polyphonique, d'accords dans une progression harmonique, de phonèmes dans un énoncé oral ou encore de sources individuelles dans un mélange audio, nous pouvons améliorer significativement les méthodes de transcription polyphonique, de reconnaissance d'accords, de reconnaissance de la parole et de séparation de sources audio respectivement. L'application pratique de nos modèles à ces tâches est détaillée dans les quatre derniers articles présentés dans cette thèse. Dans le premier article, nous remplaçons la couche de sortie d'un RNN par des machines de Boltzmann restreintes conditionnelles pour décrire des distributions de sortie multimodales beaucoup plus riches. Dans le deuxième article, nous évaluons et proposons des méthodes avancées pour entraîner les RNN. Dans les quatre derniers articles, nous examinons différentes façons de combiner nos modèles symboliques à des réseaux profonds et à la factorisation matricielle non-négative, notamment par des produits d'experts, des architectures entrée/sortie et des cadres génératifs généralisant les modèles de Markov cachés. Nous proposons et analysons également des méthodes d'inférence efficaces pour ces modèles, telles la recherche vorace chronologique, la recherche en faisceau à haute dimension, la recherche en faisceau élagué et la descente de gradient. Finalement, nous abordons les questions de l'étiquette biaisée, du maître imposant, du lissage temporel, de la régularisation et du pré-entraînement.

In Search of Advice for Physicians in Entry-Level Medical Markets

We consider entry-level medical markets for physicians in the United Kingdom. These markets experienced failures which led to the adoption of centralized market mechanisms in the 1960's. However, different regions introduced different centralized mechanisms. We advise physicians who do not have detailed information about the rank-order lists submitted by the other participants. We demonstrate that in each of these markets in a low information environment it is not beneficial to reverse the true ranking of any two acceptable hospital positions. We further show that (i) in the Edinburgh 1967 market, ranking unacceptable matches as acceptable is not profitable for any participant and (ii) in any other British entry-level medical market, it is possible that only strategies which rank unacceptable positions as acceptable are optimal for a physician.

The Secession Reference: A Ruling in Search of a Nation

This short article will address the two following issues: the new vision of the Canadian constitutional order entertained by the Supreme Court in the Reference re Secession of Quebec (I) nd the impact of this new vision. upon the fate of Canada (II)

Genome wide search for genetic determinants of habitual alcohol, tobacco and coffee use, obesity-related traits, response to mental and physical stress and hemodynamic traits

Les habitudes de consommation de substances psychoactives, le stress, l’obésité et les traits cardiovasculaires associés seraient en partie reliés aux mêmes facteurs génétiques. Afin d’explorer cette hypothèse, nous avons effectué, chez 119 familles multi-générationnelles québécoises de la région du Saguenay-Lac-St-Jean, des études d’association et de liaison pangénomiques pour les composantes génétiques : de la consommation usuelle d’alcool, de tabac et de café, de la réponse au stress physique et psychologique, des traits anthropométriques reliés à l’obésité, ainsi que des mesures du rythme cardiaque (RC) et de la pression artérielle (PA). 58000 SNPs et 437 marqueurs microsatellites ont été utilisés et l’annotation fonctionnelle des gènes candidats identifiés a ensuite été réalisée. Nous avons détecté des corrélations phénotypiques significatives entre les substances psychoactives, le stress, l’obésité et les traits hémodynamiques. Par exemple, les consommateurs d’alcool et de tabac ont montré un RC significativement diminué en réponse au stress psychologique. De plus, les consommateurs de tabac avaient des PA plus basses que les non-consommateurs. Aussi, les hypertendus présentaient des RC et PA systoliques accrus en réponse au stress psychologique et un indice de masse corporelle (IMC) élevé, comparativement aux normotendus. D’autre part, l’utilisation de tabac augmenterait les taux corporels d’épinéphrine, et des niveaux élevés d’épinéphrine ont été associés à des IMC diminués. Ainsi, en accord avec les corrélations inter-phénotypiques, nous avons identifié plusieurs gènes associés/liés à la consommation de substances psychoactives, à la réponse au stress physique et psychologique, aux traits reliés à l’obésité et aux traits hémodynamiques incluant CAMK4, CNTN4, DLG2, DAG1, FHIT, GRID2, ITPR2, NOVA1, NRG3 et PRKCE. Ces gènes codent pour des protéines constituant un réseau d’interactions, impliquées dans la plasticité synaptique, et hautement exprimées dans le cerveau et ses tissus associés. De plus, l’analyse des sentiers de signalisation pour les gènes identifiés (P = 0,03) a révélé une induction de mécanismes de Potentialisation à Long Terme. Les variations des traits étudiés seraient en grande partie liées au sexe et au statut d’hypertension. Pour la consommation de tabac, nous avons noté que le degré et le sens des corrélations avec l’obésité, les traits hémodynamiques et le stress sont spécifiques au sexe et à la pression artérielle. Par exemple, si des variations ont été détectées entre les hommes fumeurs et non-fumeurs (anciens et jamais), aucune différence n’a été observée chez les femmes. Nous avons aussi identifié de nombreux traits reliés à l’obésité dont la corrélation avec la consommation de tabac apparaît essentiellement plus liée à des facteurs génétiques qu’au fait de fumer en lui-même. Pour le sexe et l’hypertension, des différences dans l’héritabilité de nombreux traits ont également été observées. En effet, des analyses génétiques sur des sous-groupes spécifiques ont révélé des gènes additionnels partageant des fonctions synaptiques : CAMK4, CNTN5, DNM3, KCNAB1 (spécifique à l’hypertension), CNTN4, DNM3, FHIT, ITPR1 and NRXN3 (spécifique au sexe). Ces gènes codent pour des protéines interagissant avec les protéines de gènes détectés dans l’analyse générale. De plus, pour les gènes des sous-groupes, les résultats des analyses des sentiers de signalisation et des profils d’expression des gènes ont montré des caractéristiques similaires à celles de l’analyse générale. La convergence substantielle entre les déterminants génétiques des substances psychoactives, du stress, de l’obésité et des traits hémodynamiques soutiennent la notion selon laquelle les variations génétiques des voies de plasticité synaptique constitueraient une interface commune avec les différences génétiques liées au sexe et à l’hypertension. Nous pensons, également, que la plasticité synaptique interviendrait dans de nombreux phénotypes complexes influencés par le mode de vie. En définitive, ces résultats indiquent que des approches basées sur des sous-groupes et des réseaux amélioreraient la compréhension de la nature polygénique des phénotypes complexes, et des processus moléculaires communs qui les définissent.

« Resolution Search » et problèmes d’optimisation discrète

Thèse réalisée en cotutelle avec l'Université d'Avignon.

The Search for New Resonances in Strong Symmetry Breaking Scenarios with the ATLAS Detector

Utilisant les plus récentes données recueillies par le détecteur ATLAS lors de collisions pp à 7 et 8 TeV au LHC, cette thèse établira des contraintes sévères sur une multitude de modèles allant au-delà du modèle standard (MS) de la physique des particules. Plus particulièrement, deux types de particules hypothétiques, existant dans divers modèles théoriques et qui ne sont pas présentes dans le MS, seront étudiés et sondés. Le premier type étudié sera les quarks-vectoriels (QV) produits lors de collisions pp par l’entremise de couplages électrofaibles avec les quarks légers u et d. On recherchera ces QV lorsqu’ils se désintègrent en un boson W ou Z, et un quark léger. Des arguments théoriques établissent que sous certaines conditions raisonnables la production simple dominerait la production en paires des QV. La topologie particulière des évènements en production simple des QV permettra alors la mise en oeuvre de techniques d’optimisation efficaces pour leur extraction des bruits de fond électrofaibles. Le deuxième type de particules recherché sera celles qui se désintègrent en WZ lorsque ces bosons de jauges W, et Z se désintègrent leptoniquement. Les états finaux détectés par ATLAS seront par conséquent des évènements ayant trois leptons et de l’énergie transverse manquante. La distribution de la masse invariante de ces objets sera alors examinée pour déterminer la présence ou non de nouvelles résonances qui se manifesterait par un excès localisé. Malgré le fait qu’à première vue ces deux nouveaux types de particules n’ont que très peu en commun, ils ont en réalité tous deux un lien étroit avec la brisure de symétrie électrofaible. Dans plusieurs modèles théoriques, l’existence hypothétique des QV est proposé pour annuler les contributions du quark top aux corrections radiatives de la masse du Higgs du MS. Parallèlement, d’autres modèles prédisent quant à eux des résonances en WZ tout en suggérant que le Higgs est une particule composite, chambardant ainsi tout le sector Higgs du MS. Ainsi, les deux analyses présentées dans cette thèse ont un lien fondamental avec la nature même du Higgs, élargissant par le fait même nos connaissances sur l’origine de la masse intrinsèque des particules. En fin de compte, les deux analyses n’ont pas observé d’excès significatif dans leurs régions de signal respectives, ce qui permet d’établir des limites sur la section efficace de production en fonction de la masse des résonances.

In search of protection : sexual minority women in Canadian refugee determination

Le Canada accepte des demandes d’asile sur la base de l'orientation sexuelle depuis plus de 20 ans. Quoi qu’il en soit, cette recherche permet de douter du fait que les demandes sur la base de l’orientation sexuelle déposées par des femmes soient traitées de façon adéquate. Pour garantir l’accès à la protection des femmes appartenant à des minorités sexuelles, une analyse du risque de persécution fondé sur l'orientation sexuelle doit incorporer des considérations de genre ainsi que divers autres facteurs d’ordre social et culturel. À partir d’une étude de cas de demandes du statut de refugié déposées par des femmes sur la base de l’orientation sexuelle et rejetées par la Commission de l'immigration et du statut de réfugié entre 2010 et 2013, cette recherche identifie des procédés décisionnels problématiques qui font obstacle au droit d’asile de ces femmes. Les résultats de cette étude révèlent qu’une analyse intersectionnelle, laquelle prend acte des formes variées et multiples de l’oppression dans un contexte social donné, est d’importance cruciale pour une évaluation éclairée et non tronquée des risques de persécution pour les minorités sexuelles féminines. À la lumière de ces résultats, ce mémoire propose qu’une analyse intersectionnelle accompagne une nécessaire formation pour les membres de la Commission de l'immigration et du statut de réfugié du Canada sur des questions particulières à des minorités sexuelles.

Analyse et modélisation de la réponse des détecteurs du projet PICASSO pour la recherche de la matière sombre

Les mesures cosmologiques les plus récentes ont montré la présence d’un type de matière exotique constituant 85% de la masse de l’univers. Ce type de matière non baryonique serait formé de particules neutres, non relativistes, massives et interagissant faiblement avec la matière baryonique. L’ensemble des candidats est regroupé sous le nom générique WIMP (Weakly Interactive Massive Particles). L’expérience PICASSO (Projet d’Identification des CAndidats Supersymétriques de la matière SOmbre) est une expérience utilisant des détecteurs à seuil d’énergie contenant des gouttelettes surchauffées constituées de C4F10. Cette technique de détection est basée sur le principe de la chambre à bulles. Le projet PICASSO a pour but de détecter directement une particule de matière sombre. Le principe de détection est qu’une particule de matière sombre interagissant avec le liquide actif engendre un recul nucléaire du 19F. L’énergie de recul serait suffisante pour engendrer une transition de phase accompagnée d’un signal acoustique enregistrée par des senseurs piézoélectriques. Dans le cadre de ce mémoire, une simulation du taux de comptage de l’étalonnage des détecteurs PICASSO soumis à des neutrons monoénergétiques a été effectuée en utilisant la théorie de Seitz qui décrit les critères pour qu’une transition de phase ait lieu pour un liquide en état de surchauffe. De plus, un modèle calculant le signal acoustique émis lors d’une transition de phase engendré par différents types de radiations a été créé permettant de caractériser la discrimination entre différents bruits de fond en fonction de l’énergie de seuil. Finalement, un outil d’analyse, la localisation des évènements, a été utilisé pour appliquer des coupures sur le volume dans le but d’améliorer la discrimination alpha-neutron.