Modeling High-Dimensional Audio Sequences with Recurrent Neural Networks

Cette thèse étudie des modèles de séquences de haute dimension basés sur des réseaux de neurones récurrents (RNN) et leur application à la musique et à la parole. Bien qu'en principe les RNN puissent représenter les dépendances à long terme et la dynamique temporelle complexe propres aux séquences d'intérêt comme la vidéo, l'audio et la langue naturelle, ceux-ci n'ont pas été utilisés à leur plein potentiel depuis leur introduction par Rumelhart et al. (1986a) en raison de la difficulté de les entraîner efficacement par descente de gradient. Récemment, l'application fructueuse de l'optimisation Hessian-free et d'autres techniques d'entraînement avancées ont entraîné la recrudescence de leur utilisation dans plusieurs systèmes de l'état de l'art. Le travail de cette thèse prend part à ce développement. L'idée centrale consiste à exploiter la flexibilité des RNN pour apprendre une description probabiliste de séquences de symboles, c'est-à-dire une information de haut niveau associée aux signaux observés, qui en retour pourra servir d'à priori pour améliorer la précision de la recherche d'information. Par exemple, en modélisant l'évolution de groupes de notes dans la musique polyphonique, d'accords dans une progression harmonique, de phonèmes dans un énoncé oral ou encore de sources individuelles dans un mélange audio, nous pouvons améliorer significativement les méthodes de transcription polyphonique, de reconnaissance d'accords, de reconnaissance de la parole et de séparation de sources audio respectivement. L'application pratique de nos modèles à ces tâches est détaillée dans les quatre derniers articles présentés dans cette thèse. Dans le premier article, nous remplaçons la couche de sortie d'un RNN par des machines de Boltzmann restreintes conditionnelles pour décrire des distributions de sortie multimodales beaucoup plus riches. Dans le deuxième article, nous évaluons et proposons des méthodes avancées pour entraîner les RNN. Dans les quatre derniers articles, nous examinons différentes façons de combiner nos modèles symboliques à des réseaux profonds et à la factorisation matricielle non-négative, notamment par des produits d'experts, des architectures entrée/sortie et des cadres génératifs généralisant les modèles de Markov cachés. Nous proposons et analysons également des méthodes d'inférence efficaces pour ces modèles, telles la recherche vorace chronologique, la recherche en faisceau à haute dimension, la recherche en faisceau élagué et la descente de gradient. Finalement, nous abordons les questions de l'étiquette biaisée, du maître imposant, du lissage temporel, de la régularisation et du pré-entraînement.

Space and time characterization of laser-induced plasmas for applications in chemical analysis and thin film deposition

Après des décennies de développement, l'ablation laser est devenue une technique importante pour un grand nombre d'applications telles que le dépôt de couches minces, la synthèse de nanoparticules, le micro-usinage, l’analyse chimique, etc. Des études expérimentales ainsi que théoriques ont été menées pour comprendre les mécanismes physiques fondamentaux mis en jeu pendant l'ablation et pour déterminer l’effet de la longueur d'onde, de la durée d'impulsion, de la nature de gaz ambiant et du matériau de la cible. La présente thèse décrit et examine l'importance relative des mécanismes physiques qui influencent les caractéristiques des plasmas d’aluminium induits par laser. Le cadre général de cette recherche forme une étude approfondie de l'interaction entre la dynamique de la plume-plasma et l’atmosphère gazeuse dans laquelle elle se développe. Ceci a été réalisé par imagerie résolue temporellement et spatialement de la plume du plasma en termes d'intensité spectrale, de densité électronique et de température d'excitation dans différentes atmosphères de gaz inertes tel que l’Ar et l’He et réactifs tel que le N2 et ce à des pressions s’étendant de 10‾7 Torr (vide) jusqu’à 760 Torr (pression atmosphérique). Nos résultats montrent que l'intensité d'émission de plasma dépend généralement de la nature de gaz et qu’elle est fortement affectée par sa pression. En outre, pour un délai temporel donné par rapport à l'impulsion laser, la densité électronique ainsi que la température augmentent avec la pression de gaz, ce qui peut être attribué au confinement inertiel du plasma. De plus, on observe que la densité électronique est maximale à proximité de la surface de la cible où le laser est focalisé et qu’elle diminue en s’éloignant (axialement et radialement) de cette position. Malgré la variation axiale importante de la température le long du plasma, on trouve que sa variation radiale est négligeable. La densité électronique et la température ont été trouvées maximales lorsque le gaz est de l’argon et minimales pour l’hélium, tandis que les valeurs sont intermédiaires dans le cas de l’azote. Ceci tient surtout aux propriétés physiques et chimiques du gaz telles que la masse des espèces, leur énergie d'excitation et d'ionisation, la conductivité thermique et la réactivité chimique. L'expansion de la plume du plasma a été étudiée par imagerie résolue spatio-temporellement. Les résultats montrent que la nature de gaz n’affecte pas la dynamique de la plume pour des pressions inférieures à 20 Torr et pour un délai temporel inférieur à 200 ns. Cependant, pour des pressions supérieures à 20 Torr, l'effet de la nature du gaz devient important et la plume la plus courte est obtenue lorsque la masse des espèces du gaz est élevée et lorsque sa conductivité thermique est relativement faible. Ces résultats sont confirmés par la mesure de temps de vol de l’ion Al+ émettant à 281,6 nm. D’autre part, on trouve que la vitesse de propagation des ions d’aluminium est bien définie juste après l’ablation et près de la surface de la cible. Toutefois, pour un délai temporel important, les ions, en traversant la plume, se thermalisent grâce aux collisions avec les espèces du plasma et du gaz.

A physically based trunk soft tissue modeling for scoliosis surgery planning systems

One of the major concerns of scoliotic patients undergoing spinal correction surgery is the trunk's external appearance after the surgery. This paper presents a novel incremental approach for simulating postoperative trunk shape in scoliosis surgery. Preoperative and postoperative trunk shapes data were obtained using three-dimensional medical imaging techniques for seven patients with adolescent idiopathic scoliosis. Results of qualitative and quantitative evaluations, based on the comparison of the simulated and actual postoperative trunk surfaces, showed an adequate accuracy of the method. Our approach provides a candidate simulation tool to be used in a clinical environment for the surgery planning process.