Resolution of deep venous thrombosis in type 2 diabetes mice model : implication of fibrinolytic and matrix metalloproteinase systems

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Modélisation de la diffraction des ondes de cisaillement en élastographie dynamique ultrasonore

L'élastographie ultrasonore est une technique d'imagerie émergente destinée à cartographier les paramètres mécaniques des tissus biologiques, permettant ainsi d’obtenir des informations diagnostiques additionnelles pertinentes. La méthode peut ainsi être perçue comme une extension quantitative et objective de l'examen palpatoire. Diverses techniques élastographiques ont ainsi été proposées pour l'étude d'organes tels que le foie, le sein et la prostate et. L'ensemble des méthodes proposées ont en commun une succession de trois étapes bien définies: l'excitation mécanique (statique ou dynamique) de l'organe, la mesure des déplacements induits (réponse au stimulus), puis enfin, l'étape dite d'inversion, qui permet la quantification des paramètres mécaniques, via un modèle théorique préétabli. Parallèlement à la diversification des champs d'applications accessibles à l'élastographie, de nombreux efforts sont faits afin d'améliorer la précision ainsi que la robustesse des méthodes dites d'inversion. Cette thèse regroupe un ensemble de travaux théoriques et expérimentaux destinés à la validation de nouvelles méthodes d'inversion dédiées à l'étude de milieux mécaniquement inhomogènes. Ainsi, dans le contexte du diagnostic du cancer du sein, une tumeur peut être perçue comme une hétérogénéité mécanique confinée, ou inclusion, affectant la propagation d'ondes de cisaillement (stimulus dynamique). Le premier objectif de cette thèse consiste à formuler un modèle théorique capable de prédire l'interaction des ondes de cisaillement induites avec une tumeur, dont la géométrie est modélisée par une ellipse. Après validation du modèle proposé, un problème inverse est formulé permettant la quantification des paramètres viscoélastiques de l'inclusion elliptique. Dans la continuité de cet objectif, l'approche a été étendue au cas d'une hétérogénéité mécanique tridimensionnelle et sphérique avec, comme objectifs additionnels, l'applicabilité aux mesures ultrasonores par force de radiation, mais aussi à l'estimation du comportement rhéologique de l'inclusion (i.e., la variation des paramètres mécaniques avec la fréquence d'excitation). Enfin, dans le cadre de l'étude des propriétés mécaniques du sang lors de la coagulation, une approche spécifique découlant de précédents travaux réalisés au sein de notre laboratoire est proposée. Celle-ci consiste à estimer la viscoélasticité du caillot sanguin via le phénomène de résonance mécanique, ici induit par force de radiation ultrasonore. La méthode, dénommée ARFIRE (''Acoustic Radiation Force Induced Resonance Elastography'') est appliquée à l'étude de la coagulation de sang humain complet chez des sujets sains et sa reproductibilité est évaluée.

Étude de prévention de la thrombose veineuse associée au cathéter veineux central de type PICC chez les patients en oncologie recevant une chimiothérapie

Nous avons mené une étude prospective randomisée dans le but de comparer l'effet de l'irrigation du cathéter de type PICC avec deux types d'anticoagulants: Héparine standard et Tinzaparine, une héparine de faible poids moléculaire. Notre étude s'adresse aux patients de la clinique externe d'oncologie de l'hôpital Maisonneuve-Rosemont. Entre début Mai 2005 et Mars 2008, nous avons recruté 131 patients dont 70 ont été randomisés. Parmi les 61 patients exclus, 23 n'ont pas rencontré les critères d'inclusion, 30 ont refusé de participer et 8 ne sont pas inclus pour d'autres raisons. Sur les 70, 36 sujets sont randomisés dans le groupe Héparine standard et 34 dans le groupe Tinzaparine. La population en intention de traiter comprend 65 sujets dont 32 dans le groupe Héparine standard et 33 dans le groupe Tinzaparine. Le médicament a été administré pendant un mombre maximal de 30 jours et les sujets ont été suivis pendant 90 jours. La thrombose veineuse associée au cathéter (TVAC) a été objectivée par une phlébographie ou une échographie-Doppler à la fin de la période de 30 jours suivant l'installation du cathéter. L'incidence de la TVAC sur 30 jours est de 14,39 par 1000 cathéter-jours (IC à 95%:[9,0;19,79]/1000 cathéter-jours ou 41,5% (27/65). L'incidence de la thrombose veineuse profonde (TVP) symptômatique du membre supérieur sur la période de suivi de 90 jours est de 0,41 par 1000 cathéter-jours (IC à 95%:[0,08;0,81]/1000 cathéter-jours ou 3% (2/65). Nous n'avons observé aucune différence entre les deux groupes par rapport à la fréquence de la TVAC ni de la TVP. Nous ne pouvons conclure à une différence dans l'efficacité de la Tinzaparine par rapport à l'Héparine standard dans la prévention de la TVAC.

Paramétrisation de la rétrodiffusion ultrasonore érythrocytaire haute fréquence et pertinence comme facteur de risque de la thrombose veineuse

L’agrégation érythrocytaire est le principal facteur responsable des propriétés non newtoniennes sanguines pour des conditions d’écoulement à faible cisaillement. Lorsque les globules rouges s’agrègent, ils forment des rouleaux et des structures tridimensionnelles enchevêtrées qui font passer la viscosité sanguine de quelques mPa.s à une centaine de mPa.s. Cette organisation microstructurale érythrocytaire est maintenue par des liens inter-globulaires de faible énergie, lesquels sont brisés par une augmentation du cisaillement. Ces propriétés macroscopiques sont bien connues. Toutefois, les liens étiologiques entre ces propriétés rhéologiques générales et leurs effets pathophysiologiques demeurent difficiles à évaluer in vivo puisque les propriétés sanguines sont dynamiques et fortement tributaires des conditions d’écoulement. Ainsi, à partir de propriétés rhéologiques mesurées in vitro dans des conditions contrôlées, il devient difficile d’extrapoler leurs valeurs dans un environnement physiologique. Or, les thrombophlébites se développent systématiquement en des loci particuliers du système cardiovasculaire. D’autre part, plusieurs études cliniques ont établi que des conditions hémorhéologiques perturbées constituent des facteurs de risque de thrombose veineuse mais leurs contributions étiologiques demeurent hypothétiques ou corrélatives. En conséquence, un outil de caractérisation hémorhéologique applicable in vivo et in situ devrait permettre de mieux cerner et comprendre ces implications. Les ultrasons, qui se propagent dans les tissus biologiques, sont sensibles à l’agrégation érythrocytaire. De nature non invasive, l’imagerie ultrasonore permet de caractériser in vivo et in situ la microstructure sanguine dans des conditions d’écoulements physiologiques. Les signaux ultrasonores rétrodiffusés portent une information sur la microstructure sanguine reflétant directement les perturbations hémorhéologiques locales. Une cartographie in vivo de l’agrégation érythrocytaire, unique aux ultrasons, devrait permettre d’investiguer les implications étiologiques de l’hémorhéologie dans la maladie thrombotique vasculaire. Cette thèse complète une série de travaux effectués au Laboratoire de Biorhéologie et d’Ultrasonographie Médicale (LBUM) du centre de recherche du Centre hospitalier de l’Université de Montréal portant sur la rétrodiffusion ultrasonore érythrocytaire et menant à une application in vivo de la méthode. Elle se situe à la suite de travaux de modélisation qui ont mis en évidence la pertinence d’un modèle particulaire tenant compte de la densité des globules rouges, de la section de rétrodiffusion unitaire d’un globule et du facteur de structure. Ce modèle permet d’établir le lien entre la microstructure sanguine et le spectre fréquentiel du coefficient de rétrodiffusion ultrasonore. Une approximation au second ordre en fréquence du facteur de structure est proposée dans ces travaux pour décrire la microstructure sanguine. Cette approche est tout d’abord présentée et validée dans un champ d’écoulement cisaillé homogène. Une extension de la méthode en 2D permet ensuite la cartographie des propriétés structurelles sanguines en écoulement tubulaire par des images paramétriques qui mettent en évidence le caractère temporel de l’agrégation et la sensibilité ultrasonore à ces phénomènes. Une extrapolation menant à une relation entre la taille des agrégats érythrocytaires et la viscosité sanguine permet l’établissement de cartes de viscosité locales. Enfin, il est démontré, à l’aide d’un modèle animal, qu’une augmentation subite de l’agrégation érythrocytaire provoque la formation d’un thrombus veineux. Le niveau d’agrégation, la présence du thrombus et les variations du débit ont été caractérisés, dans cette étude, par imagerie ultrasonore. Nos résultats suggèrent que des paramètres hémorhéologiques, préférablement mesurés in vivo et in situ, devraient faire partie du profil de risque thrombotique.

L'élastographie ultrasonore dynamique vasculaire : une nouvelle modalité d'imagerie non-invasive pour la caractérisation mécanique de la thrombose veineuse

L’accident thromboembolique veineux, tel que la thrombose veineuse profonde (TVP) ou thrombophlébite des membres inférieurs, est une pathologie vasculaire caractérisée par la formation d’un caillot sanguin causant une obstruction partielle ou totale de la lumière sanguine. Les embolies pulmonaires sont une complication mortelle des TVP qui surviennent lorsque le caillot se détache, circule dans le sang et produit une obstruction de la ramification artérielle irriguant les poumons. La combinaison d’outils et de techniques d’imagerie cliniques tels que les règles de prédiction cliniques (signes et symptômes) et les tests sanguins (D-dimères) complémentés par un examen ultrasonographique veineux (test de compression, écho-Doppler), permet de diagnostiquer les premiers épisodes de TVP. Cependant, la performance de ces outils diagnostiques reste très faible pour la détection de TVP récurrentes. Afin de diriger le patient vers une thérapie optimale, la problématique n’est plus basée sur la détection de la thrombose mais plutôt sur l’évaluation de la maturité et de l’âge du thrombus, paramètres qui sont directement corrélées à ses propriétés mécaniques (e.g. élasticité, viscosité). L’élastographie dynamique (ED) a récemment été proposée comme une nouvelle modalité d’imagerie non-invasive capable de caractériser quantitativement les propriétés mécaniques de tissus. L’ED est basée sur l’analyse des paramètres acoustiques (i.e. vitesse, atténuation, pattern de distribution) d’ondes de cisaillement basses fréquences (10-7000 Hz) se propageant dans le milieu sondé. Ces ondes de cisaillement générées par vibration externe, ou par source interne à l’aide de la focalisation de faisceaux ultrasonores (force de radiation), sont mesurées par imagerie ultrasonore ultra-rapide ou par résonance magnétique. Une méthode basée sur l’ED adaptée à la caractérisation mécanique de thromboses veineuses permettrait de quantifier la sévérité de cette pathologie à des fins d’amélioration diagnostique. Cette thèse présente un ensemble de travaux reliés au développement et à la validation complète et rigoureuse d’une nouvelle technique d’imagerie non-invasive élastographique pour la mesure quantitative des propriétés mécaniques de thromboses veineuses. L’atteinte de cet objectif principal nécessite une première étape visant à améliorer les connaissances sur le comportement mécanique du caillot sanguin (sang coagulé) soumis à une sollicitation dynamique telle qu’en ED. Les modules de conservation (comportement élastique, G’) et de perte (comportement visqueux, G’’) en cisaillement de caillots sanguins porcins sont mesurés par ED lors de la cascade de coagulation (à 70 Hz), et après coagulation complète (entre 50 Hz et 160 Hz). Ces résultats constituent les toutes premières mesures du comportement dynamique de caillots sanguins dans une gamme fréquentielle aussi étendue. L’étape subséquente consiste à mettre en place un instrument innovant de référence (« gold standard »), appelé RheoSpectris, dédié à la mesure de la viscoélasticité hyper-fréquence (entre 10 Hz et 1000 Hz) des matériaux et biomatériaux. Cet outil est indispensable pour valider et calibrer toute nouvelle technique d’élastographie dynamique. Une étude comparative entre RheoSpectris et la rhéométrie classique est réalisée afin de valider des mesures faites sur différents matériaux (silicone, thermoplastique, biomatériaux, gel). L’excellente concordance entre les deux technologies permet de conclure que RheoSpectris est un instrument fiable pour la mesure mécanique à des fréquences difficilement accessibles par les outils actuels. Les bases théoriques d’une nouvelle modalité d’imagerie élastographique, nommée SWIRE (« shear wave induced resonance dynamic elastography »), sont présentées et validées sur des fantômes vasculaires. Cette approche permet de caractériser les propriétés mécaniques d’une inclusion confinée (e.g. caillot sanguin) à partir de sa résonance (amplification du déplacement) produite par la propagation d’ondes de cisaillement judicieusement orientées. SWIRE a également l’avantage d’amplifier l’amplitude de vibration à l’intérieur de l’hétérogénéité afin de faciliter sa détection et sa segmentation. Finalement, la méthode DVT-SWIRE (« Deep venous thrombosis – SWIRE ») est adaptée à la caractérisation de l’élasticité quantitative de thromboses veineuses pour une utilisation en clinique. Cette méthode exploite la première fréquence de résonance mesurée dans la thrombose lors de la propagation d’ondes de cisaillement planes (vibration d’une plaque externe) ou cylindriques (simulation de la force de radiation par génération supersonique). DVT-SWIRE est appliquée sur des fantômes simulant une TVP et les résultats sont comparés à ceux donnés par l’instrument de référence RheoSpectris. Cette méthode est également utilisée avec succès dans une étude ex vivo pour l’évaluation de l’élasticité de thromboses porcines explantées après avoir été induites in vivo par chirurgie.

Training deep convolutional architectures for vision

Les tâches de vision artificielle telles que la reconnaissance d’objets demeurent irrésolues à ce jour. Les algorithmes d’apprentissage tels que les Réseaux de Neurones Artificiels (RNA), représentent une approche prometteuse permettant d’apprendre des caractéristiques utiles pour ces tâches. Ce processus d’optimisation est néanmoins difficile. Les réseaux profonds à base de Machine de Boltzmann Restreintes (RBM) ont récemment été proposés afin de guider l’extraction de représentations intermédiaires, grâce à un algorithme d’apprentissage non-supervisé. Ce mémoire présente, par l’entremise de trois articles, des contributions à ce domaine de recherche. Le premier article traite de la RBM convolutionelle. L’usage de champs réceptifs locaux ainsi que le regroupement d’unités cachées en couches partageant les même paramètres, réduit considérablement le nombre de paramètres à apprendre et engendre des détecteurs de caractéristiques locaux et équivariant aux translations. Ceci mène à des modèles ayant une meilleure vraisemblance, comparativement aux RBMs entraînées sur des segments d’images. Le deuxième article est motivé par des découvertes récentes en neurosciences. Il analyse l’impact d’unités quadratiques sur des tâches de classification visuelles, ainsi que celui d’une nouvelle fonction d’activation. Nous observons que les RNAs à base d’unités quadratiques utilisant la fonction softsign, donnent de meilleures performances de généralisation. Le dernière article quand à lui, offre une vision critique des algorithmes populaires d’entraînement de RBMs. Nous montrons que l’algorithme de Divergence Contrastive (CD) et la CD Persistente ne sont pas robustes : tous deux nécessitent une surface d’énergie relativement plate afin que leur chaîne négative puisse mixer. La PCD à "poids rapides" contourne ce problème en perturbant légèrement le modèle, cependant, ceci génère des échantillons bruités. L’usage de chaînes tempérées dans la phase négative est une façon robuste d’adresser ces problèmes et mène à de meilleurs modèles génératifs.

Understanding deep architectures and the effect of unsupervised pre-training

Cette thèse porte sur une classe d'algorithmes d'apprentissage appelés architectures profondes. Il existe des résultats qui indiquent que les représentations peu profondes et locales ne sont pas suffisantes pour la modélisation des fonctions comportant plusieurs facteurs de variation. Nous sommes particulièrement intéressés par ce genre de données car nous espérons qu'un agent intelligent sera en mesure d'apprendre à les modéliser automatiquement; l'hypothèse est que les architectures profondes sont mieux adaptées pour les modéliser. Les travaux de Hinton (2006) furent une véritable percée, car l'idée d'utiliser un algorithme d'apprentissage non-supervisé, les machines de Boltzmann restreintes, pour l'initialisation des poids d'un réseau de neurones supervisé a été cruciale pour entraîner l'architecture profonde la plus populaire, soit les réseaux de neurones artificiels avec des poids totalement connectés. Cette idée a été reprise et reproduite avec succès dans plusieurs contextes et avec une variété de modèles. Dans le cadre de cette thèse, nous considérons les architectures profondes comme des biais inductifs. Ces biais sont représentés non seulement par les modèles eux-mêmes, mais aussi par les méthodes d'entraînement qui sont souvent utilisés en conjonction avec ceux-ci. Nous désirons définir les raisons pour lesquelles cette classe de fonctions généralise bien, les situations auxquelles ces fonctions pourront être appliquées, ainsi que les descriptions qualitatives de telles fonctions. L'objectif de cette thèse est d'obtenir une meilleure compréhension du succès des architectures profondes. Dans le premier article, nous testons la concordance entre nos intuitions---que les réseaux profonds sont nécessaires pour mieux apprendre avec des données comportant plusieurs facteurs de variation---et les résultats empiriques. Le second article est une étude approfondie de la question: pourquoi l'apprentissage non-supervisé aide à mieux généraliser dans un réseau profond? Nous explorons et évaluons plusieurs hypothèses tentant d'élucider le fonctionnement de ces modèles. Finalement, le troisième article cherche à définir de façon qualitative les fonctions modélisées par un réseau profond. Ces visualisations facilitent l'interprétation des représentations et invariances modélisées par une architecture profonde.

On Recurrent and Deep Neural Networks

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions.

Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Managing Profound Suffering at the End-of-Life: Should expanding access to continuous deep sedation be the priority?

Commentaire / Commentary

Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.