Espaces de timbre générés par des réseaux profonds convolutionnels

Il est avant-tout question, dans ce mémoire, de la modélisation du timbre grâce à des algorithmes d'apprentissage machine. Plus précisément, nous avons essayé de construire un espace de timbre en extrayant des caractéristiques du son à l'aide de machines de Boltzmann convolutionnelles profondes. Nous présentons d'abord un survol de l'apprentissage machine, avec emphase sur les machines de Boltzmann convolutionelles ainsi que les modèles dont elles sont dérivées. Nous présentons aussi un aperçu de la littérature concernant les espaces de timbre, et mettons en évidence quelque-unes de leurs limitations, dont le nombre limité de sons utilisés pour les construire. Pour pallier à ce problème, nous avons mis en place un outil nous permettant de générer des sons à volonté. Le système utilise à sa base des plug-ins qu'on peut combiner et dont on peut changer les paramètres pour créer une gamme virtuellement infinie de sons. Nous l'utilisons pour créer une gigantesque base de donnée de timbres générés aléatoirement constituée de vrais instruments et d'instruments synthétiques. Nous entrainons ensuite les machines de Boltzmann convolutionnelles profondes de façon non-supervisée sur ces timbres, et utilisons l'espace des caractéristiques produites comme espace de timbre. L'espace de timbre ainsi obtenu est meilleur qu'un espace semblable construit à l'aide de MFCC. Il est meilleur dans le sens où la distance entre deux timbres dans cet espace est plus semblable à celle perçue par un humain. Cependant, nous sommes encore loin d'atteindre les mêmes capacités qu'un humain. Nous proposons d'ailleurs quelques pistes d'amélioration pour s'en approcher.

Avancées théoriques sur la représentation et l'optimisation des réseaux de neurones

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

La prévision de l’inflation par la méthode des réseaux de neurones : Le cas de la Tunisie

L’approche neuronale a occupé l’intérêt d’un grand nombre de chercheurs pour l’analyse et la prévision des séries temporelles dans divers domaines. Dans ce papier, nous étudions la capacité des réseaux de neurones artificiels (RNA) de type « perceptrons multicouches » pour prévoir le taux d’inflation en Tunisie. Nous essayons de trouver une meilleure technique de prévision de l’inflation en comparant les résultats obtenus par les RNA par rapport à ceux fournis par les modèles autorégressifs linéaires (AR) et par le modèle de prévision « naïve ». La comparaison est effectuée sur la base du critère de la racine carrée de l’erreur quadratique moyenne (root-mean-square error : RMSE) et sur le taux d’amélioration de ce dernier (évalué par rapport à la marche aléatoire). Les résultats trouvés ont montré la supériorité des RNA qui permettent de mieux retracer l’évolution de la série et offrent une meilleure performance en termes de pouvoir prédictif du taux d’inflation en Tunisie.

Nouvelle approche en théorie des jeux comportementale

Il a été démontré en laboratoire que l’équilibre de Nash n’était pas toujours un bon indicateur du comportement humain. Différentes théories alternatives (aversion à l’inégalité, réciprocité et norme sociale) ont vu le jour pour combler les lacunes de la théorie classique, mais aucune d’elles ne permet d’expliquer la totalité des phénomènes observés en laboratoire. Après avoir identifié les lacunes de ces modèles, ce mémoire développe un modèle qui synthétise dans un tout cohérent les avancées de ceux-ci à l’aide de préférences hétérogènes. Afin d’augmenter la portée du modèle, une nouvelle notion d’équilibre, dite comportementale, est ajoutée au modèle. En appliquant le nouveau modèle à des jeux simples, nous pouvons voir comment il élargit le nombre de comportements pouvant être modélisé par la théorie des jeux.

Étude des propriétés plasmoniques des réseaux de nanotrous

Les réseaux de nanotrous sont des structures plasmoniques ayant un énorme potentiel en tant que transducteurs pour la conception de biocapteurs. De telles structures sont prometteuses pour l’élaboration de biocapteurs capable d’effectuer du criblage à haut débit. L’intérêt de travailler avec des réseaux de nanotrous est dû à la simplicité d’excitation des polaritons de plasmons de surface en transmission directe, à la sensibilité et à la facilité de fabrication de ces senseurs. L’architecture de tels réseaux métalliques permet la conception de nanostructures ayant de multiples propriétés plasmoniques. L’intensité, la signature spectrale et la sensibilité du signal plasmonique sont grandement affectées par l’aspect physique du réseau de nanotrous. L’optimisation du signal plasmonique nécessite ainsi un ajustement du diamètre des trous, de la périodicité et de la composition métallique du réseau. L'agencement de l'ensemble de ces paramètres permet d'identifier une structure optimale possédant une périodicité de 1000 nm, un diamètre des nanotrous de 600-650 nm et un film métallique ayant une épaisseur de 125 nm d'or. Ce type de transducteur a une sensibilité en solution de 500-600 nm/RIU pour des bandes plasmoniques situées entre 600-700 nm. L'intérêt de travailler avec cette structure est la possibilité d'exciter les plasmons de polaritons de surface (SPPs) selon deux modes d'excitation : en transmission exaltée (EOT) ou en réflexion totale interne par résonance des plasmons de surface (SPR). Une comparaison entre les propriétés plasmoniques des senseurs selon les modes d'excitation permet de déterminer expérimentalement que le couplage de la lumière avec les ondes de SPP de Bloch (BW-SPPs) en transmission directe résulte en un champ électromagnétique davantage propagatif que localisé. D'un point de vue analytique, la biodétection de l'IgG en SPR est 6 fois plus sensible par rapport au mode EOT pour une même structure. Une étude du signal plasmonique associé au BW-SPP pour un certain mode de diffraction démontre que la distance de pénétration de ces structures en EOT est d'environ 140 nm. La limite de détection de l'IgG humain pour un réseau de nanotrous de 1000 nm de périodicité est d'environ 50 nM en EOT. Ce mémoire démontre la viabilité des réseaux de nanotrous pour effectuer de la biodétection par criblage à haut débit lors de prochaines recherches. L'investigation de l'effet de l'angle d'excitation en transmission exaltée par rapport au signal plasmonique associé au mode (1,0) d'un réseau de nanotrous de 820 nm d'or démontre que la sensibilité en solution n'est pas proportionnelle à la sensibilité en surface du senseur. En fait, une optimisation de l'angle d'incidence pour le mode (1,0) de diffraction des BW-SPP permet d'amplifier la sensibilité en surface du senseur jusqu'à 3-fois pour un angle de 13,3°. Ce mémoire démontre ainsi la nécessité d'optimiser l'angle d'excitation et les propriétés physiques du senseur afin de développer un transducteur de grande sensibilité basé sur l'excitation en transmission de réseaux de nanotrous.

Étude numérique des origines hémodynamiques des oscillations dans des réseaux de capillaires

En simulant l’écoulement du sang dans un réseau de capillaires (en l’absence de contrôle biologique), il est possible d’observer la présence d’oscillations de certains paramètres comme le débit volumique, la pression et l’hématocrite (volume des globules rouges par rapport au volume du sang total). Ce comportement semble être en concordance avec certaines expériences in vivo. Malgré cet accord, il faut se demander si les fluctuations observées lors des simulations de l’écoulement sont physiques, numériques ou un artefact de modèles irréalistes puisqu’il existe toujours des différences entre des modélisations et des expériences in vivo. Pour répondre à cette question de façon satisfaisante, nous étudierons et analyserons l’écoulement du sang ainsi que la nature des oscillations observées dans quelques réseaux de capillaires utilisant un modèle convectif et un modèle moyenné pour décrire les équations de conservation de masse des globules rouges. Ces modèles tiennent compte de deux effets rhéologiques importants : l’effet Fåhraeus-Lindqvist décrivant la viscosité apparente dans un vaisseau et l’effet de séparation de phase schématisant la distribution des globules rouges aux points de bifurcation. Pour décrire ce dernier effet, deux lois de séparation de phase (les lois de Pries et al. et de Fenton et al.) seront étudiées et comparées. Dans ce mémoire, nous présenterons une description du problème physiologique (rhéologie du sang). Nous montrerons les modèles mathématiques employés (moyenné et convectif) ainsi que les lois de séparation de phase (Pries et al. et Fenton et al.) accompagnés d’une analyse des schémas numériques implémentés. Pour le modèle moyenné, nous employons le schéma numérique explicite traditionnel d’Euler ainsi qu’un nouveau schéma implicite qui permet de résoudre ce problème d’une manière efficace. Ceci est fait en utilisant une méthode de Newton- Krylov avec gradient conjugué préconditionné et la méthode de GMRES pour les itérations intérieures ainsi qu’une méthode quasi-Newton (la méthode de Broyden). Cette méthode inclura le schéma implicite d’Euler et la méthode des trapèzes. Pour le schéma convectif, la méthode explicite de Kiani et al. sera implémentée ainsi qu’une nouvelle approche implicite. La stabilité des deux modèles sera également explorée. À l’aide de trois différentes topologies, nous comparerons les résultats de ces deux modèles mathématiques ainsi que les lois de séparation de phase afin de déterminer dans quelle mesure les oscillations observées peuvent être attribuables au choix des modèles mathématiques ou au choix des méthodes numériques.

WiMAX ou l’évolution des réseaux sans-fil ?

L'adoption des technologies de réseaux sans-fil de type WiFi a connu une croissance impressionnante ces dernières années. Cette vague de popularité ne semble pas vouloir s'estomper, il est estimé que 84 millions d’appareils seront vendus en 2007 totalisant des revenus de 3.7 milliards de dollars. Devant cette forte demande, les fabricants d’appareils de télécommunications ont songés à développer des produits encore plus performants. Appuyé par la norme IEEE 802.16, un consortium du nom de WiMAX Forum a regroupé 350 membres dans le but de promouvoir des produits standardisés portant la marque WiMAX. À l'inverse des premières versions du WiFi, le WiMAX sera doté de mécanismes de sécurité beaucoup plus fiables. L'avantage du WiMAX, comme pour plusieurs de ses concurrents, repose sur sa capacité d'opérer sur une large bande de fréquences, réglementées ou non. Sa portée théorique de 50 Km et son débit escompté de 75 Mbit/s a capté l'attention des fournisseurs de services qui cherchent à réduire leurs coûts d'exploitations mais également de divers organismes gouvernementaux qui espèrent améliorer les services de communications dans les communautés des régions éloignées. Grâce à l'appui du ministre des Affaires indiennes et du nord canadien, le territoire du Nunavut a mis sur pied un réseau à large bande qui dessert actuellement l’ensemble de ses 29 communautés sur tout son territoire. La possibilité de couvrir une superficie de plusieurs kilomètres ramène à la surface le concept d’omniprésence ou de « Pervasive computing ». Cette notion représente l’intégration des technologies dans notre entourage afin de rendre nos interactions avec celle-ci plus naturelles. Nos déplacements dans cet environnement pourraient être facilités puisque les ordinateurs seraient en mesure de détecter et réagir à notre présence pour nous offrir des solutions personnalisées. Les déploiements de réseaux de type WiMAX sont déjà en cours dans plusieurs pays, d'après la situation actuelle du marché, il est envisageable de voir une forte adoption de cette forme de diffusion d’informations dans les prochaines années. Le présent document trace un résumé des applications liées au WiMAX et discute de certaines problématiques engendrées par ce type de réseau.

Tectonique moléculaire : vers l'utilisation du dispirofluorène-indénofluorène comme unité de construction pour bâtir des réseaux cristallins poreux

La chimie supramoléculaire est un domaine qui suscite depuis quelques années un intérêt grandissant. Le domaine s’appuie sur les interactions intermoléculaires de façon à contrôler l’organisation moléculaire et ainsi moduler les propriétés des matériaux. La sélection et le positionnement adéquat de groupes fonctionnels, utilisés en combinaison avec un squelette moléculaire particulier, permet d’anticiper la façon dont une molécule interagira avec les molécules avoisinantes. Cette stratégie de construction, nommé tectonique moléculaire, fait appel à la conception de molécules appelées tectons (du mot grec signifiant bâtisseur) pouvant s’orienter de façon prévisible par le biais d’interactions faibles et ainsi générer des architectures supramoléculaires inédites. Les tectons utilisent les forces intermoléculaires mises à leur disposition pour s’orienter de façon prédéterminée et ainsi contrecarrer la tendance à s’empiler de la manière la plus compacte possible. Pour ce faire, les tectons sont munies de diverses groupes fonctionnels, aussi appelés groupes de reconnaissance, qui agiront comme guide lors de l’assemblage moléculaire. Le choix du squelette moléculaire du tecton revêt une importance capitale puisqu’il doit permettre une orientation optimale des groupes de reconnaissance. La stratégie de la tectonique moléculaire, utilisée conjointement avec la cristallisation, ouvre la porte à un domaine de la chimie supramoléculaire appelé le génie cristallin. Le génie cristallin permet l’obtention de réseaux cristallins poreux soutenus par des interactions faibles, pouvant accueillir des molécules invitées. Bien que toutes les interactions faibles peuvent être mises à contribution, le pont hydrogène est l’interaction prédominante en ce qui a trait aux réseaux cristallins supramoléculaires. La force, la directionnalité ainsi que la versatilité font du pont hydrogène l’interaction qui, à ce jour, a eu le plus grand impact dans le domaine du génie cristallin. Un des groupements de reconnaissance particulièrement intéressants en génie cristallin, faisant appel aux ponts hydrogène et offrant plusieurs motifs d’interaction, est l’unité 2,4-diamino-1,3,5-triazinyle. L’utilisation de ce groupement de reconnaissance conjointement avec un cœur moléculaire en forme de croix d’Onsager, qui défavorise l’empilement compact, permet l’obtention de valeurs de porosités élevées, comme c’est le cas pour le 2,2’,7,7’-tétrakis(2,4-diamino-1,3,5-triazin-6-yl)-9,9’-spirobi[9H-fluorène]. Nous présentons ici une extension du travail effectué sur les cœurs spirobifluorényles en décrivant la synthèse et l’analyse structurale de molécules avec une unité dispirofluorène-indénofluorényle comme cœur moléculaire. Ce cœur moléculaire exhibe les mêmes caractéristiques structurales que le spirobifluorène, soit une topologie rigide en forme de croix d’Onsager défavorisant l’empilement compact. Nous avons combiné les cœurs dispirofluorène-indénofluorényles avec différents groupements de reconnaissance de façon à étudier l’influence de l’élongation du cœur moléculaire sur le réseau cristallin, en particulier sur le volume accessible aux molécules invitées.

Non-domination et collectivités : l'apport du républicanisme à une théorie des droits collectifs

L'objectif poursuivi dans ce mémoire est de montrer que le néo-républicanisme possède les outils les plus efficaces pour penser la réconciliation des droits individuels, fondement des États de droits occidentaux contemporains, et des droits collectifs que peuvent légitimement réclamer les collectivités nationales. Dans cette visée, et comme de nombreux auteurs libéraux se sont attaqués à cette question dans les dernières décennies, j'expose d'abord trois stratégies libérales pour traiter cette possible réconciliation tout en faisant ressortir leurs faiblesses respectives. J'avance qu'aucune de ces stratégies ne permet vraiment de comprendre comment un régime de droits collectifs et un régime de droits individuels peuvent être articulés de façon cohérente. J'argue ensuite que le néo-républicanisme, parce qu'il comprend la liberté non pas comme l'absence d'interférence, mais comme un statut de non-domination, permet de voir que les droits collectifs des groupes nationaux et les droits individuels sont nécessairement compatibles, parce qu'ils s'organisent en fonction du même idéal. Les droits d'un individu et ceux de sa collectivité nationale sont, d'une certaine manière, les deux faces d'une même médaille, la non-domination individuelle dépendant de la non-domination du groupe national auquel l'individu appartient. En dernier lieu, je soutiens que cette compréhension du rapport entre les deux régimes de droits devrait se traduire par un ensemble de mesures institutionnelles concrètes dont la plus importante est la reconnaissance d'un droit, pour les collectivités nationales, à l'autodétermination.

Apprentissage des réseaux de neurones profonds et applications en traitement automatique de la langue naturelle

En apprentissage automatique, domaine qui consiste à utiliser des données pour apprendre une solution aux problèmes que nous voulons confier à la machine, le modèle des Réseaux de Neurones Artificiels (ANN) est un outil précieux. Il a été inventé voilà maintenant près de soixante ans, et pourtant, il est encore de nos jours le sujet d'une recherche active. Récemment, avec l'apprentissage profond, il a en effet permis d'améliorer l'état de l'art dans de nombreux champs d'applications comme la vision par ordinateur, le traitement de la parole et le traitement des langues naturelles. La quantité toujours grandissante de données disponibles et les améliorations du matériel informatique ont permis de faciliter l'apprentissage de modèles à haute capacité comme les ANNs profonds. Cependant, des difficultés inhérentes à l'entraînement de tels modèles, comme les minima locaux, ont encore un impact important. L'apprentissage profond vise donc à trouver des solutions, en régularisant ou en facilitant l'optimisation. Le pré-entraînnement non-supervisé, ou la technique du ``Dropout'', en sont des exemples. Les deux premiers travaux présentés dans cette thèse suivent cette ligne de recherche. Le premier étudie les problèmes de gradients diminuants/explosants dans les architectures profondes. Il montre que des choix simples, comme la fonction d'activation ou l'initialisation des poids du réseaux, ont une grande influence. Nous proposons l'initialisation normalisée pour faciliter l'apprentissage. Le second se focalise sur le choix de la fonction d'activation et présente le rectifieur, ou unité rectificatrice linéaire. Cette étude a été la première à mettre l'accent sur les fonctions d'activations linéaires par morceaux pour les réseaux de neurones profonds en apprentissage supervisé. Aujourd'hui, ce type de fonction d'activation est une composante essentielle des réseaux de neurones profonds. Les deux derniers travaux présentés se concentrent sur les applications des ANNs en traitement des langues naturelles. Le premier aborde le sujet de l'adaptation de domaine pour l'analyse de sentiment, en utilisant des Auto-Encodeurs Débruitants. Celui-ci est encore l'état de l'art de nos jours. Le second traite de l'apprentissage de données multi-relationnelles avec un modèle à base d'énergie, pouvant être utilisé pour la tâche de désambiguation de sens.

Ontologie et théorie des ensembles

L’ontologie de Leśniewski est un calcul général des noms. Elle fut créée par Leśniewski pour apporter une solution naturelle au paradoxe de Russell en théorie naïve des ensembles. L’ontologie a été perçue par ses défenseurs et par ses adversaires comme une théorie incompatible avec la théorie des ensembles. Dans le présent texte, nous montrons que l’ontologie de Leśniewski permet, au contraire, de définir une théorie des ensembles qui coïncide avec la théorie de Zermelo- Fraenkel.

Cogestion des ressources naturelles : une approche structurale pour quantifier la contribution des réseaux d'acteurs à la résilience des systèmes socio-écologiques

Alors que les activités anthropiques font basculer de nombreux écosystèmes vers des régimes fonctionnels différents, la résilience des systèmes socio-écologiques devient un problème pressant. Des acteurs locaux, impliqués dans une grande diversité de groupes — allant d’initiatives locales et indépendantes à de grandes institutions formelles — peuvent agir sur ces questions en collaborant au développement, à la promotion ou à l’implantation de pratiques plus en accord avec ce que l’environnement peut fournir. De ces collaborations répétées émergent des réseaux complexes, et il a été montré que la topologie de ces réseaux peut améliorer la résilience des systèmes socio-écologiques (SSÉ) auxquels ils participent. La topologie des réseaux d’acteurs favorisant la résilience de leur SSÉ est caractérisée par une combinaison de plusieurs facteurs : la structure doit être modulaire afin d’aider les différents groupes à développer et proposer des solutions à la fois plus innovantes (en réduisant l’homogénéisation du réseau), et plus proches de leurs intérêts propres ; elle doit être bien connectée et facilement synchronisable afin de faciliter les consensus, d’augmenter le capital social, ainsi que la capacité d’apprentissage ; enfin, elle doit être robuste, afin d’éviter que les deux premières caractéristiques ne souffrent du retrait volontaire ou de la mise à l’écart de certains acteurs. Ces caractéristiques, qui sont relativement intuitives à la fois conceptuellement et dans leur application mathématique, sont souvent employées séparément pour analyser les qualités structurales de réseaux d’acteurs empiriques. Cependant, certaines sont, par nature, incompatibles entre elles. Par exemple, le degré de modularité d’un réseau ne peut pas augmenter au même rythme que sa connectivité, et cette dernière ne peut pas être améliorée tout en améliorant sa robustesse. Cet obstacle rend difficile la création d’une mesure globale, car le niveau auquel le réseau des acteurs contribue à améliorer la résilience du SSÉ ne peut pas être la simple addition des caractéristiques citées, mais plutôt le résultat d’un compromis subtil entre celles-ci. Le travail présenté ici a pour objectifs (1), d’explorer les compromis entre ces caractéristiques ; (2) de proposer une mesure du degré auquel un réseau empirique d’acteurs contribue à la résilience de son SSÉ ; et (3) d’analyser un réseau empirique à la lumière, entre autres, de ces qualités structurales. Cette thèse s’articule autour d’une introduction et de quatre chapitres numérotés de 2 à 5. Le chapitre 2 est une revue de la littérature sur la résilience des SSÉ. Il identifie une série de caractéristiques structurales (ainsi que les mesures de réseaux qui leur correspondent) liées à l’amélioration de la résilience dans les SSÉ. Le chapitre 3 est une étude de cas sur la péninsule d’Eyre, une région rurale d’Australie-Méridionale où l’occupation du sol, ainsi que les changements climatiques, contribuent à l’érosion de la biodiversité. Pour cette étude de cas, des travaux de terrain ont été effectués en 2010 et 2011 durant lesquels une série d’entrevues a permis de créer une liste des acteurs de la cogestion de la biodiversité sur la péninsule. Les données collectées ont été utilisées pour le développement d’un questionnaire en ligne permettant de documenter les interactions entre ces acteurs. Ces deux étapes ont permis la reconstitution d’un réseau pondéré et dirigé de 129 acteurs individuels et 1180 relations. Le chapitre 4 décrit une méthodologie pour mesurer le degré auquel un réseau d’acteurs participe à la résilience du SSÉ dans lequel il est inclus. La méthode s’articule en deux étapes : premièrement, un algorithme d’optimisation (recuit simulé) est utilisé pour fabriquer un archétype semi-aléatoire correspondant à un compromis entre des niveaux élevés de modularité, de connectivité et de robustesse. Deuxièmement, un réseau empirique (comme celui de la péninsule d’Eyre) est comparé au réseau archétypique par le biais d’une mesure de distance structurelle. Plus la distance est courte, et plus le réseau empirique est proche de sa configuration optimale. La cinquième et dernier chapitre est une amélioration de l’algorithme de recuit simulé utilisé dans le chapitre 4. Comme il est d’usage pour ce genre d’algorithmes, le recuit simulé utilisé projetait les dimensions du problème multiobjectif dans une seule dimension (sous la forme d’une moyenne pondérée). Si cette technique donne de très bons résultats ponctuellement, elle n’autorise la production que d’une seule solution parmi la multitude de compromis possibles entre les différents objectifs. Afin de mieux explorer ces compromis, nous proposons un algorithme de recuit simulé multiobjectifs qui, plutôt que d’optimiser une seule solution, optimise une surface multidimensionnelle de solutions. Cette étude, qui se concentre sur la partie sociale des systèmes socio-écologiques, améliore notre compréhension des structures actorielles qui contribuent à la résilience des SSÉ. Elle montre que si certaines caractéristiques profitables à la résilience sont incompatibles (modularité et connectivité, ou — dans une moindre mesure — connectivité et robustesse), d’autres sont plus facilement conciliables (connectivité et synchronisabilité, ou — dans une moindre mesure — modularité et robustesse). Elle fournit également une méthode intuitive pour mesurer quantitativement des réseaux d’acteurs empiriques, et ouvre ainsi la voie vers, par exemple, des comparaisons d’études de cas, ou des suivis — dans le temps — de réseaux d’acteurs. De plus, cette thèse inclut une étude de cas qui fait la lumière sur l’importance de certains groupes institutionnels pour la coordination des collaborations et des échanges de connaissances entre des acteurs aux intérêts potentiellement divergents.

Compétition et complémentarité dans l'évolution des réseaux maritimes de transport de conteneurs : le cas de la façade est de l'Amérique du Nord

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.