Managing Profound Suffering at the End-of-Life: Should expanding access to continuous deep sedation be the priority?

Commentaire / Commentary

Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.

Apprentissage d'espaces sémantiques

Dans cette dissertation, nous présentons plusieurs techniques d’apprentissage d’espaces sémantiques pour plusieurs domaines, par exemple des mots et des images, mais aussi à l’intersection de différents domaines. Un espace de représentation est appelé sémantique si des entités jugées similaires par un être humain, ont leur similarité préservée dans cet espace. La première publication présente un enchaînement de méthodes d’apprentissage incluant plusieurs techniques d’apprentissage non supervisé qui nous a permis de remporter la compétition “Unsupervised and Transfer Learning Challenge” en 2011. Le deuxième article présente une manière d’extraire de l’information à partir d’un contexte structuré (177 détecteurs d’objets à différentes positions et échelles). On montrera que l’utilisation de la structure des données combinée à un apprentissage non supervisé permet de réduire la dimensionnalité de 97% tout en améliorant les performances de reconnaissance de scènes de +5% à +11% selon l’ensemble de données. Dans le troisième travail, on s’intéresse à la structure apprise par les réseaux de neurones profonds utilisés dans les deux précédentes publications. Plusieurs hypothèses sont présentées et testées expérimentalement montrant que l’espace appris a de meilleures propriétés de mixage (facilitant l’exploration de différentes classes durant le processus d’échantillonnage). Pour la quatrième publication, on s’intéresse à résoudre un problème d’analyse syntaxique et sémantique avec des réseaux de neurones récurrents appris sur des fenêtres de contexte de mots. Dans notre cinquième travail, nous proposons une façon d’effectuer de la recherche d’image ”augmentée” en apprenant un espace sémantique joint où une recherche d’image contenant un objet retournerait aussi des images des parties de l’objet, par exemple une recherche retournant des images de ”voiture” retournerait aussi des images de ”pare-brises”, ”coffres”, ”roues” en plus des images initiales.

Architectures radiales hétéro-poly-métalliques pour la photosynthèse artificielle et le stockage de l'information

Par une approche supramoléculaire, des architectures radiales hétéro-poly-métalliques ont été réalisées pour des applications en photosynthèse artificielle et en magnétisme moléculaire. Dans une première partie, la synthèse et la caractérisation (spectroscopie UV-vis, émission, électrochimique, DRX) de complexes de ruthénium(II), possédant une gamme de ligands polypyridines, ont été réalisées. Les calculs théoriques ont été effectués afin de soutenir l’interprétation des propriétés photophysiques. Ces complexes, présentant un certain nombre de pyridines externes, ont servi de cœur à des architectures à base de rhénium tris-carbonyles (pour les effets d’antenne), et de cobaloximes (pour les propriétés catalytiques). Les nucléarités obtenues varient de 2 à 7 selon le cœur utilisé. Ces systèmes ont été engagés dans des cycles de photo-production de dihydrogène, démontrant une meilleure efficacité que la référence du domaine, le [Ru(bpy)3]2+. La seconde partie concerne l’étude de couples de métaux de transition, construits à partir de briques polycyanométallates, ou de lanthanides pontés par des ligands oxamides. Ces approches « complexes comme ligand » puis « assemblages comme ligand » permettent d’obtenir des systèmes de haute nucléarité, présentant des propriétés de molécule-aimant ou des effets magnéto-caloriques (à base de CrNi, GdCu, DyCu). Des propriétés photomagnétiques ont été observées sur les couples RuCu et MoCu, pouvant servir de commutateurs moléculaires dans des systèmes complexes. Enfin, une structure hétéro-tétra-métallique trifonctionnelle a été obtenue contenant à la fois un commutateur MoCu, une entité molécule-aimant CuTb et un complexe de ruthénium.