Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.

Trajectoires décisionnelles de parents d’un enfant ayant une condition médicale complexe

Les progrès médicaux, technologiques et scientifiques réalisés au cours des dernières décennies permettent à de nombreux enfants de survivre à la prématurité, à la maladie ou à des traumatismes physiques. Certains survivent avec des problèmes de santé chroniques qui altèrent le fonctionnement de plusieurs organes. Certains doivent composer avec des incapacités physiques ou intellectuelles légères, modérées ou sévères et sont maintenus en situation de dépendance médico technologique dans un contexte où les services d’aide et le soutien à domicile ne répondent pas aux besoins réels des enfants et de leur famille. Ces avancées dans le champ de la santé offrent des choix auparavant inexistants : sauver ou non la vie de l’enfant? Ces nouvelles possibilités imposent aux parents des décisions parfois difficiles qui engagent des valeurs, des croyances et ont d’énormes conséquences pour les acteurs (l’enfant, ses parents, sa famille, les membres de l’équipe soignante et des professionnels), les institutions et toute la société. Ces choix renvoient à des visions des choses et du monde, à différentes conceptions de la vie et de la mort. En nous intéressant à la trajectoire décisionnelle de parents d’enfant atteint d’une condition médicale complexe, nous souhaitions comprendre la façon dont les parents prennent des décisions à propos de leur enfant. Nous voulions également saisir les motifs décisionnels et leur façon d’évoluer avec le temps. La pensée complexe d’Edgar Morin constitue l’assise théorique principale de la recherche. Nous avons réalisé des entretiens semi-dirigés auprès de 25 parents dont 15 mères et 10 pères. Parmi les principaux résultats, notons la multiplicité des types et des objets de décision, l’influence multisystémique des motifs décisionnels et la présence de processus qui se développent au fil de la trajectoire. Les résultats permettent de proposer quelques repères susceptibles d’améliorer l’accompagnement des parents exposés à des décisions complexes à propos de leur enfant gravement malade.

Les directives anticipées des personnes atteintes d’une démence de type Alzheimer : Comment faire pour bien faire?

Article