Understanding deep architectures and the effect of unsupervised pre-training

Cette thèse porte sur une classe d'algorithmes d'apprentissage appelés architectures profondes. Il existe des résultats qui indiquent que les représentations peu profondes et locales ne sont pas suffisantes pour la modélisation des fonctions comportant plusieurs facteurs de variation. Nous sommes particulièrement intéressés par ce genre de données car nous espérons qu'un agent intelligent sera en mesure d'apprendre à les modéliser automatiquement; l'hypothèse est que les architectures profondes sont mieux adaptées pour les modéliser. Les travaux de Hinton (2006) furent une véritable percée, car l'idée d'utiliser un algorithme d'apprentissage non-supervisé, les machines de Boltzmann restreintes, pour l'initialisation des poids d'un réseau de neurones supervisé a été cruciale pour entraîner l'architecture profonde la plus populaire, soit les réseaux de neurones artificiels avec des poids totalement connectés. Cette idée a été reprise et reproduite avec succès dans plusieurs contextes et avec une variété de modèles. Dans le cadre de cette thèse, nous considérons les architectures profondes comme des biais inductifs. Ces biais sont représentés non seulement par les modèles eux-mêmes, mais aussi par les méthodes d'entraînement qui sont souvent utilisés en conjonction avec ceux-ci. Nous désirons définir les raisons pour lesquelles cette classe de fonctions généralise bien, les situations auxquelles ces fonctions pourront être appliquées, ainsi que les descriptions qualitatives de telles fonctions. L'objectif de cette thèse est d'obtenir une meilleure compréhension du succès des architectures profondes. Dans le premier article, nous testons la concordance entre nos intuitions---que les réseaux profonds sont nécessaires pour mieux apprendre avec des données comportant plusieurs facteurs de variation---et les résultats empiriques. Le second article est une étude approfondie de la question: pourquoi l'apprentissage non-supervisé aide à mieux généraliser dans un réseau profond? Nous explorons et évaluons plusieurs hypothèses tentant d'élucider le fonctionnement de ces modèles. Finalement, le troisième article cherche à définir de façon qualitative les fonctions modélisées par un réseau profond. Ces visualisations facilitent l'interprétation des représentations et invariances modélisées par une architecture profonde.

MicroRNA-34 induces cardiomyocyte apoptosis and accounts for the anti-apoptotic effect of Tanshinone IIA in myocardial infarction

MicroARN (miARN) ont récemment émergé comme un acteur central du gène réseau de régulation impliqués dans la prise du destin cellulaire. L'apoptose, un actif processus, par lequel des cellules déclenchent leur auto-destruction en réponse à un signal, peut être contrôlé par les miARN. Il a également été impliqué dans une variété de maladies humaines, comme les maladies du cœur, et a été pensé comme une cible pour le traitement de la maladie. Tanshinone IIA (TIIA), un monomère de phenanthrenequinones utilisé pour traiter maladies cardiovasculaires, est connu pour exercer des effets cardioprotecteurs de l'infarctus du myocarde en ciblant l'apoptose par le renforcement de Bcl-2 expression. Pour explorer les liens potentiels entre le miARN et l'action anti-apoptotique de TIIA, nous étudié l'implication possible des miARN. Nous avons constaté que l'expression de tous les trois membres de la famille miR-34, miR-34a, miR-34b et miR-34c ont été fortement régulée à la hausse après l'exposition soit à la doxorubicine, un agent endommageant l'ADN ou de pro-oxydant H2O2 pendant 24 heures. Cette régulation à la hausse causé significativement la mort cellulaire par apoptose, comme déterminé par fragmentation de l'ADN, et les effets ont été renversés par les ARNs antisens de ces miARN. Le prétraitement des cellules avec TIIA avant l'incubation avec la doxorubicine ou H2O2 a empêché surexpression de miR-34 et a réduit des apoptose. Nous avons ensuite établi BCL2L2, API5 et TCL1, en plus de BCL2, comme les gènes nouveaux cibles pour miR-34. Nous avons également élucidé que la répression des ces gènes par MiR-34 explique l'effet proapoptotique dans les cardiomyocytes. Ce que la régulation positive de ces gènes par TIIA realisée par la répression de l'expression de miR-34 est probable le mécanisme moléculaire de son effet bénéfique contre ischémique lésions cardiaques.