Apprentissage machine efficace : théorie et pratique

Malgré des progrès constants en termes de capacité de calcul, mémoire et quantité de données disponibles, les algorithmes d'apprentissage machine doivent se montrer efficaces dans l'utilisation de ces ressources. La minimisation des coûts est évidemment un facteur important, mais une autre motivation est la recherche de mécanismes d'apprentissage capables de reproduire le comportement d'êtres intelligents. Cette thèse aborde le problème de l'efficacité à travers plusieurs articles traitant d'algorithmes d'apprentissage variés : ce problème est vu non seulement du point de vue de l'efficacité computationnelle (temps de calcul et mémoire utilisés), mais aussi de celui de l'efficacité statistique (nombre d'exemples requis pour accomplir une tâche donnée). Une première contribution apportée par cette thèse est la mise en lumière d'inefficacités statistiques dans des algorithmes existants. Nous montrons ainsi que les arbres de décision généralisent mal pour certains types de tâches (chapitre 3), de même que les algorithmes classiques d'apprentissage semi-supervisé à base de graphe (chapitre 5), chacun étant affecté par une forme particulière de la malédiction de la dimensionalité. Pour une certaine classe de réseaux de neurones, appelés réseaux sommes-produits, nous montrons qu'il peut être exponentiellement moins efficace de représenter certaines fonctions par des réseaux à une seule couche cachée, comparé à des réseaux profonds (chapitre 4). Nos analyses permettent de mieux comprendre certains problèmes intrinsèques liés à ces algorithmes, et d'orienter la recherche dans des directions qui pourraient permettre de les résoudre. Nous identifions également des inefficacités computationnelles dans les algorithmes d'apprentissage semi-supervisé à base de graphe (chapitre 5), et dans l'apprentissage de mélanges de Gaussiennes en présence de valeurs manquantes (chapitre 6). Dans les deux cas, nous proposons de nouveaux algorithmes capables de traiter des ensembles de données significativement plus grands. Les deux derniers chapitres traitent de l'efficacité computationnelle sous un angle différent. Dans le chapitre 7, nous analysons de manière théorique un algorithme existant pour l'apprentissage efficace dans les machines de Boltzmann restreintes (la divergence contrastive), afin de mieux comprendre les raisons qui expliquent le succès de cet algorithme. Finalement, dans le chapitre 8 nous présentons une application de l'apprentissage machine dans le domaine des jeux vidéo, pour laquelle le problème de l'efficacité computationnelle est relié à des considérations d'ingénierie logicielle et matérielle, souvent ignorées en recherche mais ô combien importantes en pratique.

Activités inflammatoires des angiopoïétines sur les neutrophiles

L’angiogenèse, caractérisée par la formation de nouveaux vaisseaux sanguins à partir de vaisseaux préexistants, est un processus accompagné par l’inflammation, impliquant la synthèse et la relâche de différents facteurs de croissance par les cellules inflammatoires. Parmi ces facteurs, seuls le vascular endothelial growth factor (VEGF) et les angiopoïétines (Ang1 et Ang2) peuvent participer à la régulation de l’inflammation et de l’angiogenèse. La famille des angiopoïétines comporte quatre membres, desquels l’Ang1 et l’Ang2 ont été les plus étudiés. Ces deux médiateurs inflammatoires sont capables d’activer le récepteur Tie2, dont l’expression a initialement été rapportée sur les cellules endothéliales (CE). Notre laboratoire a été le premier à démontrer l’expression de Tie2 à la surface des neutrophiles, ainsi que sa capacité, suite à son activation par l’Ang1 ou l’Ang2, à induire la synthèse du facteur d’activation plaquettaire (PAF), l’activation de la β2-intégrine, la migration des neutrophiles ainsi que leur adhésion aux CE. D’autres études ont montré que les CE emmagasinent et relâchent le VEGF et l’Ang2, tandis que les péricytes et les cellules musculaires lisses contiennent l’Ang1. Puisque les neutrophiles relâchent le VEGF et que les deux angiopoïétines ont la capacité d’activer Tie2 sur ces derniers, nous avons voulu déterminer si les neutrophiles contiennent l’Ang1 et/ou l’Ang2 et si elles peuvent être relâchées suite à une stimulation avec des agonistes proinflammatoires. Nous avons découvert que l’Ang1, mais pas l’Ang2 est présente dans les neutrophiles, et qu’elle est relâchée suite à une stimulation au phorbol myristate acetate (PMA). De plus, nous avons démontré que l’Ang1 est localisée au niveau du cytosol et que sa relâche est calcium-indépendante, contrairement au VEGF, qui est localisé dans les granules β et sa relâche est calcium-dépendante. Cette étude démontre pour la première fois l’expression et la localisation de l’Ang1 dans les neutrophiles. Une récente étude effectuée dans notre laboratoire a démontré que les angiopoïétines induisent la migration des neutrophiles en activant le récepteur Tie2 et la voie de la PI3K. De plus, les angiopoïétines ont potentialisé la migration induite par l’IL-8. Ainsi, nous avons émis l’hypothèse que l’Ang1 et/ou l’Ang2 seraient capables d’induire la relâche et/ou la synthèse de l’IL-8 par les neutrophiles. Nous avons démontré pour la première fois, la capacité de l’Ang1 à induire l’expression de l’ARNm, ainsi que la synthèse et la relâche d’IL-8 par les neutrophiles. Cependant, un traitement avec l’Ang2 seule ou en combinaison avec l’Ang1 n’a eu aucun effet sur les activités mentionnées ci-dessus. Nous avons aussi observé que la synthèse et la relâche d’IL-8 induite par l’Ang1 requièrent la transcription de l’ADN en ARNm, suivie par la stabilisation de ce dernier, qui ultimement induit la traduction de l’ARNm de l’IL-8 en sa protéine. Finalement, nous avons démontré que la stimulation des neutrophiles avec l’Ang1 induit ces activités en activant la voie de la p42/44 MAPK, tout en étant indépendantes de la p38 MAPK et la PI3K/Akt. Ces résultats sont en lien direct avec une récente étude dans laquelle nous avons observé que l’Ang1, mais pas l’Ang2 est capable d’augmenter la survie des neutrophiles via la relâche d’IL-8.

Nouvelles limites sur la détection directe de la matière sombre avec l’expérience PICASSO

Les observations astronomiques et cosmologiques suggèrent fortement la présence d’une matière exotique, non-relativiste et non-baryonique qui représenterait 26% du contenu de masse-énergie de l’Univers actuel. Cette matière dite sombre et froide serait compo- sée de particules neutres, massives et interagissant faiblement avec la matière ordinaire (WIMP : Weakly Interactive Massive Particles). Le projet PICASSO (Projet d’Identification des CAndidats Supersymétriques de la matière SOmbre) est une des expériences installées dans le site souterrain de SNOLAB à Sudbury en Ontario, qui tente de détecter directement un des candidats de la matière sombre, proposé dans le cadre des extensions supersymétriques du modèle standard : le neutralino. Pour cela, PICASSO utilise des détecteurs à gouttelettes surchauffées de C4F10, basés sur le principe de la chambre à bulles. Les transitions de phase dans les liquides surchauffés peuvent être déclenchées par le recul du 19 F, causé par une collision élastique avec les neutralinos. La nucléation de la gouttelette génère une onde sonore enregistrée par des senseurs piézo-électriques. Cette thèse présentera les récents progrès de l’expérience PICASSO qui ont conduit à une augmentation substantielle de sa sensibilité dans la recherche du neutralino. En effet, de nouvelles procédures de fabrication et de purification ont permis de réduire à un facteur de 10, la contamination majeure des détecteurs, causée par les émetteurs alpha. L’étude de cette contamination dans les détecteurs a permis de localiser la source de ces émetteurs. Les efforts effectués dans le cadre de l’analyse des données, ont permis d’améliorer l’effet de discrimination entre des évènements engendrés par les particules alpha et par les reculs nucléaires. De nouveaux outils d’analyse ont également été implémentés dans le but de discriminer les évènements générés par des particules de ceux générés par des bruits de fond électroniques ou acoustiques. De plus, un mécanisme important de suppression de bruit de fond indésirable à haute température, a permis à l’expérience PICASSO d’être maintenant sensible aux WIMPs de faibles masses.

Estimation of State Space Models and Stochastic Volatility

Ma thèse est composée de trois chapitres reliés à l'estimation des modèles espace-état et volatilité stochastique. Dans le première article, nous développons une procédure de lissage de l'état, avec efficacité computationnelle, dans un modèle espace-état linéaire et gaussien. Nous montrons comment exploiter la structure particulière des modèles espace-état pour tirer les états latents efficacement. Nous analysons l'efficacité computationnelle des méthodes basées sur le filtre de Kalman, l'algorithme facteur de Cholesky et notre nouvelle méthode utilisant le compte d'opérations et d'expériences de calcul. Nous montrons que pour de nombreux cas importants, notre méthode est plus efficace. Les gains sont particulièrement grands pour les cas où la dimension des variables observées est grande ou dans les cas où il faut faire des tirages répétés des états pour les mêmes valeurs de paramètres. Comme application, on considère un modèle multivarié de Poisson avec le temps des intensités variables, lequel est utilisé pour analyser le compte de données des transactions sur les marchés financières. Dans le deuxième chapitre, nous proposons une nouvelle technique pour analyser des modèles multivariés à volatilité stochastique. La méthode proposée est basée sur le tirage efficace de la volatilité de son densité conditionnelle sachant les paramètres et les données. Notre méthodologie s'applique aux modèles avec plusieurs types de dépendance dans la coupe transversale. Nous pouvons modeler des matrices de corrélation conditionnelles variant dans le temps en incorporant des facteurs dans l'équation de rendements, où les facteurs sont des processus de volatilité stochastique indépendants. Nous pouvons incorporer des copules pour permettre la dépendance conditionnelle des rendements sachant la volatilité, permettant avoir différent lois marginaux de Student avec des degrés de liberté spécifiques pour capturer l'hétérogénéité des rendements. On tire la volatilité comme un bloc dans la dimension du temps et un à la fois dans la dimension de la coupe transversale. Nous appliquons la méthode introduite par McCausland (2012) pour obtenir une bonne approximation de la distribution conditionnelle à posteriori de la volatilité d'un rendement sachant les volatilités d'autres rendements, les paramètres et les corrélations dynamiques. Le modèle est évalué en utilisant des données réelles pour dix taux de change. Nous rapportons des résultats pour des modèles univariés de volatilité stochastique et deux modèles multivariés. Dans le troisième chapitre, nous évaluons l'information contribuée par des variations de volatilite réalisée à l'évaluation et prévision de la volatilité quand des prix sont mesurés avec et sans erreur. Nous utilisons de modèles de volatilité stochastique. Nous considérons le point de vue d'un investisseur pour qui la volatilité est une variable latent inconnu et la volatilité réalisée est une quantité d'échantillon qui contient des informations sur lui. Nous employons des méthodes bayésiennes de Monte Carlo par chaîne de Markov pour estimer les modèles, qui permettent la formulation, non seulement des densités a posteriori de la volatilité, mais aussi les densités prédictives de la volatilité future. Nous comparons les prévisions de volatilité et les taux de succès des prévisions qui emploient et n'emploient pas l'information contenue dans la volatilité réalisée. Cette approche se distingue de celles existantes dans la littérature empirique en ce sens que ces dernières se limitent le plus souvent à documenter la capacité de la volatilité réalisée à se prévoir à elle-même. Nous présentons des applications empiriques en utilisant les rendements journaliers des indices et de taux de change. Les différents modèles concurrents sont appliqués à la seconde moitié de 2008, une période marquante dans la récente crise financière.

Stress oxydatif, fonction mitochondriale et maladie inflammatoire de l'intestin

CONTEXTE: Bien que la dysfunction mitochondriale et le stress oxydant jouent des rôles prépondérants dans plusieurs conditions pathologiques, ils n’ont pas été étudiés de façon extensive au niveau du tube digestif qui est constamment exposé aux oxydants (provenant de l’alimentation) et à divers agents pathogènes. L’ingestion simultanée de sels ferreux et d’acide ascorbique peut causer le dommage des macromolécules par oxydation. Le ‘’Nuclear factor erythroid 2 related factor’’ (Nrf2) est un important facteur de transcription sensible au potentiel redox et qui protège contre le stress oxydant en induisant des gènes anti-oxydants et de detoxification par sa liaison à l’élément de réponse antioxydante (ARE). Les fonctions anti-oxydantes et anti-inflammatoires de Nrf2 ont été décrites dans une variété de types cellulaires et de tissus. Cependant son rôle est très peu connu au niveau du tube digestif. OBJECTIFS: Les objectifs sont d’évaluer comment la peroxydation lipidique médiée par le fer/ascorbate (FE/ASC) affecte les fonctions mitochondriales dans les cellules Caco-2/15, et de déterminer l’ampleur de l’implication de Nrf2. MÉTHODES: Le stress oxydant a été induit dans les cellules Caco2/15 en les traitant avec 0.2mm/2mm de FE/ASC. L’augmentation de l’expression de Nrf2 a été obtenue suite au prétraitement des cellules Caco2/15 avec 50 μM d’Olitpraz (OPZ), un puissant activateur. L’invalidation du gène de Nrf2 a été réalisée dans les cellules par transfection avec un vecteur lentiviral contenant un shRNA contre Nrf2. RÉSULTATS: Nos résultats montrent que le traitement des cellules Caco-2/15 avec du FE/ASC (0.2 mm/2 mm) augmente les niveaux du malondialdehyde (MDA), réduit la production d’ATP, entraîne une surcharge mitochondriale de calcium, active l’expression protéique du cytochrome C et de l’AIF (apoptotic inducing factor), réduit l’activité des complexes I, II, 2 III et IV de la chaîne respiratoire mitochondriale, augmente les niveaux de 8-OHdG, un marqueur des dommages à l’ADN mitochondrial, diminue la DNA glycosylase, et altère les expressions génique et protéique des facteurs de transcription mitochondriaux (mtTFA, mtTFB1, mtTFB2). De plus, nos observations montrent que l’induction et l’activation de Nrf2 dans les cellules Caco-2/15 résultent en: une augmentation des enzymes anti-oxydantes endogènes (catalase, glutathion peroxydase, et superoxyde dismutase), une réduction du facteur nucléaire NFκβ et de TNF-α, une augmentation de la production d’ ATP et de l’activité des complexes respiratoires (I, II, III, IV) et de PGC-1α, et une régulation des niveaux de la prohibitine mitochondriale, du Bcl-2 anti-apoptotique et de l’occludine. CONCLUSION: Dans l’ensemble, nos résultats montrent que l’exposition aigüe des cellules Caco-2/15 à la peroxydation par le FE/ASC entraîne des effets pathologiques sur les fonctions mitochondriales et l’intégrité de l’ADN, qui sont abolis par l’induction de Nrf2. Il en ressort que Nrf2 joue un rôle majeur dans la protection de l’épithélium intestinal contre le stress oxydant.