Apprentissage de représentations sur-complètes par entraînement d’auto-encodeurs

Les avancés dans le domaine de l’intelligence artificielle, permettent à des systèmes informatiques de résoudre des tâches de plus en plus complexes liées par exemple à la vision, à la compréhension de signaux sonores ou au traitement de la langue. Parmi les modèles existants, on retrouve les Réseaux de Neurones Artificiels (RNA), dont la popularité a fait un grand bond en avant avec la découverte de Hinton et al. [22], soit l’utilisation de Machines de Boltzmann Restreintes (RBM) pour un pré-entraînement non-supervisé couche après couche, facilitant grandement l’entraînement supervisé du réseau à plusieurs couches cachées (DBN), entraînement qui s’avérait jusqu’alors très difficile à réussir. Depuis cette découverte, des chercheurs ont étudié l’efficacité de nouvelles stratégies de pré-entraînement, telles que l’empilement d’auto-encodeurs traditionnels(SAE) [5, 38], et l’empilement d’auto-encodeur débruiteur (SDAE) [44]. C’est dans ce contexte qu’a débuté la présente étude. Après un bref passage en revue des notions de base du domaine de l’apprentissage machine et des méthodes de pré-entraînement employées jusqu’à présent avec les modules RBM, AE et DAE, nous avons approfondi notre compréhension du pré-entraînement de type SDAE, exploré ses différentes propriétés et étudié des variantes de SDAE comme stratégie d’initialisation d’architecture profonde. Nous avons ainsi pu, entre autres choses, mettre en lumière l’influence du niveau de bruit, du nombre de couches et du nombre d’unités cachées sur l’erreur de généralisation du SDAE. Nous avons constaté une amélioration de la performance sur la tâche supervisée avec l’utilisation des bruits poivre et sel (PS) et gaussien (GS), bruits s’avérant mieux justifiés que celui utilisé jusqu’à présent, soit le masque à zéro (MN). De plus, nous avons démontré que la performance profitait d’une emphase imposée sur la reconstruction des données corrompues durant l’entraînement des différents DAE. Nos travaux ont aussi permis de révéler que le DAE était en mesure d’apprendre, sur des images naturelles, des filtres semblables à ceux retrouvés dans les cellules V1 du cortex visuel, soit des filtres détecteurs de bordures. Nous aurons par ailleurs pu montrer que les représentations apprises du SDAE, composées des caractéristiques ainsi extraites, s’avéraient fort utiles à l’apprentissage d’une machine à vecteurs de support (SVM) linéaire ou à noyau gaussien, améliorant grandement sa performance de généralisation. Aussi, nous aurons observé que similairement au DBN, et contrairement au SAE, le SDAE possédait une bonne capacité en tant que modèle générateur. Nous avons également ouvert la porte à de nouvelles stratégies de pré-entraînement et découvert le potentiel de l’une d’entre elles, soit l’empilement d’auto-encodeurs rebruiteurs (SRAE).

Modélisation radiobiologique pour la planification des traitements en radiothérapie à partir de données d’imagerie spécifiques aux patients

Un modèle de croissance et de réponse à la radiothérapie pour le glioblastome multiforme (GBM) basé le formalisme du modèle de prolifération-invasion (PI) et du modèle linéaire-quadratique a été développé et implémenté. La géométrie spécifique au patient est considérée en modélisant, d'une part, les voies d'invasion possibles des GBM avec l'imagerie du tenseur de diffusion (DTI) et, d'autre part, les barrières à la propagation à partir des images anatomiques disponibles. La distribution de dose réelle reçue par un patient donné est appliquée telle quelle dans les simulations, en respectant l'horaire de traitement. Les paramètres libres du modèle (taux de prolifération, coefficient de diffusion, paramètres radiobiologiques) sont choisis aléatoirement à partir de distributions de valeurs plausibles. Un total de 400 ensembles de valeurs pour les paramètres libres sont ainsi choisis pour tous les patients, et une simulation de la croissance et de la réponse au traitement est effectuée pour chaque patient et chaque ensemble de paramètres. Un critère de récidive est appliqué sur les résultats de chaque simulation pour identifier un lieu probable de récidive (SPR). La superposition de tous les SPR obtenus pour un patient donné permet de définir la probabilité d'occurrence (OP). Il est démontré qu'il existe des valeurs de OP élevées pour tous les patients, impliquant que les résultats du modèle PI ne sont pas très sensibles aux valeurs des paramètres utilisés. Il est également démontré comment le formalisme développé dans cet ouvrage pourrait permettre de définir un volume cible personnalisé pour les traitements de radiothérapie du GBM.

Finite-Sample Diagnostics for Multivariate Regressions with Applications to Linear Asset Pricing Models

In this paper, we propose several finite-sample specification tests for multivariate linear regressions (MLR) with applications to asset pricing models. We focus on departures from the assumption of i.i.d. errors assumption, at univariate and multivariate levels, with Gaussian and non-Gaussian (including Student t) errors. The univariate tests studied extend existing exact procedures by allowing for unspecified parameters in the error distributions (e.g., the degrees of freedom in the case of the Student t distribution). The multivariate tests are based on properly standardized multivariate residuals to ensure invariance to MLR coefficients and error covariances. We consider tests for serial correlation, tests for multivariate GARCH and sign-type tests against general dependencies and asymmetries. The procedures proposed provide exact versions of those applied in Shanken (1990) which consist in combining univariate specification tests. Specifically, we combine tests across equations using the MC test procedure to avoid Bonferroni-type bounds. Since non-Gaussian based tests are not pivotal, we apply the “maximized MC” (MMC) test method [Dufour (2002)], where the MC p-value for the tested hypothesis (which depends on nuisance parameters) is maximized (with respect to these nuisance parameters) to control the test’s significance level. The tests proposed are applied to an asset pricing model with observable risk-free rates, using monthly returns on New York Stock Exchange (NYSE) portfolios over five-year subperiods from 1926-1995. Our empirical results reveal the following. Whereas univariate exact tests indicate significant serial correlation, asymmetries and GARCH in some equations, such effects are much less prevalent once error cross-equation covariances are accounted for. In addition, significant departures from the i.i.d. hypothesis are less evident once we allow for non-Gaussian errors.

Simulation-Based Finite-Sample Tests for Heteroskedasticity and ARCH Effects.

A wide range of tests for heteroskedasticity have been proposed in the econometric and statistics literature. Although a few exact homoskedasticity tests are available, the commonly employed procedures are quite generally based on asymptotic approximations which may not provide good size control in finite samples. There has been a number of recent studies that seek to improve the reliability of common heteroskedasticity tests using Edgeworth, Bartlett, jackknife and bootstrap methods. Yet the latter remain approximate. In this paper, we describe a solution to the problem of controlling the size of homoskedasticity tests in linear regression contexts. We study procedures based on the standard test statistics [e.g., the Goldfeld-Quandt, Glejser, Bartlett, Cochran, Hartley, Breusch-Pagan-Godfrey, White and Szroeter criteria] as well as tests for autoregressive conditional heteroskedasticity (ARCH-type models). We also suggest several extensions of the existing procedures (sup-type of combined test statistics) to allow for unknown breakpoints in the error variance. We exploit the technique of Monte Carlo tests to obtain provably exact p-values, for both the standard and the new tests suggested. We show that the MC test procedure conveniently solves the intractable null distribution problem, in particular those raised by the sup-type and combined test statistics as well as (when relevant) unidentified nuisance parameter problems under the null hypothesis. The method proposed works in exactly the same way with both Gaussian and non-Gaussian disturbance distributions [such as heavy-tailed or stable distributions]. The performance of the procedures is examined by simulation. The Monte Carlo experiments conducted focus on : (1) ARCH, GARCH, and ARCH-in-mean alternatives; (2) the case where the variance increases monotonically with : (i) one exogenous variable, and (ii) the mean of the dependent variable; (3) grouped heteroskedasticity; (4) breaks in variance at unknown points. We find that the proposed tests achieve perfect size control and have good power.

Testing Mean-Variance Efficiency in CAPM with Possibly Non-Gaussian Errors : An Exact Simulation-Based Approach

In this paper we propose exact likelihood-based mean-variance efficiency tests of the market portfolio in the context of Capital Asset Pricing Model (CAPM), allowing for a wide class of error distributions which include normality as a special case. These tests are developed in the frame-work of multivariate linear regressions (MLR). It is well known however that despite their simple statistical structure, standard asymptotically justified MLR-based tests are unreliable. In financial econometrics, exact tests have been proposed for a few specific hypotheses [Jobson and Korkie (Journal of Financial Economics, 1982), MacKinlay (Journal of Financial Economics, 1987), Gib-bons, Ross and Shanken (Econometrica, 1989), Zhou (Journal of Finance 1993)], most of which depend on normality. For the gaussian model, our tests correspond to Gibbons, Ross and Shanken’s mean-variance efficiency tests. In non-gaussian contexts, we reconsider mean-variance efficiency tests allowing for multivariate Student-t and gaussian mixture errors. Our framework allows to cast more evidence on whether the normality assumption is too restrictive when testing the CAPM. We also propose exact multivariate diagnostic checks (including tests for multivariate GARCH and mul-tivariate generalization of the well known variance ratio tests) and goodness of fit tests as well as a set estimate for the intervening nuisance parameters. Our results [over five-year subperiods] show the following: (i) multivariate normality is rejected in most subperiods, (ii) residual checks reveal no significant departures from the multivariate i.i.d. assumption, and (iii) mean-variance efficiency tests of the market portfolio is not rejected as frequently once it is allowed for the possibility of non-normal errors.

Probe-level linear model fitting and mixture modeling results in high accuracy detection of differential gene expression

Affiliation: Institut de recherche en immunologie et en cancérologie, Université de Montréal

Linear block copolymers of L–lactide and 2–dimethylaminoethyl methacrylate : synthesis and properties

Part of the research described in this thesis is conducted in collaboration with Centre d' étude et de Recherche sur les Macromolécules (CERM), Université de Liège, Sart-Tilman, Belgium

Subject response rates in case-control studies of cancer : time trends, study design determinants, and quality of reporting

Objectifs: Examiner les tendances temporelles, les déterminants en lien avec le design des études et la qualité des taux de réponse rapportés dans des études cas-témoins sur le cancer publiées lors des 30 dernières années. Méthodes: Une revue des études cas-témoins sur le cancer a été menée. Les critères d'inclusion étaient la publication (i) dans l’un de 15 grands périodiques ciblés et (ii) lors de quatre périodes de publication (1984-1986, 1995, 2005 et 2013) couvrant trois décennies. 370 études ont été sélectionnées et examinées. La méthodologie en lien avec le recrutement des sujets et la collecte de données, les caractéristiques de la population, les taux de participation et les raisons de la non-participation ont été extraites de ces études. Des statistiques descriptives ont été utilisées pour résumer la qualité des taux de réponse rapportés (en fonction de la quantité d’information disponible), les tendances temporelles et les déterminants des taux de réponse; des modèles de régression linéaire ont été utilisés pour analyser les tendances temporelles et les déterminants des taux de participation. Résultats: Dans l'ensemble, les qualités des taux de réponse rapportés et des raisons de non-participation étaient très faible, particulièrement chez les témoins. La participation a diminué au cours des 30 dernières années, et cette baisse est plus marquée dans les études menées après 2000. Lorsque l'on compare les taux de réponse dans les études récentes a ceux des études menées au cours de 1971 à 1980, il y a une plus grande baisse chez les témoins sélectionnés en population générale ( -17,04%, IC 95%: -23,17%, -10,91%) que chez les cas (-5,99%, IC 95%: -11,50%, -0,48%). Les déterminants statistiquement significatifs du taux de réponse chez les cas étaient: le type de cancer examiné, la localisation géographique de la population de l'étude, et le mode de collecte des données. Le seul déterminant statistiquement significatif du taux de réponse chez les témoins hospitaliers était leur localisation géographique. Le seul déterminant statistiquement significatif du taux de participation chez les témoins sélectionnés en population générale était le type de répondant (sujet uniquement ou accompagné d’une tierce personne). Conclusion: Le taux de participation dans les études cas-témoins sur le cancer semble avoir diminué au cours des 30 dernières années et cette baisse serait plus marquée dans les études récentes. Afin d'évaluer le niveau réel de non-participation et ses déterminants, ainsi que l'impact de la non-participation sur la validité des études, il est nécessaire que les études publiées utilisent une approche normalisée pour calculer leurs taux de participation et qu’elles rapportent ceux-ci de façon transparente.

Development of new scenario decomposition techniques for linear and nonlinear stochastic programming

Une approche classique pour traiter les problèmes d’optimisation avec incertitude à deux- et multi-étapes est d’utiliser l’analyse par scénario. Pour ce faire, l’incertitude de certaines données du problème est modélisée par vecteurs aléatoires avec des supports finis spécifiques aux étapes. Chacune de ces réalisations représente un scénario. En utilisant des scénarios, il est possible d’étudier des versions plus simples (sous-problèmes) du problème original. Comme technique de décomposition par scénario, l’algorithme de recouvrement progressif est une des méthodes les plus populaires pour résoudre les problèmes de programmation stochastique multi-étapes. Malgré la décomposition complète par scénario, l’efficacité de la méthode du recouvrement progressif est très sensible à certains aspects pratiques, tels que le choix du paramètre de pénalisation et la manipulation du terme quadratique dans la fonction objectif du lagrangien augmenté. Pour le choix du paramètre de pénalisation, nous examinons quelques-unes des méthodes populaires, et nous proposons une nouvelle stratégie adaptive qui vise à mieux suivre le processus de l’algorithme. Des expériences numériques sur des exemples de problèmes stochastiques linéaires multi-étapes suggèrent que la plupart des techniques existantes peuvent présenter une convergence prématurée à une solution sous-optimale ou converger vers la solution optimale, mais avec un taux très lent. En revanche, la nouvelle stratégie paraît robuste et efficace. Elle a convergé vers l’optimalité dans toutes nos expériences et a été la plus rapide dans la plupart des cas. Pour la question de la manipulation du terme quadratique, nous faisons une revue des techniques existantes et nous proposons l’idée de remplacer le terme quadratique par un terme linéaire. Bien que qu’il nous reste encore à tester notre méthode, nous avons l’intuition qu’elle réduira certaines difficultés numériques et théoriques de la méthode de recouvrement progressif.