Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Sampling Interval and estimated Betas : Implications for the Presence of Transitory Components in Stock Prices

We provide a theoretical framework to explain the empirical finding that the estimated betas are sensitive to the sampling interval even when using continuously compounded returns. We suppose that stock prices have both permanent and transitory components. The permanent component is a standard geometric Brownian motion while the transitory component is a stationary Ornstein-Uhlenbeck process. The discrete time representation of the beta depends on the sampling interval and two components labelled \"permanent and transitory betas\". We show that if no transitory component is present in stock prices, then no sampling interval effect occurs. However, the presence of a transitory component implies that the beta is an increasing (decreasing) function of the sampling interval for more (less) risky assets. In our framework, assets are labelled risky if their \"permanent beta\" is greater than their \"transitory beta\" and vice versa for less risky assets. Simulations show that our theoretical results provide good approximations for the means and standard deviations of estimated betas in small samples. Our results can be perceived as indirect evidence for the presence of a transitory component in stock prices, as proposed by Fama and French (1988) and Poterba and Summers (1988).

Perceptions et attentes d’enseignants du primaire et de parents d’élèves à risque à l’égard de la collaboration école-famille dans l’élaboration des plans d’intervention

Dans le contexte actuel de l’éducation, l’enfant est davantage placé au cœur des relations entre la famille, l’école et la communauté, et les parents sont invités à accompagner leur enfant tout au long de son parcours scolaire. Quant aux enseignants, ils sont conviés à collaborer de façon systématique avec les familles. La collaboration entre les enseignants et les parents devient donc une condition essentielle à la réussite scolaire des élèves, notamment avec ceux qui éprouvent des difficultés d’apprentissage. Actuellement, dans nos écoles, la collaboration se situe principalement au niveau des communications obligatoires de base prescrites par le Régime pédagogique. En ce sens, Kalubi et Lesieux (2006) soulignent que le partenariat tant souhaité dans les documents officiels des ministères concernés ne transparaît pas toujours dans les pratiques quotidiennes. D’ailleurs, la littérature scientifique montre qu’il existe de nombreux obstacles liés à la collaboration école-famille-communauté, tout particulièrement lorsqu’il s’agit d’entretenir des relations harmonieuses avec les parents d’élèves à risque. À cet égard, une plus grande participation parentale est sollicitée en vue d’intensifier la collaboration entre l’école et la famille. Effectivement, les enseignants désirent que les parents s’impliquent davantage auprès de leur enfant dans les travaux et les devoirs à la maison et, du côté des parents, ils se demandent souvent comment agir pour aider encore mieux leurs enfants dans leur apprentissage (Gouvernement du Québec, 2000). Le plan d’intervention est un outil reconnu par les milieux scolaires pour aider l’élève à risque dans son cheminement scolaire puisqu’il sollicite la participation des parents et encourage la collaboration école-famille-communauté. De fait, il s’inscrit dans une démarche dynamique et prend appui sur une vision systémique de la situation de l’élève, ce qui permet de mieux identifier les besoins de l’élève à risque et d’y répondre adéquatement (Gouvernement du Québec, 2004). En prolongement à ce que l’on connaît déjà sur la participation parentale et la collaboration école-famille-communauté, nous orientons cette recherche sur les perceptions et les attentes d’enseignants au primaire en classe ordinaire et de parents d’élèves à risque à l’égard de la participation parentale et de la collaboration école-famille dans le cadre de l’élaboration et du suivi du plan d’intervention. Cette étude emprunte une approche de recherche qualitative de type exploratoire et elle est menée auprès de huit enseignants au primaire et de sept parents d’élèves à risque. Les participants ont délibérément été choisis pour leur représentativité par rapport à l’objet d’étude (Mongeau, 2009). Une procédure d’échantillonnage par volontariat a été appliquée et les données ont été recueillies par le biais d’entrevues semi-dirigées. L’analyse des entrevues révèle que les parents participent au plan d’intervention parce qu’ils veulent soutenir et aider leur enfant dans leur cheminement scolaire. Il existe cependant de multiples façons pour les parents de participer à la réussite scolaire de leur enfant, celles-ci variant particulièrement selon leurs intérêts, leurs compétences et leurs disponibilités. En ce qui concerne les enseignants, les entrevues nous dévoilent qu’ils ont globalement des perceptions positives à l’égard des parents, ce qui favorise grandement l’établissement de relations harmonieuses. Par contre, ils s’attendent à une plus grande participation parentale dans le suivi scolaire de l’enfant à la maison. Tant d’un côté que de l’autre, les résultats indiquent qu’il faut favoriser davantage la participation des parents à l’élaboration et au suivi du plan d’intervention de l’élève à risque. Idéalement, les enseignants et les parents devraient s’enrichir mutuellement de leurs ressources et de leurs expertises complémentaires en créant des relations collaboratives plutôt que hiérarchiques. Ce niveau de collaboration est sans aucun doute celui qui favoriserait avantageusement la réussite scolaire des élèves à risque.

Ressources résidentielles pour adultes avec un trouble mental : développement d'un modèle et d'un instrument de mesure

Ce projet de recherche revisite la conceptualisation du logement et des ressources résidentielles pour les adultes avec un trouble mental. Les objectifs visent : (1) à identifier les attributs, dimensions et domaines ; (2) à développer un nouveau modèle ; (3) à concevoir un instrument de mesure pour décrire l’éventail des ressources résidentielles en santé mentale. Méthodologie : Phase 1: Le devis de recherche s’articule autour de la cartographie de concepts, caractérisée par une méthodologie mixte. L’échantillonnage, par choix raisonné, a permis de recueillir une pluralité de perceptions et d’expériences (p.ex. personnes utilisatrices de services, proches, responsables de ressources résidentielles, gestionnaires). Les participants proviennent de cinq régions du Québec (nombre total de participations = 722). Au cours des six étapes de la cartographie de concepts, les participants ont généré des attributs décrivant le logement (n = 221), leur ont accordé une cote numérique (n = 416) et les ont regroupés en catégories (n = 73). Douze participants ont interprété des cartes conceptuelles produites par des analyses multivariées, soit l’échelonnage multidimensionnel (MDS) et la typologie hiérarchique. Des analyses par composantes principales (PCAs) ont été utilisées pour raffiner la conceptualisation (n = 228). Phase II: L’instrument a été développé, utilisé et ajusté à la suite de deux groupes de discussions (n = 23) et d’une étude transversale auprès de ressources résidentielles (n = 258). La passation se fait via une entrevue téléphonique semi-structurée enregistrée, d’une durée moyenne de 130 minutes. Résultats : Les participants ont généré 1382 idées (99.5% de saturation). Les cartes conceptuelles issues de la cartographie de concepts comprennent 140 idées (attributs du logement), 12 dimensions et cinq domaines (indice de stress MDS = 0.2302, 10 itérations). Les analyses PCAs ont permis de retenir quatre domaines, 11 composantes (α = 0.600 à 0.933) et 81 attributs. Les domaines sont : (1) environnement géophysique; (2) atmosphère et fonctionnement du milieu; (3) soutien et interventions offerts; (4) pratiques organisationnelles et managériales. L’instrument développé comprend quatre domaines, 10 dimensions et 83 attributs. À cela s’ajoutent des variables descriptives. L’instrument résulte des Phases I et II de ce projet. Conclusion : L’instrument a été développé en collaboration avec diverses parties prenantes, à partir de considérations ontologiques, réalistes, causales et statistiques. Il dresse le profil détaillé d’une ressource résidentielle sous ses différentes facettes et s’appuie sur la prémisse qu’il n’existe pas de milieu résidentiel idéal pour tous.

Limited sampling strategies for estimation of cyclosporine exposure in pediatric hematopoietic stem cell transplant recipients : methodological improvement and introduction of sampling time deviation analysis.

Le suivi thérapeutique est recommandé pour l’ajustement de la dose des agents immunosuppresseurs. La pertinence de l’utilisation de la surface sous la courbe (SSC) comme biomarqueur dans l’exercice du suivi thérapeutique de la cyclosporine (CsA) dans la transplantation des cellules souches hématopoïétiques est soutenue par un nombre croissant d’études. Cependant, pour des raisons intrinsèques à la méthode de calcul de la SSC, son utilisation en milieu clinique n’est pas pratique. Les stratégies d’échantillonnage limitées, basées sur des approches de régression (R-LSS) ou des approches Bayésiennes (B-LSS), représentent des alternatives pratiques pour une estimation satisfaisante de la SSC. Cependant, pour une application efficace de ces méthodologies, leur conception doit accommoder la réalité clinique, notamment en requérant un nombre minimal de concentrations échelonnées sur une courte durée d’échantillonnage. De plus, une attention particulière devrait être accordée à assurer leur développement et validation adéquates. Il est aussi important de mentionner que l’irrégularité dans le temps de la collecte des échantillons sanguins peut avoir un impact non-négligeable sur la performance prédictive des R-LSS. Or, à ce jour, cet impact n’a fait l’objet d’aucune étude. Cette thèse de doctorat se penche sur ces problématiques afin de permettre une estimation précise et pratique de la SSC. Ces études ont été effectuées dans le cadre de l’utilisation de la CsA chez des patients pédiatriques ayant subi une greffe de cellules souches hématopoïétiques. D’abord, des approches de régression multiple ainsi que d’analyse pharmacocinétique de population (Pop-PK) ont été utilisées de façon constructive afin de développer et de valider adéquatement des LSS. Ensuite, plusieurs modèles Pop-PK ont été évalués, tout en gardant à l’esprit leur utilisation prévue dans le contexte de l’estimation de la SSC. Aussi, la performance des B-LSS ciblant différentes versions de SSC a également été étudiée. Enfin, l’impact des écarts entre les temps d’échantillonnage sanguins réels et les temps nominaux planifiés, sur la performance de prédiction des R-LSS a été quantifié en utilisant une approche de simulation qui considère des scénarios diversifiés et réalistes représentant des erreurs potentielles dans la cédule des échantillons sanguins. Ainsi, cette étude a d’abord conduit au développement de R-LSS et B-LSS ayant une performance clinique satisfaisante, et qui sont pratiques puisqu’elles impliquent 4 points d’échantillonnage ou moins obtenus dans les 4 heures post-dose. Une fois l’analyse Pop-PK effectuée, un modèle structural à deux compartiments avec un temps de délai a été retenu. Cependant, le modèle final - notamment avec covariables - n’a pas amélioré la performance des B-LSS comparativement aux modèles structuraux (sans covariables). En outre, nous avons démontré que les B-LSS exhibent une meilleure performance pour la SSC dérivée des concentrations simulées qui excluent les erreurs résiduelles, que nous avons nommée « underlying AUC », comparée à la SSC observée qui est directement calculée à partir des concentrations mesurées. Enfin, nos résultats ont prouvé que l’irrégularité des temps de la collecte des échantillons sanguins a un impact important sur la performance prédictive des R-LSS; cet impact est en fonction du nombre des échantillons requis, mais encore davantage en fonction de la durée du processus d’échantillonnage impliqué. Nous avons aussi mis en évidence que les erreurs d’échantillonnage commises aux moments où la concentration change rapidement sont celles qui affectent le plus le pouvoir prédictif des R-LSS. Plus intéressant, nous avons mis en exergue que même si différentes R-LSS peuvent avoir des performances similaires lorsque basées sur des temps nominaux, leurs tolérances aux erreurs des temps d’échantillonnage peuvent largement différer. En fait, une considération adéquate de l'impact de ces erreurs peut conduire à une sélection et une utilisation plus fiables des R-LSS. Par une investigation approfondie de différents aspects sous-jacents aux stratégies d’échantillonnages limités, cette thèse a pu fournir des améliorations méthodologiques notables, et proposer de nouvelles voies pour assurer leur utilisation de façon fiable et informée, tout en favorisant leur adéquation à la pratique clinique.

Whither RDS? An investigation of respondent driven sampling as a method of recruiting mainstream marijuana users.

Background: An important challenge in conducting social research of specific relevance to harm reduction programs is locating hidden populations of consumers of substances like cannabis who typically report few adverse or unwanted consequences of their use. Much of the deviant, pathologized perception of drug users is historically derived from, and empirically supported, by a research emphasis on gaining ready access to users in drug treatment or in prison populations with higher incidence of problems of dependence and misuse. Because they are less visible, responsible recreational users of illicit drugs have been more difficult to study. Methods: This article investigates Respondent Driven Sampling (RDS) as a method of recruiting experienced marijuana users representative of users in the general population. Based on sampling conducted in a multi-city study (Halifax, Montreal, Toronto, and Vancouver), and compared to samples gathered using other research methods, we assess the strengths and weaknesses of RDS recruitment as a means of gaining access to illicit substance users who experience few harmful consequences of their use. Demographic characteristics of the sample in Toronto are compared with those of users in a recent household survey and a pilot study of Toronto where the latter utilized nonrandom self-selection of respondents. Results: A modified approach to RDS was necessary to attain the target sample size in all four cities (i.e., 40 'users' from each site). The final sample in Toronto was largely similar, however, to marijuana users in a random household survey that was carried out in the same city. Whereas well-educated, married, whites and females in the survey were all somewhat overrepresented, the two samples, overall, were more alike than different with respect to economic status and employment. Furthermore, comparison with a self-selected sample suggests that (even modified) RDS recruitment is a cost-effective way of gathering respondents who are more representative of users in the general population than nonrandom methods of recruitment ordinarily produce. Conclusions: Research on marijuana use, and other forms of drug use hidden in the general population of adults, is important for informing and extending harm reduction beyond its current emphasis on 'at-risk' populations. Expanding harm reduction in a normalizing context, through innovative research on users often overlooked, further challenges assumptions about reducing harm through prohibition of drug use and urges consideration of alternative policies such as decriminalization and legal regulation.

Theory and numerical integration of subsurface light transport

En synthèse d’images, reproduire les effets complexes de la lumière sur des matériaux transluminescents, tels que la cire, le marbre ou la peau, contribue grandement au réalisme d’une image. Malheureusement, ce réalisme supplémentaire est couteux en temps de calcul. Les modèles basés sur la théorie de la diffusion visent à réduire ce coût en simulant le comportement physique du transport de la lumière sous surfacique tout en imposant des contraintes de variation sur la lumière incidente et sortante. Une composante importante de ces modèles est leur application à évaluer hiérarchiquement l’intégrale numérique de l’illumination sur la surface d’un objet. Cette thèse révise en premier lieu la littérature actuelle sur la simulation réaliste de la transluminescence, avant d’investiguer plus en profondeur leur application et les extensions des modèles de diffusion en synthèse d’images. Ainsi, nous proposons et évaluons une nouvelle technique d’intégration numérique hiérarchique utilisant une nouvelle analyse fréquentielle de la lumière sortante et incidente pour adapter efficacement le taux d’échantillonnage pendant l’intégration. Nous appliquons cette théorie à plusieurs modèles qui correspondent à l’état de l’art en diffusion, octroyant une amélioration possible à leur efficacité et précision.