Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Capital Income Taxation, Depletion, Allowances and Non-Renewable Resource Extraction

Dans Cet Article, Nous Etudions les Distorsions Que Cause L'impot Sur le Revenu des Societes Dans le Profil de Production des Firmes Extractives et Dans L'allocation des Ressources Entre les Secteurs D'extraction et les Autres Secteurs Soumis a L'impot Sur les Societes. Nous Etudions En Particulier L'allocation D'epuisement, Dont Nous Montrons Qu'elle Peut Trouver Sa Justification, Non Pas a Assurer la Neutralite de L'impot, Mais En Permettant L'etablissement de Taux Effectifs D'imposition Identiques Dans les Secteurs D'extraction et Dans les Autres Secteurs.

Non-negative matrix decomposition approaches to frequency domain analysis of music audio signals

On étudie l’application des algorithmes de décomposition matricielles tel que la Factorisation Matricielle Non-négative (FMN), aux représentations fréquentielles de signaux audio musicaux. Ces algorithmes, dirigés par une fonction d’erreur de reconstruction, apprennent un ensemble de fonctions de base et un ensemble de coef- ficients correspondants qui approximent le signal d’entrée. On compare l’utilisation de trois fonctions d’erreur de reconstruction quand la FMN est appliquée à des gammes monophoniques et harmonisées: moindre carré, divergence Kullback-Leibler, et une mesure de divergence dépendente de la phase, introduite récemment. Des nouvelles méthodes pour interpréter les décompositions résultantes sont présentées et sont comparées aux méthodes utilisées précédemment qui nécessitent des connaissances du domaine acoustique. Finalement, on analyse la capacité de généralisation des fonctions de bases apprises par rapport à trois paramètres musicaux: l’amplitude, la durée et le type d’instrument. Pour ce faire, on introduit deux algorithmes d’étiquetage des fonctions de bases qui performent mieux que l’approche précédente dans la majorité de nos tests, la tâche d’instrument avec audio monophonique étant la seule exception importante.

Partager le savoir du lexicographe: extraction et modélisation ontologique des savoirs lexicographiques

Cette recherche porte sur la lexicologie, la lexicographie et l’enseignement/apprentissage du lexique. Elle s’inscrit dans le cadre du projet Modélisation ontologique des savoirs lexicographiques en vue de leur application en linguistique appliquée, surnommé Lexitation, qui est, à notre connaissance, la première tentative d’extraction des savoirs lexicographiques — i.e. connaissances déclaratives et procédurales utilisées par des lexicographes — utilisant une méthode expérimentale. Le projet repose sur le constat que les savoirs lexicographiques ont un rôle crucial à jouer en lexicologie, mais aussi en enseignement/apprentissage du lexique. Dans ce mémoire, nous décrirons les méthodes et les résultats de nos premières expérimentations, effectuées à l’aide du Think Aloud Protocol (Ericsson et Simon, 1993). Nous expliquerons l’organisation générale des expérimentations et comment les savoirs lexicographiques extraits sont modélisés pour former une ontologie. Finalement, nous discuterons des applications possibles de nos travaux en enseignement du lexique, plus particulièrement pour la formation des maîtres.

Extraction, purification et caractérisation d’isoformes d’hexokinase du tubercule de pomme de terre (Solanum tuberosum)

L’hexokinase (HK) est la première enzyme du métabolisme des hexoses et catalyse la réaction qui permet aux hexoses d’entrer dans le pool des hexoses phosphates et donc par le fait même la glycolyse. Bien que le glucose soit son principal substrat, cette enzyme peut aussi phosphoryler le mannose et le fructose. Malgré son importance dans le métabolisme primaire, l’HK n’a jamais été purifiée à homogénéité sous forme native. Le but de ce travail était donc de purifier une isoforme d’HK à partir de tubercule de Solanum tuberosum et par la suite de caractériser ses propriétés cinétiques. Bien avant que je commence mon travail, un groupe de recherche avait déjà séparé et partiellement purifié trois isoformes d’HK de S. tuberosum. Un protocole d’extraction était donc disponible, mais l’HK ainsi extraite était peu stable d’où le besoin d’y apporter certaines modifications. En y ajoutant certains inhibiteurs de protéases ainsi qu’en modifiant les concentrations de certains éléments, le tampon d’extraction ainsi modifié a permis d’obtenir un extrait dont l’activité HK était stable pendant au moins 72h après l’extraction, en empêchant la dégradation. À l’aide du tampon d’extraction optimisé et d’une chromatographie sur colonne de butyl sépharose, il a été possible de séparer 4 isoformes d’HKs. Par la suite, une isoforme d’HK (HK1) a été purifiée à l’homogénéité à l’aide de 5 étapes de chromatographie supplémentaires. En plus de caractériser les propriétés cinétiques de cette enzyme, l’analyse de séquençage par MS/MS a permis de l’associer au produit du gène StHK1 de Solanum tuberosum. Avec une activité spécifique de 10.2 U/mg de protéine, il s’agit de l’HK purifiée avec l’activité spécifique la plus élevée jamais rapportée d’un tissu végétal.L’ensemble des informations recueillies lors de la purification de HK1 a ensuite été utilisée pour commencer la purification d’une deuxième isoforme (HK3). Ce travail a permis de donner des lignes directrices pour la purification de cette isoforme et certains résultats préliminaires sur sa caractérisation enzymatique.

Mesure du rapport d'embranchement des désintégrations B^0--> pi^- l^+v et B^+--> êta^(') l^+v, du spectre des facteurs de forme des désintégrations B^0--> pi^- l^+v et B^+--> êta l^+v, et extraction de |V_ub| dans l'expérience BABAR

Nous rapportons les résultats d'une étude des désintégrations semileptoniques non-charmées B^+--> êta^(') l^+v et B^0--> pi^- l^+v, mesurés par le détecteur BABAR avec une production d'environ 464 millions de paires de mésons BBbar issues des collisions e^+e^- à la résonance Upsilon(4S). L'analyse reconstruit les événements avec une technique relâchée des neutrinos. Nous obtenons les rapports d'embranchement partiels pour les désintégrations B^+--> êta l^+v et B^0--> pi^- l^+v en trois et douze intervalles de q^2, respectivement, à partir desquels nous extrayons les facteurs de forme f_+(q^2) et les rapports d'embranchement totaux B(B^+--> êta l^+v) = (3.39 +/- 0.46_stat +/- 0.47_syst) x 10^-5 et B(B^0--> pi^- l^+v) = (1.42 +/- 0.05_stat +/- 0.08_syst) x 10^-4. Nous mesurons aussi B(B^+--> êta' l^+v) = (2.43 +/- 0.80_stat +/- 0.34_syst) x 10^-5. Nous obtenons les valeurs de la norme de l'élément |V_ub| de la matrice CKM en utilisant trois calculs différents de la CDQ.

Étude du mécanisme de protection des spermatozoïdes de mammifères par le lait

Le lait écrémé est utilisé depuis plus d’un demi-siècle comme diluant protecteur des spermatozoïdes de mammifères. Depuis quelques années, il existe une demande grandissante pour des diluants exempts de produits d’origine animale. Toutefois, le mécanisme par lequel le lait protège les spermatozoïdes n’est pas connu, ce qui rend difficile de lui trouver un substitut. Les protéines majeures du plasma séminal de taureau, les protéines « Binder of SPerm » (BSP), sont néfastes lors de la conservation de la semence. Les spermatozoïdes sont en contact avec une grande concentration de protéines BSP qui stimulent une extraction continuelle de cholestérol/phospholipides de leur membrane plasmique. Les lipoprotéines de faible densité (LDL) du jaune d’oeuf, un autre composé utilisé dans les diluants, empêcheraient les protéines BSP de se lier à la membrane des spermatozoïdes de taureaux et de stimuler un efflux des lipides membranaires, ce qui les protégerait durant la conservation. Notre hypothèse était que les protéines du lait protègent les spermatozoïdes durant la conservation en séquestrant les protéines BSP. Premièrement, nous avons démontré par filtration sur gel qu’il y a une interaction entre les protéines BSP bovines et les protéines du lait. Le lait écrémé a été fractionné en trois fractions : F1 (alpha-lactalbumine, bêta-lactoglobuline et caséine kappa), F2 (toutes les protéines du lait) et F3 (sels, sucres et petits peptides). Les protéines BSP1 et BSP5 ont une affinité plus grande pour F1 que BSP3, tandis que toutes les protéines BSP ont une affinité pour F2. Le titrage calorimétrique isotherme a permis de confirmer l’interaction entre les protéines BSP et les protéines du lait. L’association entre la protéine BSP1 bovine et les micelles de caséines est caractérisée par une constante d’affinité (Ka) de 3.5 × 10^5 M-1 et un paramètre stoichiométrique (n) de 4,5 BSP1 pour une caséine. L’association entre la protéine BSP1 bovine et l’alpha-lactalbumine (une protéine du sérum principale), est caractérisée par un Ka de 2.4 × 10^5 M-1 et une valeur “n” de 0,8. Ces résultats indiquent que le lait protège les spermatozoïdes bovins en séquestrant les protéines BSP grâce à une interaction protéine : protéine, tandis que le jaune d’oeuf les protège grâce à une interaction protéine : lipoprotéine. Deuxièmement, nous avons démontré par filtration sur gel que les protéines homologues aux BSP bovines retrouvées dans le plasma séminal de porc, d’étalon et de bélier ont une affinité avec les protéines du lait, ce qui suggère que le mécanisme de protection des spermatozoïdes par le lait pourrait être le même chez ces espèces. Troisièmement, nous avons caractérisé l’interaction entre BSP1 bovine et les LDL du jaune d’oeuf qui a un Ka de 3.4 ± 0.4 × 10^6 M-1 et une valeur de « n » de 104 BSP1 pour une particule de LDL, indiquant qu’il existe des différences entre le mécanisme de protection des spermatozoïdes par le lait et le jaune d’oeuf. Nous croyons que les résultats présentés dans cette thèse aideront à créer de nouveaux diluants ne contenant pas de produits d’origine animale afin de cryoconserver les spermatozoïdes des mammifères.

Factor models, VARMA processes and parameter instability with applications in macroeconomics

Avec les avancements de la technologie de l'information, les données temporelles économiques et financières sont de plus en plus disponibles. Par contre, si les techniques standard de l'analyse des séries temporelles sont utilisées, une grande quantité d'information est accompagnée du problème de dimensionnalité. Puisque la majorité des séries d'intérêt sont hautement corrélées, leur dimension peut être réduite en utilisant l'analyse factorielle. Cette technique est de plus en plus populaire en sciences économiques depuis les années 90. Étant donnée la disponibilité des données et des avancements computationnels, plusieurs nouvelles questions se posent. Quels sont les effets et la transmission des chocs structurels dans un environnement riche en données? Est-ce que l'information contenue dans un grand ensemble d'indicateurs économiques peut aider à mieux identifier les chocs de politique monétaire, à l'égard des problèmes rencontrés dans les applications utilisant des modèles standards? Peut-on identifier les chocs financiers et mesurer leurs effets sur l'économie réelle? Peut-on améliorer la méthode factorielle existante et y incorporer une autre technique de réduction de dimension comme l'analyse VARMA? Est-ce que cela produit de meilleures prévisions des grands agrégats macroéconomiques et aide au niveau de l'analyse par fonctions de réponse impulsionnelles? Finalement, est-ce qu'on peut appliquer l'analyse factorielle au niveau des paramètres aléatoires? Par exemple, est-ce qu'il existe seulement un petit nombre de sources de l'instabilité temporelle des coefficients dans les modèles macroéconomiques empiriques? Ma thèse, en utilisant l'analyse factorielle structurelle et la modélisation VARMA, répond à ces questions à travers cinq articles. Les deux premiers chapitres étudient les effets des chocs monétaire et financier dans un environnement riche en données. Le troisième article propose une nouvelle méthode en combinant les modèles à facteurs et VARMA. Cette approche est appliquée dans le quatrième article pour mesurer les effets des chocs de crédit au Canada. La contribution du dernier chapitre est d'imposer la structure à facteurs sur les paramètres variant dans le temps et de montrer qu'il existe un petit nombre de sources de cette instabilité. Le premier article analyse la transmission de la politique monétaire au Canada en utilisant le modèle vectoriel autorégressif augmenté par facteurs (FAVAR). Les études antérieures basées sur les modèles VAR ont trouvé plusieurs anomalies empiriques suite à un choc de la politique monétaire. Nous estimons le modèle FAVAR en utilisant un grand nombre de séries macroéconomiques mensuelles et trimestrielles. Nous trouvons que l'information contenue dans les facteurs est importante pour bien identifier la transmission de la politique monétaire et elle aide à corriger les anomalies empiriques standards. Finalement, le cadre d'analyse FAVAR permet d'obtenir les fonctions de réponse impulsionnelles pour tous les indicateurs dans l'ensemble de données, produisant ainsi l'analyse la plus complète à ce jour des effets de la politique monétaire au Canada. Motivée par la dernière crise économique, la recherche sur le rôle du secteur financier a repris de l'importance. Dans le deuxième article nous examinons les effets et la propagation des chocs de crédit sur l'économie réelle en utilisant un grand ensemble d'indicateurs économiques et financiers dans le cadre d'un modèle à facteurs structurel. Nous trouvons qu'un choc de crédit augmente immédiatement les diffusions de crédit (credit spreads), diminue la valeur des bons de Trésor et cause une récession. Ces chocs ont un effet important sur des mesures d'activité réelle, indices de prix, indicateurs avancés et financiers. Contrairement aux autres études, notre procédure d'identification du choc structurel ne requiert pas de restrictions temporelles entre facteurs financiers et macroéconomiques. De plus, elle donne une interprétation des facteurs sans restreindre l'estimation de ceux-ci. Dans le troisième article nous étudions la relation entre les représentations VARMA et factorielle des processus vectoriels stochastiques, et proposons une nouvelle classe de modèles VARMA augmentés par facteurs (FAVARMA). Notre point de départ est de constater qu'en général les séries multivariées et facteurs associés ne peuvent simultanément suivre un processus VAR d'ordre fini. Nous montrons que le processus dynamique des facteurs, extraits comme combinaison linéaire des variables observées, est en général un VARMA et non pas un VAR comme c'est supposé ailleurs dans la littérature. Deuxièmement, nous montrons que même si les facteurs suivent un VAR d'ordre fini, cela implique une représentation VARMA pour les séries observées. Alors, nous proposons le cadre d'analyse FAVARMA combinant ces deux méthodes de réduction du nombre de paramètres. Le modèle est appliqué dans deux exercices de prévision en utilisant des données américaines et canadiennes de Boivin, Giannoni et Stevanovic (2010, 2009) respectivement. Les résultats montrent que la partie VARMA aide à mieux prévoir les importants agrégats macroéconomiques relativement aux modèles standards. Finalement, nous estimons les effets de choc monétaire en utilisant les données et le schéma d'identification de Bernanke, Boivin et Eliasz (2005). Notre modèle FAVARMA(2,1) avec six facteurs donne les résultats cohérents et précis des effets et de la transmission monétaire aux États-Unis. Contrairement au modèle FAVAR employé dans l'étude ultérieure où 510 coefficients VAR devaient être estimés, nous produisons les résultats semblables avec seulement 84 paramètres du processus dynamique des facteurs. L'objectif du quatrième article est d'identifier et mesurer les effets des chocs de crédit au Canada dans un environnement riche en données et en utilisant le modèle FAVARMA structurel. Dans le cadre théorique de l'accélérateur financier développé par Bernanke, Gertler et Gilchrist (1999), nous approximons la prime de financement extérieur par les credit spreads. D'un côté, nous trouvons qu'une augmentation non-anticipée de la prime de financement extérieur aux États-Unis génère une récession significative et persistante au Canada, accompagnée d'une hausse immédiate des credit spreads et taux d'intérêt canadiens. La composante commune semble capturer les dimensions importantes des fluctuations cycliques de l'économie canadienne. L'analyse par décomposition de la variance révèle que ce choc de crédit a un effet important sur différents secteurs d'activité réelle, indices de prix, indicateurs avancés et credit spreads. De l'autre côté, une hausse inattendue de la prime canadienne de financement extérieur ne cause pas d'effet significatif au Canada. Nous montrons que les effets des chocs de crédit au Canada sont essentiellement causés par les conditions globales, approximées ici par le marché américain. Finalement, étant donnée la procédure d'identification des chocs structurels, nous trouvons des facteurs interprétables économiquement. Le comportement des agents et de l'environnement économiques peut varier à travers le temps (ex. changements de stratégies de la politique monétaire, volatilité de chocs) induisant de l'instabilité des paramètres dans les modèles en forme réduite. Les modèles à paramètres variant dans le temps (TVP) standards supposent traditionnellement les processus stochastiques indépendants pour tous les TVPs. Dans cet article nous montrons que le nombre de sources de variabilité temporelle des coefficients est probablement très petit, et nous produisons la première évidence empirique connue dans les modèles macroéconomiques empiriques. L'approche Factor-TVP, proposée dans Stevanovic (2010), est appliquée dans le cadre d'un modèle VAR standard avec coefficients aléatoires (TVP-VAR). Nous trouvons qu'un seul facteur explique la majorité de la variabilité des coefficients VAR, tandis que les paramètres de la volatilité des chocs varient d'une façon indépendante. Le facteur commun est positivement corrélé avec le taux de chômage. La même analyse est faite avec les données incluant la récente crise financière. La procédure suggère maintenant deux facteurs et le comportement des coefficients présente un changement important depuis 2007. Finalement, la méthode est appliquée à un modèle TVP-FAVAR. Nous trouvons que seulement 5 facteurs dynamiques gouvernent l'instabilité temporelle dans presque 700 coefficients.

Étude empirique des commentaires et application des techniques de résumé par extraction pour la redocumentation

La documentation des programmes aide les développeurs à mieux comprendre le code source pendant les tâches de maintenance. Toutefois, la documentation n’est pas toujours disponible ou elle peut être de mauvaise qualité. Le recours à la redocumentation s’avère ainsi nécessaire. Dans ce contexte, nous proposons de faire la redocumentation en générant des commentaires par application de techniques de résumé par extraction. Pour mener à bien cette tâche, nous avons commencé par faire une étude empirique pour étudier les aspects quantitatifs et qualitatifs des commentaires. En particulier, nous nous sommes intéressés à l’étude de la distribution des commentaires par rapport aux différents types d’instructions et à la fréquence de documentation de chaque type. Aussi, nous avons proposé une taxonomie de commentaires pour classer les commentaires selon leur contenu et leur qualité. Suite aux résultats de l’étude empirique, nous avons décidé de résumer les classes Java par extraction des commentaires des méthodes/constructeurs. Nous avons défini plusieurs heuristiques pour déterminer les commentaires les plus pertinents à l’extraction. Ensuite, nous avons appliqué ces heuristiques sur les classes Java de trois projets pour en générer les résumés. Enfin, nous avons comparé les résumés produits (les commentaires produits) à des résumés références (les commentaires originaux) en utilisant la métrique ROUGE.

Mesure du rapport d'embranchement de B → π⁰lv et extraction de l'élément |V[indice]u[indice]b| de la matrice CKM à l'expérience BABAR à l'aide de la technique des étiquettes B → D⁽*⁾lv

Thèse diffusée initialement dans le cadre d'un projet pilote des Presses de l'Université de Montréal/Centre d'édition numérique UdeM (1997-2008) avec l'autorisation de l'auteur.

Extraction de motifs dans la rédaction collaborative sur les Wikis

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

Comparaison des dimensions de l'arcade mandibulaire avant et après traitement orthodontique sans extraction

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

Étude sur l'équivalence de termes extraits automatiquement d'un corpus parallèle : contribution à l'extraction terminologique bilingue

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal