Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

On the design of customized risk measures in insurance, the problem of capital allocation and the theory of fluctuations for Lévy processes

Dans cette thèse, nous étudions quelques problèmes fondamentaux en mathématiques financières et actuarielles, ainsi que leurs applications. Cette thèse est constituée de trois contributions portant principalement sur la théorie de la mesure de risques, le problème de l’allocation du capital et la théorie des fluctuations. Dans le chapitre 2, nous construisons de nouvelles mesures de risque cohérentes et étudions l’allocation de capital dans le cadre de la théorie des risques collectifs. Pour ce faire, nous introduisons la famille des "mesures de risque entropique cumulatifs" (Cumulative Entropic Risk Measures). Le chapitre 3 étudie le problème du portefeuille optimal pour le Entropic Value at Risk dans le cas où les rendements sont modélisés par un processus de diffusion à sauts (Jump-Diffusion). Dans le chapitre 4, nous généralisons la notion de "statistiques naturelles de risque" (natural risk statistics) au cadre multivarié. Cette extension non-triviale produit des mesures de risque multivariées construites à partir des données financiéres et de données d’assurance. Le chapitre 5 introduit les concepts de "drawdown" et de la "vitesse d’épuisement" (speed of depletion) dans la théorie de la ruine. Nous étudions ces concepts pour des modeles de risque décrits par une famille de processus de Lévy spectrallement négatifs.

Distributed conditional computation

L'objectif de cette thèse est de présenter différentes applications du programme de recherche de calcul conditionnel distribué. On espère que ces applications, ainsi que la théorie présentée ici, mènera à une solution générale du problème d'intelligence artificielle, en particulier en ce qui a trait à la nécessité d'efficience. La vision du calcul conditionnel distribué consiste à accélérer l'évaluation et l'entraînement de modèles profonds, ce qui est très différent de l'objectif usuel d'améliorer sa capacité de généralisation et d'optimisation. Le travail présenté ici a des liens étroits avec les modèles de type mélange d'experts. Dans le chapitre 2, nous présentons un nouvel algorithme d'apprentissage profond qui utilise une forme simple d'apprentissage par renforcement sur un modèle d'arbre de décisions à base de réseau de neurones. Nous démontrons la nécessité d'une contrainte d'équilibre pour maintenir la distribution d'exemples aux experts uniforme et empêcher les monopoles. Pour rendre le calcul efficient, l'entrainement et l'évaluation sont contraints à être éparse en utilisant un routeur échantillonnant des experts d'une distribution multinomiale étant donné un exemple. Dans le chapitre 3, nous présentons un nouveau modèle profond constitué d'une représentation éparse divisée en segments d'experts. Un modèle de langue à base de réseau de neurones est construit à partir des transformations éparses entre ces segments. L'opération éparse par bloc est implémentée pour utilisation sur des cartes graphiques. Sa vitesse est comparée à deux opérations denses du même calibre pour démontrer le gain réel de calcul qui peut être obtenu. Un modèle profond utilisant des opérations éparses contrôlées par un routeur distinct des experts est entraîné sur un ensemble de données d'un milliard de mots. Un nouvel algorithme de partitionnement de données est appliqué sur un ensemble de mots pour hiérarchiser la couche de sortie d'un modèle de langage, la rendant ainsi beaucoup plus efficiente. Le travail présenté dans cette thèse est au centre de la vision de calcul conditionnel distribué émis par Yoshua Bengio. Elle tente d'appliquer la recherche dans le domaine des mélanges d'experts aux modèles profonds pour améliorer leur vitesse ainsi que leur capacité d'optimisation. Nous croyons que la théorie et les expériences de cette thèse sont une étape importante sur la voie du calcul conditionnel distribué car elle cadre bien le problème, surtout en ce qui concerne la compétitivité des systèmes d'experts.

The berth allocation problem at port terminals : a column generation framework

Le problème d'allocation de postes d'amarrage (PAPA) est l'un des principaux problèmes de décision aux terminaux portuaires qui a été largement étudié. Dans des recherches antérieures, le PAPA a été reformulé comme étant un problème de partitionnement généralisé (PPG) et résolu en utilisant un solveur standard. Les affectations (colonnes) ont été générées a priori de manière statique et fournies comme entrée au modèle %d'optimisation. Cette méthode est capable de fournir une solution optimale au problème pour des instances de tailles moyennes. Cependant, son inconvénient principal est l'explosion du nombre d'affectations avec l'augmentation de la taille du problème, qui fait en sorte que le solveur d'optimisation se trouve à court de mémoire. Dans ce mémoire, nous nous intéressons aux limites de la reformulation PPG. Nous présentons un cadre de génération de colonnes où les affectations sont générées de manière dynamique pour résoudre les grandes instances du PAPA. Nous proposons un algorithme de génération de colonnes qui peut être facilement adapté pour résoudre toutes les variantes du PAPA en se basant sur différents attributs spatiaux et temporels. Nous avons testé notre méthode sur un modèle d'allocation dans lequel les postes d'amarrage sont considérés discrets, l'arrivée des navires est dynamique et finalement les temps de manutention dépendent des postes d'amarrage où les bateaux vont être amarrés. Les résultats expérimentaux des tests sur un ensemble d'instances artificielles indiquent que la méthode proposée permet de fournir une solution optimale ou proche de l'optimalité même pour des problème de très grandes tailles en seulement quelques minutes.

A heuristic algorithm for the Capacitated Vehicle Routing Problem with Synchronized Pick-ups and Drop-offs : a case study for medications delivery and supervision in DR Congo

Dans des contextes de post-urgence tels que le vit la partie occidentale de la République Démocratique du Congo (RDC), l’un des défis cruciaux auxquels font face les hôpitaux ruraux est de maintenir un niveau de médicaments essentiels dans la pharmacie. Sans ces médicaments pour traiter les maladies graves, l’impact sur la santé de la population est significatif. Les hôpitaux encourent également des pertes financières dues à la péremption lorsque trop de médicaments sont commandés. De plus, les coûts du transport des médicaments ainsi que du superviseur sont très élevés pour les hôpitaux isolés ; les coûts du transport peuvent à eux seuls dépasser ceux des médicaments. En utilisant la province du Bandundu, RDC pour une étude de cas, notre recherche tente de déterminer la faisabilité (en termes et de la complexité du problème et des économies potentielles) d’un problème de routage synchronisé pour la livraison de médicaments et pour les visites de supervision. Nous proposons une formulation du problème de tournées de véhicules avec capacité limitée qui gère plusieurs exigences nouvelles, soit la synchronisation des activités, la préséance et deux fréquences d’activités. Nous mettons en œuvre une heuristique « cluster first, route second » avec une base de données géospatiales qui permet de résoudre le problème. Nous présentons également un outil Internet qui permet de visualiser les solutions sur des cartes. Les résultats préliminaires de notre étude suggèrent qu’une solution synchronisée pourrait offrir la possibilité aux hôpitaux ruraux d’augmenter l’accessibilité des services médicaux aux populations rurales avec une augmentation modique du coût de transport actuel.

Géométrie nodale et valeurs propres de l’opérateur de Laplace et du p-laplacien

La présente thèse porte sur différentes questions émanant de la géométrie spectrale. Ce domaine des mathématiques fondamentales a pour objet d'établir des liens entre la géométrie et le spectre d'une variété riemannienne. Le spectre d'une variété compacte fermée M munie d'une métrique riemannienne $g$ associée à l'opérateur de Laplace-Beltrami est une suite de nombres non négatifs croissante qui tend vers l’infini. La racine carrée de ces derniers représente une fréquence de vibration de la variété. Cette thèse présente quatre articles touchant divers aspects de la géométrie spectrale. Le premier article, présenté au Chapitre 1 et intitulé « Superlevel sets and nodal extrema of Laplace eigenfunctions », porte sur la géométrie nodale d'opérateurs elliptiques. L’objectif de mes travaux a été de généraliser un résultat de L. Polterovich et de M. Sodin qui établit une borne sur la distribution des extrema nodaux sur une surface riemannienne pour une assez vaste classe de fonctions, incluant, entre autres, les fonctions propres associées à l'opérateur de Laplace-Beltrami. La preuve fournie par ces auteurs n'étant valable que pour les surfaces riemanniennes, je prouve dans ce chapitre une approche indépendante pour les fonctions propres de l’opérateur de Laplace-Beltrami dans le cas des variétés riemanniennes de dimension arbitraire. Les deuxième et troisième articles traitent d'un autre opérateur elliptique, le p-laplacien. Sa particularité réside dans le fait qu'il est non linéaire. Au Chapitre 2, l'article « Principal frequency of the p-laplacian and the inradius of Euclidean domains » se penche sur l'étude de bornes inférieures sur la première valeur propre du problème de Dirichlet du p-laplacien en termes du rayon inscrit d’un domaine euclidien. Plus particulièrement, je prouve que, si p est supérieur à la dimension du domaine, il est possible d'établir une borne inférieure sans aucune hypothèse sur la topologie de ce dernier. L'étude de telles bornes a fait l'objet de nombreux articles par des chercheurs connus, tels que W. K. Haymann, E. Lieb, R. Banuelos et T. Carroll, principalement pour le cas de l'opérateur de Laplace. L'adaptation de ce type de bornes au cas du p-laplacien est abordée dans mon troisième article, « Bounds on the Principal Frequency of the p-Laplacian », présenté au Chapitre 3 de cet ouvrage. Mon quatrième article, « Wolf-Keller theorem for Neumann Eigenvalues », est le fruit d'une collaboration avec Guillaume Roy-Fortin. Le thème central de ce travail gravite autour de l'optimisation de formes dans le contexte du problème aux valeurs limites de Neumann. Le résultat principal de cet article est que les valeurs propres de Neumann ne sont pas toujours maximisées par l'union disjointe de disques arbitraires pour les domaines planaires d'aire fixée. Le tout est présenté au Chapitre 4 de cette thèse.

Martin Heidegger and the problem of transcendence

Cette thèse a pour point de départ l’idée du jeune Heidegger selon laquelle le sens de l’être doit être recherché au moyen d’une phénoménologie ontologique, plus précisément par l’analytique existentiale du Dasein et la destruction de l’histoire de l’ontologie ; ou, comme nous l’interprétons, dans la transcendance du Dasein et la transcendance de l’être. L’étude du problème de la transcendance fait l’objet d’une approche phénoménologique, laquelle porte une attention particulière au vécu en tant que tel ainsi qu’aux conditions de possibilité de ce vécu, et repose sur une lecture attentive et critique des œuvres de Heidegger. C’est une telle approche phénoménologique qui nous permettra de mener à bien notre analyse du problème de la transcendance dans le corpus heideggérien. Nous serons par ailleurs en mesure d’aborder le débat opposant à ce sujet la tradition analytique (plus particulièrement l’approche pragmatiste) et la tradition continentale, notre étude s’inscrivant dans le cadre de cette dernière. Nous proposons ici une phénoménologie du problème de la transcendance qui fait également figure de phénoménologie du sens, de la possibilité et de la normativité. Prenant pour point de départ certaines contributions issues de la tradition continentale, nous soutenons que le sens de l’être peut être compris comme le problème de la transcendance. L’histoire de la philosophie doit être perturbée, déconstruite et repensée afin que le chemin de la philosophie, encore non pensé, puisse être mis au jour. L’accès à cet autre commencement doit être recherché dans la transcendance en tant que telle – de l’appel de la conscience fondé dans la nullité à l’encontre authentique avec la mort et l’ouverture de la temporalité ; de l’avènement historial de l’être jusqu’à, ultimement, le i! ! ! ! refus de l’être et le retrait du rien. L’événement (Ereignis) de l’être est donc compris comme processus de dépassement de soi à partir duquel la transcendance de l’être – ou, comme le formule Heidegger, la fin des questions – est possible.

Synthesis of constrained tricyclic nucleosides and the core of nagilactone B

Cette thèse décrit deux thèmes principaux: 1) la conception, la synthèse, et l'évaluation biophysique des nucléosides tricycliques, et 2) la synthèse de nagilactone B, un produit naturel norditerpenoïde dilactone de la famille de produits naturels “podolactone”. Le premier chapitre décrit la stratégie de design rationnel des nucléosides nommé “restriction conformationnelle double” basée sur les études de modélisation structurales des duplex ADN–ARN modifiés. Cette stratégie implique un blocage du cycle furanose dans une configuration de type N- ou S, et une restriction de la rotation torsionelle autour de l’angle γ. La première contrainte a été incorporée avec un pont méthylène entre l’oxygène en position 2′ et le carbone 4′ du nucléoside. Cette stratégie a été inspirée par les acides nucléiques bloqués (ou “locked nucleic acid”, LNA). La deuxième contrainte a été réalisée en ajoutant un carbocycle supplémentaire dans l'échafaud de l’acide nucléique bloqué. Les défis synthétiques de la formation des nucléotides modifiés à partir des carbohydrates sont décrits ainsi que les améliorations aux stabilités thermiques qu’ils apportent aux duplex oligonucléïques dont ils font partie. Chapitres deux et trois décrivent le développement de deux voies synthétiques complémentaires pour la formation du noyau de nagilactone B. Ce produit naturel a des implications pour le syndrome de Hutchinson–Gilford, à cause de son habilité de jouer le rôle de modulateur de l’épissage d’ARN pré-messager de lamine A. Ce produit naturel contient sept stereocentres différents, dont deux quaternaires et deux comprenant un syn-1,2-diol, ainsi que des lactones à cinq ou six membres, où le cycle à six ressemble à un groupement α-pyrone. La synthèse a débuté avec la cétone de Wieland-Miescher qui a permis d’adresser les défis structurels ainsi qu’explorer les fonctionnalisations des cycles A, B et D du noyau de nagilactone B.

Beyond a "woman's problem" : the role of relationship processes in female genital pain

Female genital pain is a prevalent condition that can disrupt the psychosexual and relational well-being of affected women and their romantic partners. Despite the intimate context in which the pain can be elicited (i.e., during sexual intercourse), interpersonal correlates of genital pain and sexuality have not been widely studied in comparison to other psychosocial factors. This review describes several prevailing theoretical models explaining the role of the partner in female genital pain: the operant learning model, cognitive-behavioral and communal coping models, and intimacy models. The review includes a discussion of empirical research on the interpersonal and partner correlates of female genital pain and the impact of genital pain on partners’ psychosexual adjustment. Together, this research highlights a potential reciprocal interaction between both partners’ experiences of female genital pain. The direction of future theoretical, methodological, and clinical research is discussed with regard to the potential to enhance understanding of the highly interpersonal context of female genital pain

Studies on some generalizations of line graph and the power domination problem in graphs

Department of Mathematics, Cochin University of Science and Technology

Evidence of a critical time in constrained Kinetic Ising models

We study the relaxational dynamics of the one-spin facilitated Ising model introduced by Fredrickson and Andersen. We show the existence of a critical time which separates an initial regime in which the relaxation is exponentially fast and aging is absent from a regime in which relaxation becomes slow and aging effects are present. The presence of this fast exponential process and its associated critical time is in agreement with some recent experimental results on fragile glasses.

Pionic branches in neutron matter and the problem of pion condensation

The pion spectrum for charged and neutral pions is investigated in pure neutron matter, by letting the pions interact with a neutron Fermi sea in a self-consistent scheme that renormalizes simultaneously the mesons, considered the source of the interaction, and the nucleons. The possibility of obtaining different kinds of pion condensates is investigated with the result that they cannot be reached even for values of the spin-spin correlation parameter, g', far below the range commonly accepted.

The Fishing Industry in Kerala - Problem and Potentials

importance of fishing and other allied industries in the economy was realised only very recently. Consequently only very few studies are available on the subject. Here an attempt is made to survey the available literature on the subject.

Cooperative caching techniques for mobile ad hoc networks

Data caching can remarkably improve the efficiency of information access in a wireless ad hoc network by reducing the access latency and bandwidth usage. The cache placement problem minimizes total data access cost in ad hoc networks with multiple data items. The ad hoc networks are multi hop networks without a central base station and are resource constrained in terms of channel bandwidth and battery power. By data caching the communication cost can be reduced in terms of bandwidth as well as battery energy. As the network node has limited memory the problem of cache placement is a vital issue. This paper attempts to study the existing cooperative caching techniques and their suitability in mobile ad hoc networks.

On the generalized obnoxious center problem: antimedian subsets

The set of vertices that maximize (minimize) the remoteness is the antimedian (median) set of the profile. It is proved that for an arbitrary graph G and S V (G) it can be decided in polynomial time whether S is the antimedian set of some profile. Graphs in which every antimedian set is connected are also considered.