Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

The Seemingly Unrelated Dynamic Cointegration Regression Model and Testing for Purching Power Parity.

This paper studies seemingly unrelated linear models with integrated regressors and stationary errors. By adding leads and lags of the first differences of the regressors and estimating this augmented dynamic regression model by feasible generalized least squares using the long-run covariance matrix, we obtain an efficient estimator of the cointegrating vector that has a limiting mixed normal distribution. Simulation results suggest that this new estimator compares favorably with others already proposed in the literature. We apply these new estimators to the testing of purchasing power parity (PPP) among the G-7 countries. The test based on the efficient estimates rejects the PPP hypothesis for most countries.

Exact Tests for Contemporaneous Correlation of Disturbances in Seemingly Unrelated Regressions.

This paper proposes finite-sample procedures for testing the SURE specification in multi-equation regression models, i.e. whether the disturbances in different equations are contemporaneously uncorrelated or not. We apply the technique of Monte Carlo (MC) tests [Dwass (1957), Barnard (1963)] to obtain exact tests based on standard LR and LM zero correlation tests. We also suggest a MC quasi-LR (QLR) test based on feasible generalized least squares (FGLS). We show that the latter statistics are pivotal under the null, which provides the justification for applying MC tests. Furthermore, we extend the exact independence test proposed by Harvey and Phillips (1982) to the multi-equation framework. Specifically, we introduce several induced tests based on a set of simultaneous Harvey/Phillips-type tests and suggest a simulation-based solution to the associated combination problem. The properties of the proposed tests are studied in a Monte Carlo experiment which shows that standard asymptotic tests exhibit important size distortions, while MC tests achieve complete size control and display good power. Moreover, MC-QLR tests performed best in terms of power, a result of interest from the point of view of simulation-based tests. The power of the MC induced tests improves appreciably in comparison to standard Bonferroni tests and, in certain cases, outperforms the likelihood-based MC tests. The tests are applied to data used by Fischer (1993) to analyze the macroeconomic determinants of growth.

Simulation-Based Finite-and Large-sample Inference Methods in Multivariate Regressions and Seemingly Unrelated Regressions

In the context of multivariate regression (MLR) and seemingly unrelated regressions (SURE) models, it is well known that commonly employed asymptotic test criteria are seriously biased towards overrejection. in this paper, we propose finite-and large-sample likelihood-based test procedures for possibly non-linear hypotheses on the coefficients of MLR and SURE systems.

Bundling under the Threat of Parallel Trade

This paper examines the use of bundling by a firm that sells in two national markets and faces entry by parallel traders. The firm can bundle its main product, - a tradable good- with a non-traded service. It chooses between the strategies of pure bundling, mixed bundling and no bundling. The paper shows that in the low-price country the threat of grey trade elicits a move from mixed bundling, or no bundling, towards pure bundling. It encourages a move from pure bundling towards mixes bundling or no bundling in the high-price country. The set of parameter values for which the profit maximizing strategy is not to supply the low price country is smaller than in the absence of bundling. The welfare effects of deterrence of grey trade are not those found in conventional models of price arbitrage. Some consumers in the low-price country may gain from the threat of entry by parallel traders although they pay a higher price. This is due to the fact that the firm responds to the threat of arbitrageurs by increasing the amount of services it puts in the bundle targeted at consumers in that country. Similarly, the threat of parallel trade may affect some consumers in the hight-price country adversely.

Multi-Prover and parallel repetition in non-classical interactive games

Depuis l’introduction de la mécanique quantique, plusieurs mystères de la nature ont trouvé leurs explications. De plus en plus, les concepts de la mécanique quantique se sont entremêlés avec d’autres de la théorie de la complexité du calcul. De nouvelles idées et solutions ont été découvertes et élaborées dans le but de résoudre ces problèmes informatiques. En particulier, la mécanique quantique a secoué plusieurs preuves de sécurité de protocoles classiques. Dans ce m´emoire, nous faisons un étalage de résultats récents de l’implication de la mécanique quantique sur la complexité du calcul, et cela plus précisément dans le cas de classes avec interaction. Nous présentons ces travaux de recherches avec la nomenclature des jeux à information imparfaite avec coopération. Nous exposons les différences entre les théories classiques, quantiques et non-signalantes et les démontrons par l’exemple du jeu à cycle impair. Nous centralisons notre attention autour de deux grands thèmes : l’effet sur un jeu de l’ajout de joueurs et de la répétition parallèle. Nous observons que l’effet de ces modifications a des conséquences très différentes en fonction de la théorie physique considérée.

Généalogie des résistances cinématographiques : le cas de trois machines autopoïétiques (Eisenstein, Syberberg, Welles)

Notre thèse s’attache à définir certains rapports possibles entre le cinéma et le politique ou, plus précisément, entre le cinéma et le concept pratique de résistance. Il existe une théorie de la résistance, soit sous la forme d’une cartographie du pouvoir moléculaire (M. Foucault), soit sous la forme d’une analytique de la résistance (F. Proust). Il existe également une théorie de la résistance cinématographique, soit comme sociologie ou histoire de l’action politique par le cinéma (cinéma de la Résistance, cinéma militant), soit comme une sémiotique des formes et des genres marginaux (cinéma expérimental, cinéma des avant-gardes). Suivant une direction tracée par Serge Daney et Gilles Deleuze, nous croyons qu’il faut poser autrement le problème : si « le politique est affaire de perception », alors la résistance est d’abord une invention de visibilité et d’audibilité. En ce sens, la résistance cinématographique est une exploration de ce que peut le cinéma, tant d’un point de vue esthétique, éthique, que politique. D’où notre hypothèse, qui est double : d’une part, cette invention de visibilité, cette création de potentiel n’est peut-être possible qu’en passant par un ré-enchaînement anachronique d’une déformation plastique, narrative et audiovisuelle à une autre, c’est-à-dire d’une survivance à une autre. D’autre part, nous croyons qu’une forme esthétique est en soi matière politique et manière de politique, et qu’elle implique également une éthique venant brasser notre propre subjectivité (de cinéaste, de spectateur, de citoyen, etc.). Or, pour saisir cette invention de visibilité inhérente au cinéma, il faut en passer par une généalogie de certaines alliances théoriques et pratiques parmi les plus importantes. Le cas de trois machines autopoïétiques nous intéressera tout particulièrement, trois constellations d’œuvres et de pensées qui débordent le nom propre des « Auteurs » convoqués : Eisenstein et les résistances méthodologiques ; Syberberg et les résistances plastiques ou audiovisuelles (à travers la seule figure du hors-champ) ; Welles et les résistances esth/éthico-politiques. Ainsi, une telle chaîne généalogique nous permettra de mieux mesurer l’efficace de ces résistances, mais sans désir de systématisation ni constitution d’une Théorie de la résistance cinématographique.

Semisynthetic aminoglycoside antibiotics : toward biomimetic synthesis, evasion of bacterial resistance and reduced toxicity

Les antibiotiques aminoglycosidiques sont des agents bactéricides de grande valeur et d’efficacité à large spectre contre les pathogènes Gram-positifs et Gram-négatifs, dont plusieurs membres naturels et semisynthétiques sont importants dans l’histoire clinique depuis 1950. Des travaux crystallographiques sur le ribosome, récompensés par le prix Nobel, ont démontré comment leurs diverses structures polyaminées sont adaptées pour cibler une hélice d’ARN dans le centre de codage de la sous-unité 30S du ribosome bactérien. Leur interférence avec l’affinité et la cinétique des étapes de sélection et vérification des tARN induit la synthèse de protéines à basse fidélité, et l’inhibition de la translocation, établissant un cercle vicieux d’accumulation d’antibiotique et de stress sur la membrane. En réponse à ces pressions, les pathogènes bactériens ont évolué et disséminé une panoplie de mécanismes de résistance enzymatiques et d’expulsion : tels que les N acétyltransférases, les O phosphotransférases et les O nucleotidyltransférases qui ciblent les groupements hydroxyle et amino sur le coeur des aminoglycosides; des méthyl-transférases, qui ciblent le site de liaison ribosomale; et des pompes d’expulsion actives pour l’élimination sélective des aminoglycosides, qui sont utilisés par les souches Gram-négatives. Les pathogènes les plus problématiques, qui présentent aujourd’hui une forte résilience envers la majorité des classes d’antibiotiques sur le bord de la pan-résistance ont été nommés des bactéries ESKAPE, une mnémonique pour Enterococcus faecium, Staphylococcus aureus, Klebsiella pneumoniae, Acinetobacter baumannii, Pseudomonas aeruginosa et Enterobacteriaceae. La distribution globale des souches avec des mécanismes de résistance envers les standards cliniques aminoglycosides, tels que la tobramycine, l’amikacine et la gentamicine, est comprise entre 20 et 60% des isolées cliniques. Ainsi, les aminoglycosides du type 4,6-disubstitués-2-deoxystreptamine sont inadéquats comme thérapies anti-infectieuses à large spectre. Cependant, la famille des aminoglycosides 4,5-disubstitués, incluant la butirosine, la neomycine et la paromomycine, dont la structure plus complexe, pourrait constituter une alternative. Des collègues dans le groupe Hanessian et collaborateurs d’Achaogen Inc. ont démontré que certains analogues de la paraomomycine et neomycine, modifiés par désoxygénation sur les positions 3’ et 4’, et par substitution avec la chaîne N1-α-hydroxy-γ-aminobutyramide (HABA) provenant de la butirosine, pourrait produire des antibiotiques très prometteurs. Le Chapitre 4 de cette dissertation présente la conception et le développement d’une stratégie semi-synthétique pour produire des nouveaux aminoglycosides améliorés du type 4,5 disubstitués, inspiré par des modifications biosynthétiques de la sisomicine, qui frustrent les mécanismes de résistance bactérienne distribuées globalement. Cette voie de synthèse dépend d’une réaction d’hydrogénolyse de type Tsuji catalysée par palladium, d’abord développée sur des modèles monosaccharides puis subséquemment appliquée pour générer un ensemble d’aminoglycosides hybrides entre la neomycine et la sisomicine. Les études structure-activité des divers analogues de cette nouvelle classe ont été évaluées sur une gamme de 26 souches bactériennes exprimant des mécanismes de résistance enzymatique et d’expulsion qui englobe l’ensemble des pathogènes ESKAPE. Deux des antibiotiques hybrides ont une couverture antibacterienne excellente, et cette étude a mis en évidence des candidats prometteurs pour le développement préclinique. La thérapie avec les antibiotiques aminoglycosidiques est toujours associée à une probabilité de complications néphrotoxiques. Le potentiel de toxicité de chaque aminoglycoside peut être largement corrélé avec le nombre de groupements amino et de désoxygénations. Une hypothèse de longue date dans le domaine indique que les interactions principales sont effectuées par des sels des groupements ammonium, donc l’ajustement des paramètres de pKa pourrait provoquer une dissociation plus rapide avec leurs cibles, une clairance plus efficace et globalement des analogues moins néphrotoxiques. Le Chapitre 5 de cette dissertation présente la conception et la synthèse asymétrique de chaînes N1 HABA β substitutées par mono- et bis-fluoration. Des chaînes qui possèdent des γ-N pKa dans l’intervalle entre 10 et 7.5 ont été appliquées sur une neomycine tétra-désoxygénée pour produire des antibiotiques avancés. Malgré la réduction considérable du γ N pKa, le large spectre bactéricide n’a pas été significativement affecté pour les analogues fluorés isosteriques. De plus, des études structure-toxicité évaluées avec une analyse d’apoptose propriétaire d’Achaogen ont démontré que la nouvelle chaîne β,β difluoro-N1-HABA est moins nocive sur un modèle de cellules de rein humain HK2 et elle est prometteuse pour le développement d’antibiotiques du type neomycine avec des propriétés thérapeutiques améliorées. Le chapitre final de cette dissertation présente la proposition et validation d’une synthèse biomimétique par assemblage spontané du aminoglycoside 66-40C, un dimère C2 symétrique bis-imine macrocyclique à 16 membres. La structure proposée du macrocycle a été affinée par spectroscopie nucléaire à un système trans,trans-bis-azadiène anti-parallèle. Des calculs indiquent que l’effet anomérique de la liaison α glycosidique entre les anneaux A et B fournit la pré-organisation pour le monomère 6’ aldéhydo sisomicine et favorise le produit macrocyclique observé. L’assemblage spontané dans l’eau a été étudié par la dimérisation de trois divers analogues et par des expériences d’entre croisement qui ont démontré la généralité et la stabilité du motif macrocyclique de l'aminoglycoside 66-40C.

Our Lady of Ocotlán and our Lady of Guadalupe : investigation into the origins of parallel virgins

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

Parallel metaheuristics for stochastic capacitated multicommodity network design

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

Machines de vision et changement de paradigme : une étude comparative de l'imagerie scientifique dans les travaux d'Étienne-Jules Marey et de Marcel Duchamp

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

Building Beyond Limits : Fantastic Collisions Between Bodies and Machines in French and English Fin-de-Siècle Literature

«Construire hors limite: collisions fantastiques entre corps et machines dans la littérature fin-de-siècle française et anglaise» explore un ensemble de textes qui ont surgi à la fin du dix-neuvième siècle en réponse et en réaction à la fulgurante évolution de l’environnement scientifique et technologique, et qui considèrent la relation entre l’homme et la machine en fantasmant sur la zone grise où ils s’intersectent. Les principaux textes étudiés comprennent L’Ève future de Villiers de l’Isle-Adam, Le Surmâle d’Alfred Jarry, Trilby de George Du Maurier, Le Château des Carpathes de Jules Verne, ainsi qu’une sélection de contes dont nous pouvons qualifier de «contes à appareils», notamment «La Machine à parler» de Marcel Schwob. Utilisant la théorie des systèmes comme base méthodologique, cette dissertation cherche à réinterpréter les textes de la fin du dix-neuvième siècle qui naviguent les limites de l’humain et du mécanique et les surfaces sensibles où ils se touchent et interagissent en les réinscrivant dans un projet plus vaste de construction d’identité qui défie le temps chronologique et les échelles mathématiques. Le lien entre la théorie des systèmes et l’architecture – comme méthode d’organisation d’espace blanc en espace habitable – est exploré dans le but de comprendre la manière dont nous façonnons et interprétons le néant à l’origine de l’identité individuelle, et par association collective, en pratiquant littéralement la schématisation et la construction du corps. Des auteurs tels Villiers et Jarry imaginent la construction du corps comme une entreprise scientifique nécessairement fondée et réalisée avec les matériaux et les technologies disponibles, pour ensuite démanteler cette proposition en condamnant le corps technologique à la destruction. La construction d’une identité amplifiée par la technologie prend donc des proportions prométhéennes perpétuellement redessinées dans des actes cycliques de rasage (destruction) et d’érection (édification), et reflétées dans l’écriture palimpsestique du texte. L’intégrité du corps organique étant mis en question, le noyau même de ce que signifie l’être (dans son sens de verbe infinitif) humain pourrait bien s’avérer, si l’on considère la correspondance entre perte de voix et état pathologique dans les textes de Du Maurier, Verne et Schwob, être une structure des plus précaires, distinctement hors sens (unsound).

Uncovering parallel ribosome biogenesis pathways during pre-60S subunit maturation

Paralogs are present during ribosome biogenesis as well as in mature ribosomes in form of ribosomal proteins, and are commonly believed to play redundant functions within the cell. Two previously identified paralogs are the protein pair Ssf1 and Ssf2 (94% homologous). Ssf2 is believed to replace Ssf1 in case of its absence from cells, and depletion of both proteins leads to severely impaired cell growth. Results reveal that, under normal conditions, the Ssf paralogs associate with similar sets of proteins but with varying stabilities. Moreover, disruption of their pre-rRNP particles using high stringency buffers revealed that at least three proteins, possibly Dbp9, Drs1 and Nog1, are strongly associated with each Ssf protein under these conditions, and most likely represent a distinct subcomplex. In this study, depletion phenotypes obtained upon altering Nop7, Ssf1 and/or Ssf2 protein levels revealed that the Ssf paralogs cannot fully compensate for the depletion of one another because they are both, independently, required along parallel pathways that are dependent on the levels of availability of specific ribosome biogenesis proteins. Finally, this work provides evidence that, in yeast, Nop7 is genetically linked with both Ssf proteins.

Non invasive classification system of scoliosis curve types using least-squares support vector machines

Objective To determine scoliosis curve types using non invasive surface acquisition, without prior knowledge from X-ray data. Methods Classification of scoliosis deformities according to curve type is used in the clinical management of scoliotic patients. In this work, we propose a robust system that can determine the scoliosis curve type from non invasive acquisition of the 3D back surface of the patients. The 3D image of the surface of the trunk is divided into patches and local geometric descriptors characterizing the back surface are computed from each patch and constitute the features. We reduce the dimensionality by using principal component analysis and retain 53 components using an overlap criterion combined with the total variance in the observed variables. In this work, a multi-class classifier is built with least-squares support vector machines (LS-SVM). The original LS-SVM formulation was modified by weighting the positive and negative samples differently and a new kernel was designed in order to achieve a robust classifier. The proposed system is validated using data from 165 patients with different scoliosis curve types. The results of our non invasive classification were compared with those obtained by an expert using X-ray images. Results The average rate of successful classification was computed using a leave-one-out cross-validation procedure. The overall accuracy of the system was 95%. As for the correct classification rates per class, we obtained 96%, 84% and 97% for the thoracic, double major and lumbar/thoracolumbar curve types, respectively. Conclusion This study shows that it is possible to find a relationship between the internal deformity and the back surface deformity in scoliosis with machine learning methods. The proposed system uses non invasive surface acquisition, which is safe for the patient as it involves no radiation. Also, the design of a specific kernel improved classification performance.