Development of new scenario decomposition techniques for linear and nonlinear stochastic programming

Une approche classique pour traiter les problèmes d’optimisation avec incertitude à deux- et multi-étapes est d’utiliser l’analyse par scénario. Pour ce faire, l’incertitude de certaines données du problème est modélisée par vecteurs aléatoires avec des supports finis spécifiques aux étapes. Chacune de ces réalisations représente un scénario. En utilisant des scénarios, il est possible d’étudier des versions plus simples (sous-problèmes) du problème original. Comme technique de décomposition par scénario, l’algorithme de recouvrement progressif est une des méthodes les plus populaires pour résoudre les problèmes de programmation stochastique multi-étapes. Malgré la décomposition complète par scénario, l’efficacité de la méthode du recouvrement progressif est très sensible à certains aspects pratiques, tels que le choix du paramètre de pénalisation et la manipulation du terme quadratique dans la fonction objectif du lagrangien augmenté. Pour le choix du paramètre de pénalisation, nous examinons quelques-unes des méthodes populaires, et nous proposons une nouvelle stratégie adaptive qui vise à mieux suivre le processus de l’algorithme. Des expériences numériques sur des exemples de problèmes stochastiques linéaires multi-étapes suggèrent que la plupart des techniques existantes peuvent présenter une convergence prématurée à une solution sous-optimale ou converger vers la solution optimale, mais avec un taux très lent. En revanche, la nouvelle stratégie paraît robuste et efficace. Elle a convergé vers l’optimalité dans toutes nos expériences et a été la plus rapide dans la plupart des cas. Pour la question de la manipulation du terme quadratique, nous faisons une revue des techniques existantes et nous proposons l’idée de remplacer le terme quadratique par un terme linéaire. Bien que qu’il nous reste encore à tester notre méthode, nous avons l’intuition qu’elle réduira certaines difficultés numériques et théoriques de la méthode de recouvrement progressif.

Projection-Based Statistical Inference in Linear Structural Models with Possibly Weak Instruments

It is well known that standard asymptotic theory is not valid or is extremely unreliable in models with identification problems or weak instruments [Dufour (1997, Econometrica), Staiger and Stock (1997, Econometrica), Wang and Zivot (1998, Econometrica), Stock and Wright (2000, Econometrica), Dufour and Jasiak (2001, International Economic Review)]. One possible way out consists here in using a variant of the Anderson-Rubin (1949, Ann. Math. Stat.) procedure. The latter, however, allows one to build exact tests and confidence sets only for the full vector of the coefficients of the endogenous explanatory variables in a structural equation, which in general does not allow for individual coefficients. This problem may in principle be overcome by using projection techniques [Dufour (1997, Econometrica), Dufour and Jasiak (2001, International Economic Review)]. AR-types are emphasized because they are robust to both weak instruments and instrument exclusion. However, these techniques can be implemented only by using costly numerical techniques. In this paper, we provide a complete analytic solution to the problem of building projection-based confidence sets from Anderson-Rubin-type confidence sets. The latter involves the geometric properties of “quadrics” and can be viewed as an extension of usual confidence intervals and ellipsoids. Only least squares techniques are required for building the confidence intervals. We also study by simulation how “conservative” projection-based confidence sets are. Finally, we illustrate the methods proposed by applying them to three different examples: the relationship between trade and growth in a cross-section of countries, returns to education, and a study of production functions in the U.S. economy.

Asymptotic Distribution of a Simple Linear Estimator for VARMA Models in Echelon Form

In this paper, we study the asymptotic distribution of a simple two-stage (Hannan-Rissanen-type) linear estimator for stationary invertible vector autoregressive moving average (VARMA) models in the echelon form representation. General conditions for consistency and asymptotic normality are given. A consistent estimator of the asymptotic covariance matrix of the estimator is also provided, so that tests and confidence intervals can easily be constructed.

Développement de techniques analytiques pour la détermination des agents anti-infectieux dans les eaux environnementales

Les agents anti-infectieux sont utilisés pour traiter ou prévenir les infections chez les humains, les animaux, les insectes et les plantes. L’apparition de traces de ces substances dans les eaux usées, les eaux naturelles et même l’eau potable dans plusieurs pays du monde soulève l’inquiétude de la communauté scientifique surtout à cause de leur activité biologique. Le but de ces travaux de recherche a été d’étudier la présence d’anti-infectieux dans les eaux environnementales contaminées (c.-à-d. eaux usées, eaux naturelles et eau potable) ainsi que de développer de nouvelles méthodes analytiques capables de quantifier et confirmer leur présence dans ces matrices. Une méta-analyse sur l’occurrence des anti-infectieux dans les eaux environnementales contaminées a démontré qu’au moins 68 composés et 10 de leurs produits de transformation ont été quantifiés à ce jour. Les concentrations environnementales varient entre 0.1 ng/L et 1 mg/L, selon le composé, la matrice et la source de contamination. D’après cette étude, les effets nuisibles des anti-infectieux sur le biote aquatique sont possibles et ces substances peuvent aussi avoir un effet indirect sur la santé humaine à cause de sa possible contribution à la dissémination de la résistance aux anti-infecteiux chez les bactéries. Les premiers tests préliminaires de développement d’une méthode de détermination des anti-infectieux dans les eaux usées ont montré les difficultés à surmonter lors de l’extraction sur phase solide (SPE) ainsi que l’importance de la sélectivité du détecteur. On a décrit une nouvelle méthode de quantification des anti-infectieux utilisant la SPE en tandem dans le mode manuel et la chromatographie liquide couplée à la spectrométrie de masse en tandem (LC-MS/MS). Les six anti-infectieux ciblés (sulfaméthoxazole, triméthoprime, ciprofloxacin, levofloxacin, clarithromycin et azithromycin) ont été quantifiés à des concentrations entre 39 et 276 ng/L dans les échantillons d’affluent et d’effluent provenant d’une station d’épuration appliquant un traitement primaire et physico- chimique. Les concentrations retrouvées dans les effluents indiquent que la masse moyenne totale de ces substances, déversées hebdomadairement dans le fleuve St. Laurent, était de ~ 2 kg. En vue de réduire le temps total d’analyse et simplifier les manipulations, on a travaillé sur une nouvelle méthode de SPE couplée-LC-MS/MS. Cette méthode a utilisé une technique de permutation de colonnes pour préconcentrer 1.00 mL d’échantillon dans une colonne de SPE couplée. La performance analytique de la méthode a permis la quantification des six anti-infectieux dans les eaux usées municipales et les limites de détection étaient du même ordre de grandeur (13-60 ng/L) que les méthodes basées sur la SPE manuelle. Ensuite, l’application des colonnes de SPE couplée de chromatographie à débit turbulent pour la préconcentration de six anti-infectieux dans les eaux usées a été explorée pour diminuer les effets de matrice. Les résultats obtenus ont indiqué que ces colonnes sont une solution de réchange intéressante aux colonnes de SPE couplée traditionnelles. Finalement, en vue de permettre l’analyse des anti-infectieux dans les eaux de surface et l’eau potable, une méthode SPE couplée-LC-MS/MS utilisant des injections de grand volume (10 mL) a été développée. Le volume de fuite de plusieurs colonnes de SPE couplée a été estimé et la colonne ayant la meilleure rétention a été choisie. Les limites de détection et de confirmation de la méthode ont été entre 1 à 6 ng/L. L’analyse des échantillons réels a démontré que la concentration des trois anti-infectieux ciblés (sulfaméthoxazole, triméthoprime et clarithromycine) était au dessous de la limite de détection de la méthode. La mesure des masses exactes par spectrométrie de masse à temps d’envol et les spectres des ions produits utilisant une pente d’énergie de collision inverse dans un spectromètre de masse à triple quadripôle ont été explorés comme des méthodes de confirmation possibles.

Study of the diffusion in polymer solutions and hydrogels by NMR spectroscopy and NMR imaging

Afin d'étudier la diffusion et la libération de molécules de tailles inférieures dans un gel polymère, les coefficients d'auto-diffusion d'une série de polymères en étoile avec un noyau d'acide cholique et quatre branches de poly(éthylène glycol) (PEG) ont été déterminés par spectroscopie RMN à gradient de champ pulsé dans des solutions aqueuses et des gels de poly(alcool vinylique). Les coefficients de diffusion obtenus ont été comparés avec ceux des PEGs linéaires et dendritiques pour étudier l'effet de l'architecture des polymères. Les polymères en étoile amphiphiles ont des profils de diffusion en fonction de la concentration similaires à leurs homologues linéaires dans le régime dilué. Ils diffusent plus lentement dans le régime semi-dilué en raison de leur noyau hydrophobe. Leurs conformations en solution ont été étudiées par des mesures de temps de relaxation spin-réseau T1 du noyau et des branches. L'imagerie RMN a été utilisée pour étudier le gonflement des comprimés polymères et la diffusion dans la matrice polymère. Les comprimés étaient constitués d'amidon à haute teneur en amylose et chargés avec de l'acétaminophène (de 10 à 40% en poids). Le gonflement des comprimés, ainsi que l'absorption et la diffusion de l'eau, augmentent avec la teneur en médicament, tandis que le pourcentage de libération du médicament est similaire pour tous les comprimés. Le gonflement in vitro des comprimés d'un complexe polyélectrolyte à base d'amidon carboxyméthylé et de chitosane a également été étudié par imagerie RMN. Ces comprimés sont sensibles au pH : ils gonflent beaucoup plus dans les milieux acides que dans les milieux neutres en raison de la dissociation des deux composants et de la protonation des chaînes du chitosane. La comparaison des résultats avec ceux d'amidon à haute teneur en amylose indique que les deux matrices ont des gonflements et des profils de libération du médicament semblables dans les milieux neutres, alors que les comprimés complexes gonflent plus dans les milieux acides en raison de la dissociation du chitosane et de l'amidon.

Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.