Les cadres de lectures alternatifs : une approche non-conventionnelle pour le développement de vecteurs vaccinaux

Introduction: Les cadres de lectures alternatifs (CLA) sont utilisés par de multiples virus afin de générer plusieurs protéines à partir d'une seule séquence nucléotidique. Les épitopes dits « cryptiques », c’est-à-dire les épitopes dérivés de protéines codées dans des CLAs, ont étés dernièrement l’objet de différentes études portant sur la réponse immunitaire antivirale et les lymphocytes T cytotoxiques. Méthodologie: Afin de vérifier le potentiel immunogène d'épitopes encodés dans des CLAs programmés, trois cassettes ont été construites pour mener à l'expression de trois épitopes bien caractérisés (épitope GAG77–85 du virus de l'immunodéficience humaine de type 1; épitope NS31406-1415 du virus de l'hépatite C; épitope core18-27 du virus de l'hépatite B) à partir de trois cadres de lectures superposés. La première cassette permet une initiation alternative de la traduction, la deuxième comprend deux signaux bipartites en tandem permettant un frameshift ribosomique et la troisième est une cassette contrôle. Ces éléments ont été introduits dans des vecteurs adénoviraux. Les virions générés ont servi à immuniser des souris C57BL/6 transgéniques pour HLA-A*0201 et HLA-DR1. La réponse immunitaire induite une semaine post-immunisation a été mesurée par essai ELISpot IFN . Résultats: Dans le contexte de cassettes vaccinales, les peptides dérivés d'une initiation alternative de traduction et de changement de cadre de lecture ribosomique ribosomal peuvent être exprimés et détectés par le système immunitaire dans un modèle animal. Conclusion: Ces expériences suggèrent la possibilité de développer de nouvelles stratégies vaccinales dans le but de prévenir ou de guérir certaines maladies associées aux infections virales chroniques telles que celles causées par le virus de l’immunodéficience humaine et le virus de l’hépatite C.

Phylogéographie comparée de la souris à pattes blanches et de la souris sylvestre, deux vecteurs de la maladie de Lyme au Québec

Mon étude vise à évaluer la propagation d’une zoonose en émergence au Québec, la maladie de Lyme, en conséquence du réchauffement climatique. Le pathogène responsable de cette infection, Borrelia burgdorferi, est transmis par l’intermédiaire d’une tique parasite, Ixodes scapularis, de plus en plus commune au Québec en raison de l’augmentation de la température moyenne du climat depuis les dernières décennies. Puisque la tique a une capacité de déplacement très restreinte, on s'attend à ce que sa dispersion soit liée à celle de son hôte primaire, soit la souris à pattes blanches (Peromyscus leucopus). Je décrirai donc d’abord les espèces impliquées, leur écologie et leur rôle dans ce système à trois niveaux (hôte/pathogène/vecteur). Puis, à l’aide de séquences d’ADN mitochondrial, je comparerai la phylogéographie des deux principales espèces de souris au Québec, la souris à pattes blanches et la souris sylvestre (P. maniculatus). Des analyses d’arbres et de réseaux d’haplotypes ont révélé des différences significatives dans la structure génétique et ainsi montré que les populations de P. leucopus seraient en expansion dans le sud du Québec. Cette étude nous a finalement permis d’émettre des hypothèses sur le patron d’établissement de la maladie de Lyme au Québec.

Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Les modèles vectoriels et multiplicatifs avec erreurs non-négatives de séries chronologiques.

L'objectif du présent mémoire vise à présenter des modèles de séries chronologiques multivariés impliquant des vecteurs aléatoires dont chaque composante est non-négative. Nous considérons les modèles vMEM (modèles vectoriels et multiplicatifs avec erreurs non-négatives) présentés par Cipollini, Engle et Gallo (2006) et Cipollini et Gallo (2010). Ces modèles représentent une généralisation au cas multivarié des modèles MEM introduits par Engle (2002). Ces modèles trouvent notamment des applications avec les séries chronologiques financières. Les modèles vMEM permettent de modéliser des séries chronologiques impliquant des volumes d'actif, des durées, des variances conditionnelles, pour ne citer que ces applications. Il est également possible de faire une modélisation conjointe et d'étudier les dynamiques présentes entre les séries chronologiques formant le système étudié. Afin de modéliser des séries chronologiques multivariées à composantes non-négatives, plusieurs spécifications du terme d'erreur vectoriel ont été proposées dans la littérature. Une première approche consiste à considérer l'utilisation de vecteurs aléatoires dont la distribution du terme d'erreur est telle que chaque composante est non-négative. Cependant, trouver une distribution multivariée suffisamment souple définie sur le support positif est plutôt difficile, au moins avec les applications citées précédemment. Comme indiqué par Cipollini, Engle et Gallo (2006), un candidat possible est une distribution gamma multivariée, qui impose cependant des restrictions sévères sur les corrélations contemporaines entre les variables. Compte tenu que les possibilités sont limitées, une approche possible est d'utiliser la théorie des copules. Ainsi, selon cette approche, des distributions marginales (ou marges) peuvent être spécifiées, dont les distributions en cause ont des supports non-négatifs, et une fonction de copule permet de tenir compte de la dépendance entre les composantes. Une technique d'estimation possible est la méthode du maximum de vraisemblance. Une approche alternative est la méthode des moments généralisés (GMM). Cette dernière méthode présente l'avantage d'être semi-paramétrique dans le sens que contrairement à l'approche imposant une loi multivariée, il n'est pas nécessaire de spécifier une distribution multivariée pour le terme d'erreur. De manière générale, l'estimation des modèles vMEM est compliquée. Les algorithmes existants doivent tenir compte du grand nombre de paramètres et de la nature élaborée de la fonction de vraisemblance. Dans le cas de l'estimation par la méthode GMM, le système à résoudre nécessite également l'utilisation de solveurs pour systèmes non-linéaires. Dans ce mémoire, beaucoup d'énergies ont été consacrées à l'élaboration de code informatique (dans le langage R) pour estimer les différents paramètres du modèle. Dans le premier chapitre, nous définissons les processus stationnaires, les processus autorégressifs, les processus autorégressifs conditionnellement hétéroscédastiques (ARCH) et les processus ARCH généralisés (GARCH). Nous présentons aussi les modèles de durées ACD et les modèles MEM. Dans le deuxième chapitre, nous présentons la théorie des copules nécessaire pour notre travail, dans le cadre des modèles vectoriels et multiplicatifs avec erreurs non-négatives vMEM. Nous discutons également des méthodes possibles d'estimation. Dans le troisième chapitre, nous discutons les résultats des simulations pour plusieurs méthodes d'estimation. Dans le dernier chapitre, des applications sur des séries financières sont présentées. Le code R est fourni dans une annexe. Une conclusion complète ce mémoire.

De la diversité des équipes : étude du rôle des vecteurs de failles sur la performance.

Malgré que plus de 50 ans nous séparent des premières études empiriques s’attardant à la diversité dans les équipes de travail, il demeure difficile de tirer des conclusions claires et cohérentes quant à la nature et à la direction des relations qu’elle entretient avec la performance groupale. Ce constat a amené de nombreux auteurs à formuler diverses recommandations visant à sortir le domaine de recherche de l’impasse. Dans un contexte où, d’une part, les organisations tendent à s’appuyer de plus en plus sur des équipes afin d’assurer leur efficacité et, d’autre part, la diversité ne cesse de s’accroitre au rythme de l’immigration et de la spécialisation du savoir, il devient particulièrement pertinent de poursuivre les efforts de recherche en fonction de ces recommandations afin de clarifier les impacts de la diversité sur la performance. La présente thèse s’inscrit dans un courant de recherche en pleine croissance qui répond aux appels des chercheurs du domaine et qui vise à évaluer les effets de la structure de la diversité plutôt qu’uniquement ceux de la quantité de diversité dans les équipes. La théorie des vecteurs de failles (Lau & Murnighan, 1998), qui sont des lignes hypothétiques divisant les membres d’une équipe lorsque des caractéristiques de diversité concordent et créent des sous-groupes homogènes, constitue une avancée majeure à cet effet. Toutefois, certains résultats empiriques contradictoires à son sujet mettent en lumière l’importance de prendre en considération l’ensemble des recommandations qui ont été formulés à l’intention des chercheurs du domaine de la diversité. À travers la lentille des vecteurs de failles, la thèse vise à approfondir notre compréhension du rôle de la diversité sur la performance des équipes en mettant en pratique ces diverses recommandations, qui invitent à examiner le rôle des mécanismes médiateurs ainsi que des effets modérateurs pouvant intervenir dans cette relation, à préciser les typologies employées et à prendre en considération l’influence du contexte dans lequel évoluent les équipes de travail. Le premier article constitue un effort de synthèse empirique cherchant à préciser les effets différenciés que peuvent avoir divers types de failles sur divers types de performance et à évaluer le rôle modérateur que joue le type d’équipe étudié dans ces relations. Les résultats de la méta-analyse, menée à l’aide d’un échantillon de 38 études comprenant 3046 équipes, viennent nuancer ceux précédemment rapportés dans la documentation scientifique et montrent que les failles ont un effet négatif sur la performance comportementale mais pas sur la performance de résultats. De plus, le type d’équipe modère cette relation de sorte que celle-ci est plus fortement négative pour les équipes de projet et les équipes de gestion. Le deuxième article évalue empiriquement l’effet des vecteurs de faille informationnels sur une dimension spécifique de la performance, l’adaptabilité d’équipe, en examinant le rôle médiateur de la coordination implicite ainsi que l’effet modérateur de la clarté des rôles et responsabilités. Une analyse de médiation modérée auprès d’un échantillon de 14 équipes de projet révèle que la coordination implicite médie la relation négative entre les vecteurs de faille informationnels et l’adaptabilité d’équipe. De plus, cette relation est plus fortement négative lorsque les rôles et responsabilités des équipiers sont clairs ou très clairs. Les implications théoriques et pratiques des résultats obtenus sont discutées.

Étude de cas sur l’ajout de vecteurs d’enregistrements typés dans Gambit Scheme

Dans le but d’optimiser la représentation en mémoire des enregistrements Scheme dans le compilateur Gambit, nous avons introduit dans celui-ci un système d’annotations de type et des vecteurs contenant une représentation abrégée des enregistrements. Ces derniers omettent la référence vers le descripteur de type et l’entête habituellement présents sur chaque enregistrement et utilisent plutôt un arbre de typage couvrant toute la mémoire pour retrouver le vecteur contenant une référence. L’implémentation de ces nouvelles fonctionnalités se fait par le biais de changements au runtime de Gambit. Nous introduisons de nouvelles primitives au langage et modifions l’architecture existante pour gérer correctement les nouveaux types de données. On doit modifier le garbage collector pour prendre en compte des enregistrements contenants des valeurs hétérogènes à alignements irréguliers, et l’existence de références contenues dans d’autres objets. La gestion de l’arbre de typage doit aussi être faite automatiquement. Nous conduisons ensuite une série de tests de performance visant à déterminer si des gains sont possibles avec ces nouvelles primitives. On constate une amélioration majeure de performance au niveau de l’allocation et du comportement du gc pour les enregistrements typés de grande taille et des vecteurs d’enregistrements typés ou non. De légers surcoûts sont toutefois encourus lors des accès aux champs et, dans le cas des vecteurs d’enregistrements, au descripteur de type.

Non invasive classification system of scoliosis curve types using least-squares support vector machines

Objective To determine scoliosis curve types using non invasive surface acquisition, without prior knowledge from X-ray data. Methods Classification of scoliosis deformities according to curve type is used in the clinical management of scoliotic patients. In this work, we propose a robust system that can determine the scoliosis curve type from non invasive acquisition of the 3D back surface of the patients. The 3D image of the surface of the trunk is divided into patches and local geometric descriptors characterizing the back surface are computed from each patch and constitute the features. We reduce the dimensionality by using principal component analysis and retain 53 components using an overlap criterion combined with the total variance in the observed variables. In this work, a multi-class classifier is built with least-squares support vector machines (LS-SVM). The original LS-SVM formulation was modified by weighting the positive and negative samples differently and a new kernel was designed in order to achieve a robust classifier. The proposed system is validated using data from 165 patients with different scoliosis curve types. The results of our non invasive classification were compared with those obtained by an expert using X-ray images. Results The average rate of successful classification was computed using a leave-one-out cross-validation procedure. The overall accuracy of the system was 95%. As for the correct classification rates per class, we obtained 96%, 84% and 97% for the thoracic, double major and lumbar/thoracolumbar curve types, respectively. Conclusion This study shows that it is possible to find a relationship between the internal deformity and the back surface deformity in scoliosis with machine learning methods. The proposed system uses non invasive surface acquisition, which is safe for the patient as it involves no radiation. Also, the design of a specific kernel improved classification performance.

A study on the Immobilizaton of Enzymes on Polymeric Supports

This work was focused to study the immobilization of enzymes on polymers. A large range of polymer matrices have been employed as supports for enzyme immobilization. Here polyaniline (PAN!) and poly(0~toluidine) (POT) were used as supports. PANI and POT provides an excellent support for enzyme immobilization by virtue of its facile synthesis, superior chemical and physical stabilities, and large retention capacity. We selected industrially important starch hydrolyzing enzymes a-amylase and glucoamylase for the study. In this work the selected enzymes were immobilized via adsorption and covalent bonding methods.To optimize the catalytic efficiency and stability of the resulting biocatalysts, the attempt was made to understand the immobilization effects on enzymatic properties. The effect of pH of the immobilization medium, time of immobilization on the immobilization efficiency was observed. The starch hydrolyzing activity of free 0:-amylase and glucoamylase were compared with immobilized forms. Immobilization on solid supports changes the microenvironment of the enzyme there by influences the pH and temperature relationship on the enzymatic activity. Hence these parameters also optimized. The reusability and storage stability of immobilized enzymes an important aspect from an application standpoint, especially in industrial applications. Taking in to consideration of this, the reusability and the long tenn storage stability of the immobilized enzyme investigated.

Ordered mesoporous silica as supports for immobilization of biocatalyst

Mesoporous materials are of great interest to the materials community because of their potential applications for catalysis,separation of large molecules,medical implants,semiconductors,magnetoelectric devices.The thesis entitled 'Ordered Mesoporous Silica as supports for immobilization of Biocatalyst' presents how the pore size can be tuned without the loss in ordered structure for the entrapment of an industially important biocatalyst-amylase.Immobilization of enzymes on ordered mesoporous material has triggered new ooportunities for stabilizing enzymes with improved intrinsic and operational stabilities.

Concurrent Aggregates (CA): An Object-Oriented Language for Fine-Grained Message-Passing Machines

Fine-grained parallel machines have the potential for very high speed computation. To program massively-concurrent MIMD machines, programmers need tools for managing complexity. These tools should not restrict program concurrency. Concurrent Aggregates (CA) provides multiple-access data abstraction tools, Aggregates, which can be used to implement abstractions with virtually unlimited potential for concurrency. Such tools allow programmers to modularize programs without reducing concurrency. I describe the design, motivation, implementation and evaluation of Concurrent Aggregates. CA has been used to construct a number of application programs. Multi-access data abstractions are found to be useful in constructing highly concurrent programs.

A Hierarchical Cache Coherent Protocol

As the number of processors in distributed-memory multiprocessors grows, efficiently supporting a shared-memory programming model becomes difficult. We have designed the Protocol for Hierarchical Directories (PHD) to allow shared-memory support for systems containing massive numbers of processors. PHD eliminates bandwidth problems by using a scalable network, decreases hot-spots by not relying on a single point to distribute blocks, and uses a scalable amount of space for its directories. PHD provides a shared-memory model by synthesizing a global shared memory from the local memories of processors. PHD supports sequentially consistent read, write, and test- and-set operations. This thesis also introduces a method of describing locality for hierarchical protocols and employs this method in the derivation of an abstract model of the protocol behavior. An embedded model, based on the work of Johnson[ISCA19], describes the protocol behavior when mapped to a k-ary n-cube. The thesis uses these two models to study the average height in the hierarchy that operations reach, the longest path messages travel, the number of messages that operations generate, the inter-transaction issue time, and the protocol overhead for different locality parameters, degrees of multithreading, and machine sizes. We determine that multithreading is only useful for approximately two to four threads; any additional interleaving does not decrease the overall latency. For small machines and high locality applications, this limitation is due mainly to the length of the running threads. For large machines with medium to low locality, this limitation is due mainly to the protocol overhead being too large. Our study using the embedded model shows that in situations where the run length between references to shared memory is at least an order of magnitude longer than the time to process a single state transition in the protocol, applications exhibit good performance. If separate controllers for processing protocol requests are included, the protocol scales to 32k processor machines as long as the application exhibits hierarchical locality: at least 22% of the global references must be able to be satisfied locally; at most 35% of the global references are allowed to reach the top level of the hierarchy.

Reconfigurable Architectures for General-Purpose Computing

General-purpose computing devices allow us to (1) customize computation after fabrication and (2) conserve area by reusing expensive active circuitry for different functions in time. We define RP-space, a restricted domain of the general-purpose architectural space focussed on reconfigurable computing architectures. Two dominant features differentiate reconfigurable from special-purpose architectures and account for most of the area overhead associated with RP devices: (1) instructions which tell the device how to behave, and (2) flexible interconnect which supports task dependent dataflow between operations. We can characterize RP-space by the allocation and structure of these resources and compare the efficiencies of architectural points across broad application characteristics. Conventional FPGAs fall at one extreme end of this space and their efficiency ranges over two orders of magnitude across the space of application characteristics. Understanding RP-space and its consequences allows us to pick the best architecture for a task and to search for more robust design points in the space. Our DPGA, a fine- grained computing device which adds small, on-chip instruction memories to FPGAs is one such design point. For typical logic applications and finite- state machines, a DPGA can implement tasks in one-third the area of a traditional FPGA. TSFPGA, a variant of the DPGA which focuses on heavily time-switched interconnect, achieves circuit densities close to the DPGA, while reducing typical physical mapping times from hours to seconds. Rigid, fabrication-time organization of instruction resources significantly narrows the range of efficiency for conventional architectures. To avoid this performance brittleness, we developed MATRIX, the first architecture to defer the binding of instruction resources until run-time, allowing the application to organize resources according to its needs. Our focus MATRIX design point is based on an array of 8-bit ALU and register-file building blocks interconnected via a byte-wide network. With today's silicon, a single chip MATRIX array can deliver over 10 Gop/s (8-bit ops). On sample image processing tasks, we show that MATRIX yields 10-20x the computational density of conventional processors. Understanding the cost structure of RP-space helps us identify these intermediate architectural points and may provide useful insight more broadly in guiding our continual search for robust and efficient general-purpose computing structures.

Comparing Support Vector Machines with Gaussian Kernels to Radial Basis Function Classifiers

The Support Vector (SV) machine is a novel type of learning machine, based on statistical learning theory, which contains polynomial classifiers, neural networks, and radial basis function (RBF) networks as special cases. In the RBF case, the SV algorithm automatically determines centers, weights and threshold such as to minimize an upper bound on the expected test error. The present study is devoted to an experimental comparison of these machines with a classical approach, where the centers are determined by $k$--means clustering and the weights are found using error backpropagation. We consider three machines, namely a classical RBF machine, an SV machine with Gaussian kernel, and a hybrid system with the centers determined by the SV method and the weights trained by error backpropagation. Our results show that on the US postal service database of handwritten digits, the SV machine achieves the highest test accuracy, followed by the hybrid approach. The SV approach is thus not only theoretically well--founded, but also superior in a practical application.

Properties of Support Vector Machines

Support Vector Machines (SVMs) perform pattern recognition between two point classes by finding a decision surface determined by certain points of the training set, termed Support Vectors (SV). This surface, which in some feature space of possibly infinite dimension can be regarded as a hyperplane, is obtained from the solution of a problem of quadratic programming that depends on a regularization parameter. In this paper we study some mathematical properties of support vectors and show that the decision surface can be written as the sum of two orthogonal terms, the first depending only on the margin vectors (which are SVs lying on the margin), the second proportional to the regularization parameter. For almost all values of the parameter, this enables us to predict how the decision surface varies for small parameter changes. In the special but important case of feature space of finite dimension m, we also show that there are at most m+1 margin vectors and observe that m+1 SVs are usually sufficient to fully determine the decision surface. For relatively small m this latter result leads to a consistent reduction of the SV number.

Notes on PCA, Regularization, Sparsity and Support Vector Machines

We derive a new representation for a function as a linear combination of local correlation kernels at optimal sparse locations and discuss its relation to PCA, regularization, sparsity principles and Support Vector Machines. We first review previous results for the approximation of a function from discrete data (Girosi, 1998) in the context of Vapnik"s feature space and dual representation (Vapnik, 1995). We apply them to show 1) that a standard regularization functional with a stabilizer defined in terms of the correlation function induces a regression function in the span of the feature space of classical Principal Components and 2) that there exist a dual representations of the regression function in terms of a regularization network with a kernel equal to a generalized correlation function. We then describe the main observation of the paper: the dual representation in terms of the correlation function can be sparsified using the Support Vector Machines (Vapnik, 1982) technique and this operation is equivalent to sparsify a large dictionary of basis functions adapted to the task, using a variation of Basis Pursuit De-Noising (Chen, Donoho and Saunders, 1995; see also related work by Donahue and Geiger, 1994; Olshausen and Field, 1995; Lewicki and Sejnowski, 1998). In addition to extending the close relations between regularization, Support Vector Machines and sparsity, our work also illuminates and formalizes the LFA concept of Penev and Atick (1996). We discuss the relation between our results, which are about regression, and the different problem of pattern classification.