EEG alpha activity reflects motor preparation rather than the mode of action selection

Alpha-band activity (8-13 Hz) is not only suppressed by sensory stimulation and movements, but also modulated by attention, working memory and mental tasks, and could be sensitive to higher motor control functions. The aim of the present study was to examine alpha oscillatory activity during the preparation of simple left or right finger movements, contrasting the external and internal mode of action selection. Three preparation conditions were examined using a precueing paradigm with S1 as the preparatory and S2 as the imperative cue: Full, laterality instructed by S1; Free, laterality freely selected and None, laterality instructed by S2. Time-frequency (TF) analysis was performed in the alpha frequency range during the S1-S2 interval, and alpha motor-related amplitude asymmetries (MRAA) were also calculated. The significant MRAA during the Full and Free conditions indicated effective external and internal motor response preparation. In the absence of specific motor preparation (None), a posterior alpha event-related desynchronization (ERD) dominated, reflecting the main engagement of attentional resources. In Full and Free motor preparation, posterior alpha ERD was accompanied by a midparietal alpha event-related synchronization (ERS), suggesting a concomitant inhibition of task-irrelevant visual activity. In both Full and Free motor preparation, analysis of alpha power according to MRAA amplitude revealed two types of functional activation patterns: (1) a motor alpha pattern, with predominantly midparietal alpha ERS and large MRAA corresponding to lateralized motor activation/visual inhibition and (2) an attentional alpha pattern, with dominating right posterior alpha ERD and small MRAA reflecting visuospatial attention. The present results suggest that alpha oscillatory patterns do not resolve the selection mode of action, but rather distinguish separate functional strategies of motor preparation.

An adenovirus-based fluorescent reporter vector to identify and isolate HIV-infected cells.

A procedure is described that allows the simple identification and sorting of live human cells that transcribe actively the HIV virus, based on the detection of GFP fluorescence in cells. Using adenoviral vectors for gene transfer, an expression cassette including the HIV-1 LTR driving the reporter gene GFP was introduced into cells that expressed stably either the Tat transcriptional activator, or an inactive mutant of Tat. Both northern and fluorescence-activated cell sorting (FACS) analysis indicate that cells containing the functional Tat protein presented levels of GFP mRNA and GFP fluorescence several orders of magnitude higher than control cells. Correspondingly, cells infected with HIV-1 showed similar enhanced reporter gene activation. HIV-1-infected cells of the lymphocytic line Jurkat were easily identified by fluorescence-activated cell sorting (FACS) as they displayed a much higher green fluorescence after transduction with the reporter adenoviral vector. This procedure could also be applied on primary human cells as blood monocyte-derived macrophages exposed to the adenoviral LTR-GFP reporter presented a much higher fluorescence when infected with HIV-1 compared with HIV-uninfected cells. The vector described has the advantages of labelling cells independently of their proliferation status and that analysis can be carried on intact cells which can be isolated subsequently by fluorescence-activated cell sorting (FACS) for further culture. This work suggests that adenoviral vectors carrying a virus-specific transcriptional control element controlling the expressions of a fluorescent protein will be useful in the identification and isolation of cells transcribing actively the viral template, and to be of use for drug screening and susceptibility assays.

Simultaneous coexpression of memory-related and effector-related genes by individual human CD8 T cells depends on antigen specificity and differentiation.

Phenotypic and functional cell properties are usually analyzed at the level of defined cell populations but not single cells. Yet, large differences between individual cells may have important functional consequences. It is likely that T-cell-mediated immunity depends on the polyfunctionality of individual T cells, rather than the sum of functions of responding T-cell subpopulations. We performed highly sensitive single-cell gene expression profiling, allowing the direct ex vivo characterization of individual virus-specific and tumor-specific T cells from healthy donors and melanoma patients. We have previously shown that vaccination with the natural tumor peptide Melan-A-induced T cells with superior effector functions as compared with vaccination with the analog peptide optimized for enhanced HLA-A*0201 binding. Here we found that natural peptide vaccination induced tumor-reactive CD8 T cells with frequent coexpression of both memory/homing-associated genes (CD27, IL7R, EOMES, CXCR3, and CCR5) and effector-related genes (IFNG, KLRD1, PRF1, and GZMB), comparable with protective Epstein-Barr virus-specific and cytomegalovirus-specific T cells. In contrast, memory/homing-associated and effector-associated genes were less frequently coexpressed after vaccination with the analog peptide. Remarkably, these findings reveal a previously unknown level of gene expression diversity among vaccine-specific and virus-specific T cells with the simultaneous coexpression of multiple memory/homing-related and effector-related genes by the same cell. Such broad functional gene expression signatures within antigen-specific T cells may be critical for mounting efficient responses to pathogens or tumors. In summary, direct ex vivo high-resolution molecular characterization of individual T cells provides key insights into the processes shaping the functional properties of tumor-specific and virus-specific T cells.

Ex vivo detectable human CD8 T-cell responses to cancer-testis antigens.

Clinical trials have shown that strong tumor antigen-specific CD8 T-cell responses are difficult to induce but can be achieved for T-cells specific for melanoma differentiation antigens, upon repetitive vaccination with stable emulsions prepared with synthetic peptides and incomplete Freund's adjuvant. Here, we show in four melanoma patients that ex vivo detectable T-cells and thus strong T-cell responses can also be induced against the more universal cancer-testis antigens NY-ESO-1 and Mage-A10. Interestingly, all patients had ex vivo detectable T-cell responses against multiple antigens after serial vaccinations with three peptides emulsified in incomplete Freund's adjuvant. Antigen-specific T-cells displayed an activated phenotype and secreted IFNgamma. The robust immune responses provide a solid basis for further development of human T-cell vaccination.

Differential miRNA and IncRNA expression in embryonic stem cells lacking the Notch1 receptor

Embryonic stem (ES) cells-derived cardiomyocytes represent an attractive source of cells in cell replacement therapies for heart disease. However, controlled cardiogenic differentiation of ES cells requires a complete understanding of the complex molecular mechanisms regulating the differentiation process. We have previously shown that differentiation of ES cells into cardiomyocytes is favored by inactivation of the Notch 1 receptor pathway. In the present study, we therefore compared two ES cell lines, one with normal Notchl expression and one carrying deleted Notchl receptor alleles (Notchl-deleted ES cells) in order to identify genes responsible for the increased propensity of Notchl-deleted ES cells to produce cardiomyocytes. Using RNA-sequencing, we found approximately 300 coding and noncoding transcripts, which are differently expressed in undifferentiated Notchl-deleted ES cells. Since accumulating evidences indicate that long noncoding RNAs (IncRNAs) play important roles in ES cell pluripotency and differentiation, we focused our analysis on modulated IncRNAs. In particular, two IncRNAs, named here lnc 1230 and lnc 1335, are highly induced in the absence of Notchl receptor expression. These represent therefore prime candidates that could favor cardiogenic commitment in undifferentiated ES cells. Indeed, we demonstrate that forced expression of these two IncRNAs in wild-type ES cells result in a significant increase of the number of cardiac progenitor cells and cardiomyocytes in the differentiated progeny of these ES cells. Furthermore, we also identify several microRNAs that are differentially modulated in absence of Notchl expression. Among these are miR-142-5p and miR- 381-3p. Interestingly, both lncl230 and lncl335 are targets of these two microRNAs. Altogether, these data suggest that Notchl-dependent noncoding gene networks, implicating microRNAs and IncRNAs, control embryonic stem cell commitment into the mesodermal and cardiac lineages already at the undifferentiated state. - Les cardiomyocytes issus cellules souches embryonnaires sont une source très prometteuse pour les thérapies cellulaire de remplacement dans le cadre des maladies cardiaques. Cependant, l'utilisation de telles cellules requiert une compréhension poussée des mécanismes moléculaire régulant la différenciation. Nous avons par le passé démontré que la différenciation des cellules souches embryonnaires en cardiomyocytes est favorisée par l'inactivation de la voie d'activation intracellulaire dépendante du récepteur Notch 1. Nous avons donc comparé deux lignées de cellules souches embryonnaires, une présentant une voie d'activation Notchl normale et une chez laquelle les allèles codant pour le récepteur Notchl avaient été invalidés, de façon à identifier les gènes impliqués dans la capacité augmentée des cellules déficientes à produire des cardiomyocytes. En utilisant du séquençage d'ARN à haut débit, nous avons trouvé environ 300 gènes différemment exprimés dans les cellules déficientes pour Notchl. Par ailleurs, des évidences de plus en plus nombreuses suggèrent qu'une nouvelle classe de molécules appelée « long noncoding RNAs » joue un rôle prépondérant dans la maintenance de l'état non différencié et de la capacité de différenciation des cellules souches embryonnaires. Nous avons trouvé que plusieurs « long noncoding RNAs » étaient modulés en l'absence de Notchl, et en particulier deux molécules que nous avons appelées lncl230 et lncl335. Ces derniers représentent des candidats potentiels devant permettre de favoriser la production de cardiomyocytes. Nous avons en effet démontré que la surexpression de ces deux candidats dans des cellules souches embryonnaires résultait en une surproduction de cardiomyocytes. De plus, nous avons également identifié plusieurs microRNAs dont l'expression était modulée dans les cellules souches embryonnaires déficientes dans la voie Notchl. De façon intéressante, parmi ces microRNAs, le miR-142-5p et le miR-381-3p sont capables de cibler lncl230 and lncl335. Dans l'ensemble, ces résultats indiquent donc que des réseaux d'interaction dépendant de la voie d'activation Notch 1 et impliquant des ARNs non codant existent dans les cellules souches embryonnaires pour réguler leur différenciation en différent types cellulaires spécifiques.

Allosteric conversation in the androgen receptor ligand-binding domain surfaces

Androgen receptor (AR) is a major therapeutic target that plays pivotal roles in prostate cancer (PCa) and androgen insensitivity syndromes. We previously proposed that compounds recruited to ligand-binding domain (LBD) surfaces could regulate AR activity in hormone-refractory PCa and discovered several surface modulators of AR function. Surprisingly, the most effective compounds bound preferentially to a surface of unknown function [binding function 3 (BF-3)] instead of the coactivator-binding site [activation function 2 (AF-2)]. Different BF-3 mutations have been identified in PCa or androgen insensitivity syndrome patients, and they can strongly affect AR activity. Further, comparison of AR x-ray structures with and without bound ligands at BF-3 and AF-2 showed structural coupling between both pockets. Here, we combine experimental evidence and molecular dynamic simulations to investigate whether BF-3 mutations affect AR LBD function and dynamics possibly via allosteric conversation between surface sites. Our data indicate that AF-2 conformation is indeed closely coupled to BF-3 and provide mechanistic proof of their structural interconnection. BF-3 mutations may function as allosteric elicitors, probably shifting the AR LBD conformational ensemble toward conformations that alter AF-2 propensity to reorganize into subpockets that accommodate N-terminal domain and coactivator peptides. The induced conformation may result in either increased or decreased AR activity. Activating BF-3 mutations also favor the formation of another pocket (BF-4) in the vicinity of AF-2 and BF-3, which we also previously identified as a hot spot for a small compound. We discuss the possibility that BF-3 may be a protein-docking site that binds to the N-terminal domain and corepressors. AR surface sites are attractive pharmacological targets to develop allosteric modulators that might be alternative lead compounds for drug design.

Contribution of estrogen and GluN2B subunit to the HtraKO mouse phenotype

Htr1a is one of the most widespread serotonin receptor across the brain, strongly expressed in CAI region of hippocampus. Our laboratory studies the phenotypic alteration in 5HTla- deficient mice (Htr1aK0), characterized an abnormal anxious-like behavior. Our aim is to evaluate the regulation of this cognitive process by understanding the circuitry involved. This phenotype sets up early during development and has durable effect in adulthood. Our laboratory showed that adult Htr1aK0 male mice displaying exuberant dendritic growth of oblique dendrites in a specific layer of a CAI pyramidal neurons, the stratum radiatum. Application of drugs in organotypic cultures and by in vivo injections revealed that GluN2B, a subunit of NMDA receptor highly expressed during development, is responsible for this dendritic exuberance. Immunohistochemistry highlighted in particular a synaptic enrichment of GluN2B in stratum radiatum of Htr1aK0 CAI pyramidal neurons at puberty. Finally, original analysis of Htr1aK0 mouse behavior showed a different response to anxiety between male and female. Htr1a activation down-regulates the CaMKII activity in the CAI pyramidal neurons. CaMKII directly favors the membrane conductance and stability of GluN2B at the synapse. In the context of the Htr1aK0 mouse, GluN2B is the final common pathway of our phenotype. This subunit is well known to regulate the threshold of LTD/LTP and the dendritogenesis during development. In my thesis, I establish a link between the gender differences in the morphology and the physiology in the Htr1aK0 mice during development to understand how these characteristics shape the circuit with prominent cognitive impacts in adulthood. My study highlighted that during development, Htr1aK0 male mice show a constant increase of the dendritic growth of oblique dendrites from early ages until adulthood associated with an increased physiological impact of altered GluN2A/GluN2B ratio. Whereas during puberty, synaptic contribution of GluN2B to NMDA response is higher in Htr1aK0 compared to WT male mice, this ratio comes back to normal values towards adulthood. However, this recovery of the ratio of GluN2A/GluN2B located at the synaptic level is concomitant with the lateral diffusion of excess GluN2B subunits, leading to extrasynaptic enrichment. The main impact was a lowering of the LTP threshold characterized by strong increased potentiation of synaptic strength after 5 Hz low frequency stimulation. Moreover, the extrasynaptic GluN2B overexpression leads to a shift of the maturation phase switch explaining the exuberant morphology. However, Htr1aK0 females characterized during the 3 first weeks of development by an increase of the dendritic growth of oblique dendrites showed starting at puberty that the dendrite arborization returns progressively to WT values. The physiological impact of GluN2B was investigated and directly linked to this morphology, since Htr1aK0 female mice does not show alteration of the synaptic strength during development. These observations show a compensation occurring in Htr1aK0 female, responsible for a rescue of the phenotype morphologically, physiologically and to be tested behaviorally. We highlighted then the biological processes underlying this compensation. During development, sexual hormones such as testosterone and estrogen are responsible to induce sexual differentiation of specific brain regions. I demonstrated that estrogen, but not testosterone, was able to reduce both in vitro and in vivo the dendritic arborization early during development, through activation of GPER-1, a G-coupled protein estrogen receptor, which phenocopy the activation of Htr1a by reducing GluN2B conductance and stability. I then identified a pathway, parallel to Htr1a, able to regulate GluN2B and responsible for the morphological and physiological phenotype in Htr1aK0 female mice. The specific rise of estrogen occurring at puberty in female is responsible for the compensation observed and induces a late rescue of the Htr1aK0 phenotype by activation GPER-1. -- Htr1a est un des récepteurs à la sérotonine les plus répandus dans le cerveau, fortement exprimé dans la région CAI de l'hippocampe. Notre laboratoire étudie les altérations phénotypiques de souris déficientes pour ce récepteur (Htr1aK0), caractérisées par un comportement avec des traits anxieux. Notre objectif est d'évaluer la régulation de ces processus cognitifs en comprenant les connexions nerveuses impliquées. Ce phénotype se met en place tôt au cours du développement et présente un effet durable à l'âge adulte. Notre laboratoire a montré que les souris Htr1aK0 mâles adultes se caractérisent par une croissance exubérante des dendrites obliques dans une couche spécifique des neurones pyramidaux du CAI, le stratum radiatum. L'application de drogues sur cultures organotypiques et par injections in vivo ont révélé que GluN2B, une sous-unité du récepteur NMDA fortement exprimée au cours du développement, est responsable de cette exubérance dendritique. Des expériences d'immunohistochimie ont notamment mis en évidence un enrichissement synaptique de GluN2B durant la puberté dans le stratum radiatum des neurones de la région CAI des souris Htr1aK0. Finalement, l'analyse originale du comportement des souris Htr1aK0 a montré une différence de réponse à l'anxiété entre mâles et femelles. L'activation de Htr1a diminue l'activité de la CaMKII dans les neurones pyramidaux du CAI. La CaMKII favorise directement la conductance et la stabilité de la sous-unité GluN2B à la synapse. Dans le contexte de la souris Htr1aK0, GluN2B est le « médiateur » de notre phénotype. Cette sous-unité est particulièrement connue pour réguler le seuil de LTD-LTP ainsi que la dendritogénèse durant le développement. Dans ma thèse, j'ai établi le lien entre les différences dépendant du genre dans la morphologie et physiologie des souris Htr1aK0 au cours du développement pour comprendre comment ces caractéristiques modulent le circuit accompagnés d'impacts cognitifs visibles à l'âge adulte. Mon étude a mis en évidence que durant le développement, les souris mâles Htr1aK0 montrent une constante augmentation de la croissance des dendrites obliques entre les premières semaines et l'âge adulte associée à une augmentation de l'impact physiologique du ratio GluN2A/GluN2B altéré. Alors que durant la puberté, la contribution synaptique de GluN2B à la réponse NMDA est plus haute chez la souris mâle Htr1aK0 que le WT, ce ratio revient à des valeurs normales à l'âge adulte. Cependant, cette récupération de l'expression du récepteur au niveau synaptique est concomitante avec la diffusion des sous-unités GluN2B excédantes, amenant alors à un enrichissement extrasynaptique. Le principal impact est une diminution du seuil de la LTP caractérisée par une forte potentiation de la plasticité après une stimulation basse fréquence à 5 Hz. De plus, la surexpression des GluN2B extrasynaptiques conduit à un décalage de la bascule à la phase de maturation, expliquant la morphologie dendritique exubérante. Cependant, les femelles Htr1aK0 initialement caractérisées pendant les 3 premières semaines du développement par une augmentation de la croissance des dendrites obliques montrent à partir de la puberté que cette arborisation dendritique retourne à des valeurs WT. L'impact physiologique de GLuN2B a été investigué et mis en lien avec cette morphologie, étant donné que les femelles Htr1aK0 ne montrent pas d'altération de la plasticité durant le développement. Ces observations montrent une compensation se produisant chez la femelle Htr1aK0, responsable d'une récupération du phénotype morphologique, physiologique et peut-être comportemental. Nous avons souligné les processus biologiques sous-jacent à cette compensation. Au cours du développement, les hormones sexuelles telles que la testostérone et l'estrogène sont responsables de la différentiation sexuelle de régions du cerveau spécifiques. J'ai démontré que l'estrogène, mais pas la testostérone, était capable de réduire in vitro et in vivo l'arborisation dendritique tôt dans le développement au travers de l'activation du récepteur GPER-1, un récepteur aux estrogènes couplés à un protéine G, qui phénocopie l'activation de Htr1a en réduisant la conductance et la stabilité de GluN2B à la membrane. J'ai identifié une voie de signalisation parallèle à celle de Htr1a, capable de réguler GluN2B et responsable du phénotype morphologique et physiologique de la souris femelle Htr1aK0. La montée spécifique d'estrogène se déroulant à la puberté chez la femelle est responsable de cette compensation et implique une récupération tardive du phénotype Htr1aK0 par l'activation de GPER-1.

Training deep convolutional architectures for vision

Les tâches de vision artificielle telles que la reconnaissance d’objets demeurent irrésolues à ce jour. Les algorithmes d’apprentissage tels que les Réseaux de Neurones Artificiels (RNA), représentent une approche prometteuse permettant d’apprendre des caractéristiques utiles pour ces tâches. Ce processus d’optimisation est néanmoins difficile. Les réseaux profonds à base de Machine de Boltzmann Restreintes (RBM) ont récemment été proposés afin de guider l’extraction de représentations intermédiaires, grâce à un algorithme d’apprentissage non-supervisé. Ce mémoire présente, par l’entremise de trois articles, des contributions à ce domaine de recherche. Le premier article traite de la RBM convolutionelle. L’usage de champs réceptifs locaux ainsi que le regroupement d’unités cachées en couches partageant les même paramètres, réduit considérablement le nombre de paramètres à apprendre et engendre des détecteurs de caractéristiques locaux et équivariant aux translations. Ceci mène à des modèles ayant une meilleure vraisemblance, comparativement aux RBMs entraînées sur des segments d’images. Le deuxième article est motivé par des découvertes récentes en neurosciences. Il analyse l’impact d’unités quadratiques sur des tâches de classification visuelles, ainsi que celui d’une nouvelle fonction d’activation. Nous observons que les RNAs à base d’unités quadratiques utilisant la fonction softsign, donnent de meilleures performances de généralisation. Le dernière article quand à lui, offre une vision critique des algorithmes populaires d’entraînement de RBMs. Nous montrons que l’algorithme de Divergence Contrastive (CD) et la CD Persistente ne sont pas robustes : tous deux nécessitent une surface d’énergie relativement plate afin que leur chaîne négative puisse mixer. La PCD à "poids rapides" contourne ce problème en perturbant légèrement le modèle, cependant, ceci génère des échantillons bruités. L’usage de chaînes tempérées dans la phase négative est une façon robuste d’adresser ces problèmes et mène à de meilleurs modèles génératifs.

Effets neurophysiologiques de la stimulation du nerf vague : implication dans le traitement de la dépression résistante et optimisation des paramètres de stimulation

La dépression est une pathologie grave qui, malgré de multiples stratégies thérapeutiques, demeure résistante chez un tiers des patients. Les techniques de stimulation cérébrale sont devenues une alternative intéressante pour les patients résistants à diverses pharmacothérapies. La stimulation du nerf vague (SNV) a ainsi fait preuve de son efficacité en clinique et a récemment été approuvée comme traitement additif pour la dépression résistante. Cependant, les mécanismes d’action de la SNV en rapport avec la dépression n’ont été que peu étudiés. Cette thèse a donc eu comme premier objectif de caractériser l’impact de la SNV sur les différents systèmes monoaminergiques impliqués dans la pathophysiologie de la dépression, à savoir la sérotonine (5-HT), la noradrénaline (NA) et la dopamine (DA), grâce à l’utilisation de techniques électrophysiologiques et de la microdialyse in vivo chez le rat. Des études précliniques avaient déjà révélé qu’une heure de SNV augmente le taux de décharge des neurones NA du locus coeruleus, et que 14 jours de stimulation sont nécessaires pour observer un effet comparable sur les neurones 5-HT. Notre travail a démontré que la SNV modifie aussi le mode de décharge des neurones NA qui présente davantage de bouffées, influençant ainsi la libération terminale de NA, qui est significativement augmentée dans le cortex préfrontal et l’hippocampe après 14 jours. L’augmentation de la neurotransmission NA s’est également manifestée par une élévation de l’activation tonique des récepteurs postsynaptiques α2-adrénergiques de l’hippocampe. Après lésion des neurones NA, nous avons montré que l’effet de la SNV sur les neurones 5-HT était indirect, et médié par le système NA, via l’activation des récepteurs α1-adrénergiques présents sur les neurones du raphé. Aussi, tel que les antidépresseurs classiques, la SNV augmente l’activation tonique des hétérorécepteurs pyramidaux 5-HT1A, dont on connait le rôle clé dans la réponse thérapeutique aux antidépresseurs. Par ailleurs, nous avons constaté que malgré une diminution de l’activité électrique des neurones DA de l’aire tegmentale ventrale, la SNV induit une augmentation de la DA extracellulaire dans le cortex préfrontal et particulièrement dans le noyau accumbens, lequel joue un rôle important dans les comportements de récompense et l’hédonie. Un deuxième objectif a été de caractériser les paramètres optimaux de SNV agissant sur la dépression, en utilisant comme indicateur le taux de décharge des neurones 5-HT. Des modalités de stimulation moins intenses se sont avérées aussi efficaces que les stimulations standards pour augmenter l’activité électrique des neurones 5-HT. Ces nouveaux paramètres de stimulation pourraient s’avérer bénéfiques en clinique, chez des patients ayant déjà répondu à la SNV. Ils pourraient minimiser les effets secondaires reliés aux périodes de stimulation et améliorer ainsi la qualité de vie des patients. Ainsi, ces travaux de thèse ont caractérisé l’influence de la SNV sur les trois systèmes monoaminergiques, laquelle s’avère en partie distincte de celle des antidépresseurs classiques tout en contribuant à son efficacité en clinique. D’autre part, les modalités de stimulation que nous avons définies seraient intéressantes à tester chez des patients recevant la SNV, car elles devraient contribuer à l’amélioration des bénéfices cliniques de cette thérapie.

Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Apprentissage des réseaux de neurones profonds et applications en traitement automatique de la langue naturelle

En apprentissage automatique, domaine qui consiste à utiliser des données pour apprendre une solution aux problèmes que nous voulons confier à la machine, le modèle des Réseaux de Neurones Artificiels (ANN) est un outil précieux. Il a été inventé voilà maintenant près de soixante ans, et pourtant, il est encore de nos jours le sujet d'une recherche active. Récemment, avec l'apprentissage profond, il a en effet permis d'améliorer l'état de l'art dans de nombreux champs d'applications comme la vision par ordinateur, le traitement de la parole et le traitement des langues naturelles. La quantité toujours grandissante de données disponibles et les améliorations du matériel informatique ont permis de faciliter l'apprentissage de modèles à haute capacité comme les ANNs profonds. Cependant, des difficultés inhérentes à l'entraînement de tels modèles, comme les minima locaux, ont encore un impact important. L'apprentissage profond vise donc à trouver des solutions, en régularisant ou en facilitant l'optimisation. Le pré-entraînnement non-supervisé, ou la technique du ``Dropout'', en sont des exemples. Les deux premiers travaux présentés dans cette thèse suivent cette ligne de recherche. Le premier étudie les problèmes de gradients diminuants/explosants dans les architectures profondes. Il montre que des choix simples, comme la fonction d'activation ou l'initialisation des poids du réseaux, ont une grande influence. Nous proposons l'initialisation normalisée pour faciliter l'apprentissage. Le second se focalise sur le choix de la fonction d'activation et présente le rectifieur, ou unité rectificatrice linéaire. Cette étude a été la première à mettre l'accent sur les fonctions d'activations linéaires par morceaux pour les réseaux de neurones profonds en apprentissage supervisé. Aujourd'hui, ce type de fonction d'activation est une composante essentielle des réseaux de neurones profonds. Les deux derniers travaux présentés se concentrent sur les applications des ANNs en traitement des langues naturelles. Le premier aborde le sujet de l'adaptation de domaine pour l'analyse de sentiment, en utilisant des Auto-Encodeurs Débruitants. Celui-ci est encore l'état de l'art de nos jours. Le second traite de l'apprentissage de données multi-relationnelles avec un modèle à base d'énergie, pouvant être utilisé pour la tâche de désambiguation de sens.

Global exponential periodicity of a class of neural networks with recent-history distributed delays

In this paper, we propose to study a class of neural networks with recent-history distributed delays. A sufficient condition is derived for the global exponential periodicity of the proposed neural networks, which has the advantage that it assumes neither the differentiability nor monotonicity of the activation function of each neuron nor the symmetry of the feedback matrix or delayed feedback matrix. Our criterion is shown to be valid by applying it to an illustrative system. (c) 2005 Elsevier Ltd. All rights reserved.

Stimulation of multiple mitogen-activated protein kinase sub-families by oxidative stress and phosphorylation of the small heat shock protein, HSP25/27, in neonatal ventricular myocytes.

We investigated the activation of three subfamilies of mitogen-activated protein kinases (MAPKs), namely the stress-activated protein kinases/c-Jun N-terminal kinases (SAPKs/JNKs), the extracellularly responsive kinases (ERKs) and p38-MAPK, by oxidative stress as exemplified by H2O2 in primary cultures of neonatal rat ventricular myocytes. The 46 and 54 kDa species of SAPKs/JNKs were activated 5- and 10-fold, respectively, by 0.1 mM H2O2 (the maximally effective concentration). Maximal activation occurred at 15-30 min, but was still detectable after 2 h. Both ERK1 and ERK2 were activated 16-fold by 0.1 mM H2O2 with a similar time course to the SAPKs/JNKs, and this was comparable with their activation by 1 microM PMA, the most powerful activator of ERKs that we have so far identified in these cells. The activation of ERKs by H2O2 was inhibited by PD98059, which inhibits the activation of MAPK (or ERK) kinases, and by the protein kinase C (PKC) inhibitor, GF109203X. ERK activation was also inhibited by down-regulation of PMA-sensitive PKC isoforms. p38-MAPK was activated by 0.1 mM H2O2 as shown by an increase in its phosphorylation. However, maximal phosphorylation (activation) was more rapid (<5 min) than for the SAPKs/JNKs or the ERKs. We studied the downstream consequences of p38-MAPK activation by examining activation of MAPK-activated protein kinase 2 (MAPKAPK2) and phosphorylation of the MAPKAPK2 substrate, the small heat shock protein HSP25/27. As with p38-MAPK, MAPKAPK2 was rapidly activated (maximal within 5 min) by 0.1 mM H2O2. This activation was abolished by 10 microM SB203580, a selective inhibitor of certain p38-MAPK isoforms. The phosphorylation of HSP25/27 rapidly followed activation of MAPKAPK2 and was also inhibited by SB203580. Phosphorylation of HSP25/27 was associated with a decrease in its aggregation state. These data indicate that oxidative stress is a powerful activator of all three MAPK subfamilies in neonatal rat ventricular myocytes. Activation of all three MAPKs has been associated with the development of the hypertrophic phenotype. However, stimulation of p38-MAPK and the consequent phosphorylation of HSP25/27 may also be important in cardioprotection.

Melanopsin and Clock Genes: Regulation by Light and Endothelin in the Zebrafish ZEM-2S Cell Line

It is well known that clocks are present in brain regions other than the suprachiasmatic nucleus and in many peripheral tissues. In the teleost, Danio rerio, peripheral oscillators can be directly synchronized by light. Danio rerio ZEM-2S embryonic cells respond to light with differential growth: cells kept in constant light exhibited a strong inhibition of proliferation, whereas in cells kept in light:dark (LD) cycles (14L:10D and 10L:14D) or in constant darkness (DD), the doubling times were not statistically different. We demonstrated by RT-PCR followed by PCR that ZEM-2S cells express two melanopsins, Opn4x and Opn4m, and the six Cry genes. The presence of the protein OPN4x was demonstrated by immunocytochemistry. The pattern of temporal expression of the genes Opn4x, Per1, Cry1b, and Clock was studied in ZEM-2S cells kept for five days in 12L:12D or DD. In 12L:12D, the clock genes Per 1 and Cry1b exhibited robust circadian expression, while Opn4x and Clock expression seemed to vary in an ultradian pattern. Both Per1 and Cry1b genes had higher expression during the L phase; Clock gene had an increase in expression coincident with the D phase, and during the subjective night. In DD, the temporal variation of Per1 and Cry1b genes was greatly attenuated but not extinguished, and the higher expressions were shifted to the transition times between subjective day and night, demonstrating that Per and Cry1b were synchronized by the LD cycle. Clock and Opn4x kept the ultradian oscillation, but the rhythm was not statistically significant. As endothelins (ET) have been reported to be a potent stimulator of Per genes in rodents, we investigated the effect of endothelin on ZEM-2S cells, which express ETA receptors. Cells were kept in 12D:12L for five days, and then treated with 10-11 to 10-8M ET-1 for 24h. ET-1 exhibited a biphasic effect on Opn4x expression. At 10-11M, the hormone exerted a highly significant stimulation of Opn4x expression during the L phase and introduced a circadian oscillatory pattern. At 10-10M, a significant increase was seen at ZT21 and ZT0 (i.e., at the end of the D phase and beginning of the L phase), whereas 10-9 and 10-8M ET-1 inhibited the expression of Opn4x at most ZTs. Clock expression was unaffected by 10-8M ET-1; however, in the presence of lower concentrations, the expression was enhanced at some ZTs, strengthening the ultradian oscillation. ET-1 at 10-11 and 10-10M had no effect on Per1 circadian expression; however, 10-9 and 10-8M ET-1 reduced the amplitude of Per1 expression in the beginning of the L phase. ET-1 effects were less evident on Cry 1b. For both genes, the reduction in expression was not sufficient to abolish the circadian oscillatory pattern. Based on these results and data in the literature, a link between ET-1 stimulation of ETA receptors may be established by E4BP4 binding to the promoters and consequent inhibition of gene expression.

Reduced allergic lung inflammation in rats following formaldehyde exposure: Long-term effects on multiple effector systems

Clinical and experimental evidences show that formaldehyde (FA) exposure has an irritant effect on the upper airways. As being an indoor and outdoor pollutant, FA is known to be a causal factor of occupational asthma. This study aimed to investigate the repercussion of FA exposure on the course of a lung allergic process triggered by an antigen unrelated to FA. For this purpose, male Wistar rats were subjected to FA inhalation for 3 consecutive days (1%, 90-min daily), subsequently sensitized with ovalbumin (OVA)-alum via the intraperitoneal route, and 2 weeks later challenged with aerosolized OVA. The OVA challenge in rats after FA inhalation (FA/OVA group) evoked a low-intensity lung inflammation as indicated by the reduced enumerated number of inflammatory cells in bronchoalveolar lavage as compared to FA-untreated allergic rats (OVA/OVA group). Treatment with FA also reduced the number of bone marrow cells and blood leukocytes in sensitized animals challenged with OVA, which suggests that the effects of FA had not been only localized to the airways. As indicated by passive cutaneous anaphylactic reaction, FA treatment did not impair the anti-OVA IgE synthesis, but reduced the magnitude of OVA challenge-induced mast cell degranulation. Moreover, FA treatment was associated to a diminished lung expression of PECAM-1 (platelet-endothelial cell adhesion molecule 1) in lung endothelial cells after OVA challenge and an exacerbated release of nitrites by BAL-cultured cells. Keeping in mind that rats subjected solely to either FA or OVA challenge were able to significantly increase the cell influx into lung, our study shows that FA inhalation triggers long-lasting effects that affect multiple mediator systems associated to OVA-induced allergic lung such as the reduction of mast cells activation, PECAM-1 expression and exacerbation of NO generation, thereby contributing to the decrease of cell recruitment after the OVA challenge. In conclusion, repeated expositions to air-borne FA may impair the lung cell recruitment after an allergic stimulus, thereby leading to a non-responsive condition against inflammatory stimuli likely those where mast cells are involved. (C) 2008 Elsevier Ireland Ltd. All rights reserved.