Molecular Mechanisms of Androgen Receptor Interactions

The androgen receptor (AR) mediates the effects of the male sex-steroid hormones (androgens), testosterone and 5?-dihydrotestosterone. Androgens are critical in the development and maintenance of male sexual characteristics. AR is a member of the steroid receptor ligand-inducible transcription factor family. The steroid receptor family is a subgroup of the nuclear receptor superfamily that also includes receptors for the active forms of vitamin A, vitamin D3, and thyroid hormones. Like all nuclear receptors, AR has a conserved modular structure consisting of a non-conserved amino-terminal domain (NTD), containing the intrinsic activation function 1, a highly conserved DNA-binding domain, and a conserved ligand-binding domain (LBD) that harbors the activation function 2. Each of these domains plays an important role in receptor function and signaling, either via intra- and inter-receptor interactions, interactions with specific DNA sequences, termed hormone response elements, or via functional interactions with domain-specific proteins, termed coregulators (coactivators and corepressors). Upon binding androgens, AR acquires a new conformational state, translocates to the nucleus, binds to androgen response elements, homodimerizes and recruits sequence-specific coregulatory factors and the basal transcription machinery. This set of events is required to activate gene transcription (expression). Gene transcription is a strictly modulated process that governs cell growth, cell homeostasis, cell function and cell death. Disruptions of AR transcriptional activity caused by receptor mutations and/or altered coregulator interactions are linked to a wide spectrum of androgen insensitivity syndromes, and to the pathogenesis of prostate cancer (CaP). The treatment of CaP usually involves androgen depletion therapy (ADT). ADT achieves significant clinical responses during the early stages of the disease. However, under the selective pressure of androgen withdrawal, androgen-dependent CaP can progress to an androgen-independent CaP. Androgen-independent CaP is invariably a more aggressive and untreatable form of the disease. Advancing our understanding of the molecular mechanisms behind the switch in androgen-dependency would improve our success of treating CaP and other AR related illnesses. This study evaluates how clinically identified AR mutations affect the receptor s transcriptional activity. We reveal that a potential molecular abnormality in androgen insensitivity syndrome and CaP patients is caused by disruptions of the important intra-receptor NTD/LBD interaction. We demonstrate that the same AR LBD mutations can also disrupt the recruitment of the p160 coactivator protein GRIP1. Our investigations reveal that 30% of patients with advanced, untreated local CaP have somatic mutations that may lead to increases in AR activity. We report that somatic mutations that activate AR may lead to early relapse in ADT. Our results demonstrate that the types of ADT a CaP patient receives may cause a clustering of mutations to a particular region of the receptor. Furthermore, the mutations that arise before and during ADT do not always result in a receptor that is more active, indicating that coregulator interactions play a pivotal role in the progression of androgen-independent CaP. To improve CaP therapy, it is necessary to identify critical coregulators of AR. We screened a HeLa cell cDNA library and identified small carboxyl-terminal domain phosphatase 2 (SCP2). SCP2 is a protein phosphatase that directly interacts with the AR NTD and represses AR activity. We demonstrated that reducing the endogenous cellular levels of SCP2 causes more AR to load on to the prostate specific antigen (PSA) gene promoter and enhancer regions. Additionally, under the same conditions, more RNA polymerase II was recruited to the PSA promoter region and overall there was an increase in androgen-dependent transcription of the PSA gene, revealing that SCP2 could play a role in the pathogenesis of CaP.

Orphan nuclear receptor subfamily NR4A their interplay with other nuclear receptors and functions in osteoblasts

Nurr1, NGFI-B and Nor1 (NR4A2, NR4A1 and NR4A3, respectively) belong to the NR4A subfamily of nuclear receptors. The NR4A receptors are orphan nuclear receptors which means that activating or repressing ligands for these receptors have not been found. NR4A expression is rapidly induced in response to various stimuli including growth factors and the parathyroid hormone (PTH). The studies concerning the NR4A receptors in the central nervous system have demonstrated that they have a major role in the development and function of the dopaminergic neurons of the midbrain and in regulating hypothalamus-pituitary-adrenal-axis. However, the peripheral functions of the NR4A family are largely unknown. Cultured mouse primary osteoblasts, a preosteoblastic cell line and several osteoblastic cell lines were used to investigate the role of NR4A receptors in osteoblasts. NR4A receptors were shown to directly bind to and activate the promoter of the osteopontin gene (OPN) in osteoblastic cells, thus regulating its expression. OPN is a major bone matrix protein expressed throughout the differentiation of preosteoblastic cells into osteoblasts. The activation of the OPN promoter was shown to be dependent on the activation function-1 located in the N-terminal part of Nurr1 and to occur in both monomeric and RXR heterodimeric forms of NR4A receptors. Furthermore, PTH was shown to upregulate OPN expression through the NR4A family. It was also demonstrated that the fibroblast growth factor-8b (FGF-8b) induces the expression of NR4A receptors in osteoblasts as immediate early genes. This induction involved phosphatidylinositol-3 kinase, protein kinase C, and mitogen activated protein kinase, which are all major pathways of FGF signalling. Nurr1 and NGFI-B were shown to induce the proliferation of preosteoblastic cells and to reduce their apoptosis. FGF-8b was shown to stimulate the proliferation of osteoblastic cells through the NR4A receptors. These results suggest that NR4A receptors have a role both in the differentiation of osteoblasts and in the proliferation and apoptosis of preosteoblast. The NR4A receptors were found to bind to the same response element on OPN as the members of the NR3B family of orphan receptors do. Mutual repression was observed between the NR4A receptors and the NR3B receptors. This repression was shown to be dependent on the DNA-binding domains of both receptor families, but to result neither from the competition of DNA binding nor from the competition for coactivators. As the repression was dependent on the relative expression levels of the NR4As and NR3Bs, it seems likely that the ratio of the receptors mediates their activity on their response elements. Rapid induction of the NR4As in response to various stimuli and differential expression of the NR3Bs can effectively control the gene activation by the NR4A receptors. NR4A receptors can bind DNA as monomers, and Nurr1 and NGFI-B can form permissive heterodimers with the retinoid X receptor (RXR). Permissive heterodimers can be activated with RXR agonists, unlike non-permissive heterodimers, which are formed by RXR and retinoic acid receptor or thyroid hormone receptor (RAR and TR, respectively). Non-permissive heterodimers can only be activated by the agonists of the heterodimerizing partner. The mechanisms behind differential response to RXR agonists have remained unresolved. As there are no activating or repressing ligands for the NR4A receptors, it would be important to find out, how they are regulated. Permissiviness of Nurr1/RXR heterodimers was linked to the N-terminal part of Nurr1 ligand-binding domain. This region has previously been shown to mediate the interaction between NRs and corepressors. Non-permissive RAR and TR, permissive Nurr1 and NGFI-B, and RXR were overexpressed with corepressors silencing mediator for retinoic acid and thyroid hormone receptors (SMRT), and with nuclear receptor corepressor in several cell lines. Nurr1 and NGFI-B were found to be repressed by SMRT. The interaction of RXR heterodimers with corepressors was weak in permissive heterodimers and much stronger in non-permissive heterodimers. Non-permissive heterodimers also released corepressors only in response to the agonist of the heterodimeric partner of RXR. In the permissive Nurr1/RXR heterodimer, however, SMRT was released following the treatment with RXR agonists. Corepressor release in response to ligands was found to differentiate permissive heterodimers from non-permissive ones. Corepressors were thus connected to the regulation of NR4A functions. In summary, the studies presented here linked the NR4A family of orphan nuclear receptors to the regulation of osteoblasts. Nurr1 and NGFI-B were found to control the proliferation and apoptosis of preosteoblasts. The studies also demonstrated that cross-talk with the NR3B receptors controls the activity of these orphan receptors. The results clarified the mechanism of permissiviness of RXR-heterodimers. New information was obtained on the regulation and functions of NR4A receptors, for which the ligands are unknown.

On the performance analysis of a class of neuron circuits

A new performance metric, Peak-Error Ratio (PER) has been presented to benchmark the performance of a class of neuron circuits to realize neuron activation function (NAF) and its derivative (DNAF). Neuron circuits, biased in subthreshold region, based on the asymmetric cross-coupled differential pair configuration and conventional configuration of applying small external offset voltage at the input have been compared on the basis of PER. It is shown that the technique of using transistor asymmetry in a cross-coupled differential pair performs on-par with that of applying external offset voltage. The neuron circuits have been experimentally prototyped and characterized as a proof of concept on the 1.5 mu m AMI technology.

On the performance analysis of a class of neuron circuits

A new performance metric, Peak-Error Ratio (PER) has been presented to benchmark the performance of a class of neuron circuits to realize neuron activation function (NAF) and its derivative (DNAF). Neuron circuits, biased in subthreshold region, based on the asymmetric cross-coupled differential pair configuration and conventional configuration of applying small external offset voltage at the input have been compared on the basis of PER. It is shown that the technique of using transistor asymmetry in a cross-coupled differential pair performs on-par with that of applying external offset voltage. The neuron circuits have been experimentally prototyped and characterized as a proof of concept on the 1.5 mu m AMI technology.

Voltage and Temperature Aware Statistical Leakage Analysis Framework Using Artificial Neural Networks

Artificial neural networks (ANNs) have shown great promise in modeling circuit parameters for computer aided design applications. Leakage currents, which depend on process parameters, supply voltage and temperature can be modeled accurately with ANNs. However, the complex nature of the ANN model, with the standard sigmoidal activation functions, does not allow analytical expressions for its mean and variance. We propose the use of a new activation function that allows us to derive an analytical expression for the mean and a semi-analytical expression for the variance of the ANN-based leakage model. To the best of our knowledge this is the first result in this direction. Our neural network model also includes the voltage and temperature as input parameters, thereby enabling voltage and temperature aware statistical leakage analysis (SLA). All existing SLA frameworks are closely tied to the exponential polynomial leakage model and hence fail to work with sophisticated ANN models. In this paper, we also set up an SLA framework that can efficiently work with these ANN models. Results show that the cumulative distribution function of leakage current of ISCAS'85 circuits can be predicted accurately with the error in mean and standard deviation, compared to Monte Carlo-based simulations, being less than 1% and 2% respectively across a range of voltage and temperature values.

Volume Change behaviour in Calcitic Soil influenced with Sulphuric Acid using Artificial Neural Networks

This paper elucidates the methodology of applying artificial neural network model (ANNM) to predict the percent swell of calcitic soil in sulphuric acid solutions, a complex phenomenon involving many parameters. Swell data required for modelling is experimentally obtained using conventional oedometer tests under nominal surcharge. The phases in ANN include optimal design of architecture, operation and training of architecture. The designed optimal neural model (3-5-1) is a fully connected three layer feed forward network with symmetric sigmoid activation function and trained by the back propagation algorithm to minimize a quadratic error criterion.The used model requires parameters such as duration of interaction, calcite mineral content and acid concentration for prediction of swell. The observed strong correlation coefficient (R2 = 0.9979) between the values determined by the experiment and predicted using the developed model demonstrates that the network can provide answers to complex problems in geotechnical engineering.

Human action recognition using a fast learning fully complex-valued classifier

In this paper, we use optical flow based complex-valued features extracted from video sequences to recognize human actions. The optical flow features between two image planes can be appropriately represented in the Complex plane. Therefore, we argue that motion information that is used to model the human actions should be represented as complex-valued features and propose a fast learning fully complex-valued neural classifier to solve the action recognition task. The classifier, termed as, ``fast learning fully complex-valued neural (FLFCN) classifier'' is a single hidden layer fully complex-valued neural network. The neurons in the hidden layer employ the fully complex-valued activation function of the type of a hyperbolic secant function. The parameters of the hidden layer are chosen randomly and the output weights are estimated as the minimum norm least square solution to a set of linear equations. The results indicate the superior performance of FLFCN classifier in recognizing the actions compared to real-valued support vector machines and other existing results in the literature. Complex valued representation of 2D motion and orthogonal decision boundaries boost the classification performance of FLFCN classifier. (c) 2012 Elsevier B.V. All rights reserved.

Fully complex-valued ELM classifiers for human action recognition

In this paper, we present a fast learning neural network classifier for human action recognition. The proposed classifier is a fully complex-valued neural network with a single hidden layer. The neurons in the hidden layer employ the fully complex-valued hyperbolic secant as an activation function. The parameters of the hidden layer are chosen randomly and the output weights are estimated analytically as a minimum norm least square solution to a set of linear equations. The fast leaning fully complex-valued neural classifier is used for recognizing human actions accurately. Optical flow-based features extracted from the video sequences are utilized to recognize 10 different human actions. The feature vectors are computationally simple first order statistics of the optical flow vectors, obtained from coarse to fine rectangular patches centered around the object. The results indicate the superior performance of the complex-valued neural classifier for action recognition. The superior performance of the complex neural network for action recognition stems from the fact that motion, by nature, consists of two components, one along each of the axes.

Global stability of Hopfield neural networks

This paper gives a condition for the global stability of a continuous-time hopfield neural network when its activation function maybe not monotonically increasing.

A Connection Between GRBF and MLP

Both multilayer perceptrons (MLP) and Generalized Radial Basis Functions (GRBF) have good approximation properties, theoretically and experimentally. Are they related? The main point of this paper is to show that for normalized inputs, multilayer perceptron networks are radial function networks (albeit with a non-standard radial function). This provides an interpretation of the weights w as centers t of the radial function network, and therefore as equivalent to templates. This insight may be useful for practical applications, including better initialization procedures for MLP. In the remainder of the paper, we discuss the relation between the radial functions that correspond to the sigmoid for normalized inputs and well-behaved radial basis functions, such as the Gaussian. In particular, we observe that the radial function associated with the sigmoid is an activation function that is good approximation to Gaussian basis functions for a range of values of the bias parameter. The implication is that a MLP network can always simulate a Gaussian GRBF network (with the same number of units but less parameters); the converse is true only for certain values of the bias parameter. Numerical experiments indicate that this constraint is not always satisfied in practice by MLP networks trained with backpropagation. Multiscale GRBF networks, on the other hand, can approximate MLP networks with a similar number of parameters.

Training deep convolutional architectures for vision

Les tâches de vision artificielle telles que la reconnaissance d’objets demeurent irrésolues à ce jour. Les algorithmes d’apprentissage tels que les Réseaux de Neurones Artificiels (RNA), représentent une approche prometteuse permettant d’apprendre des caractéristiques utiles pour ces tâches. Ce processus d’optimisation est néanmoins difficile. Les réseaux profonds à base de Machine de Boltzmann Restreintes (RBM) ont récemment été proposés afin de guider l’extraction de représentations intermédiaires, grâce à un algorithme d’apprentissage non-supervisé. Ce mémoire présente, par l’entremise de trois articles, des contributions à ce domaine de recherche. Le premier article traite de la RBM convolutionelle. L’usage de champs réceptifs locaux ainsi que le regroupement d’unités cachées en couches partageant les même paramètres, réduit considérablement le nombre de paramètres à apprendre et engendre des détecteurs de caractéristiques locaux et équivariant aux translations. Ceci mène à des modèles ayant une meilleure vraisemblance, comparativement aux RBMs entraînées sur des segments d’images. Le deuxième article est motivé par des découvertes récentes en neurosciences. Il analyse l’impact d’unités quadratiques sur des tâches de classification visuelles, ainsi que celui d’une nouvelle fonction d’activation. Nous observons que les RNAs à base d’unités quadratiques utilisant la fonction softsign, donnent de meilleures performances de généralisation. Le dernière article quand à lui, offre une vision critique des algorithmes populaires d’entraînement de RBMs. Nous montrons que l’algorithme de Divergence Contrastive (CD) et la CD Persistente ne sont pas robustes : tous deux nécessitent une surface d’énergie relativement plate afin que leur chaîne négative puisse mixer. La PCD à "poids rapides" contourne ce problème en perturbant légèrement le modèle, cependant, ceci génère des échantillons bruités. L’usage de chaînes tempérées dans la phase négative est une façon robuste d’adresser ces problèmes et mène à de meilleurs modèles génératifs.

Régulation dynamique de l’activité du récepteur des estrogènes beta (ERβ) par la phosphorylation,l’ubiquitination et la sumoylation

Les estrogènes jouent un rôle primordial dans le développement et le fonctionnement des tissus reproducteurs par leurs interactions avec les récepteurs des estrogènes ERα et ERβ. Ces récepteurs nucléaires agissent comme facteurs de transcription et contrôlent l’expression des gènes de façon hormono-dépendante et indépendante grâce à leurs deux domaines d’activation (AF-1 et AF-2). Une dérégulation de leur activité transcriptionnelle est souvent à l’origine de pathologies telles que le cancer du sein, de l’endomètre et des ovaires. Alors que ERα est utilisé comme facteur pronostic pour l’utilisation d’agents thérapeutiques, l’importance de la valeur clinique de ERβ est encore controversée. Toutefois, des évidences récentes lui associent un pouvoir anti-tumorigénique en démontrant que sa présence favorise l’inhibition de la progression de ces cancers ainsi que l’efficacité des traitements. En combinaisons avec d’autres études, ces observations démontrent que bien que les deux isoformes partagent une certaine similitude d’action, les ERs sont en mesure d’exercer des fonctions distinctes. Ces différences sont fortement attribuables au faible degré d’homologie observé entre certains domaines structuraux des ERs, comme le domaine AF-1, ce qui fait en sorte que les différents sites de modifications post-traductionnelles (MPTs) présents sur les ERs sont très peu conservés entre les isoformes. Or, l’activité transcriptionnelle ligand-dépendante et indépendante des ERs est hautement régulée par les MPTs. Elles sont impliquées à tous les niveaux de l’activation des ERs incluant la liaison et la sensibilité au ligand, la localisation cellulaire, la dimérisation, l’interaction avec l’ADN, le recrutement de corégulateurs transcriptionnels, la stabilité et l’arrêt de la transcription. Ainsi, de par leur dissimilitude, les ERs seront différemment régulés par la signalisation cellulaire. Comme un débalancement de plusieurs voies de signalisation ont été associées à la progression de tumeurs ER-positives ainsi qu’au développement d’une résistance, une meilleure compréhension de l’impact des MPTs sur la régulation spécifique des ERs s’avère essentielle en vue de proposer et/ou développer des traitements adéquats pour les cancers gynécologiques. Les résultats présentés dans cette thèse ont pour objectif de mieux comprendre les rôles des MPTs sur l’activité transcriptionnelle de ERβ qui sont, contrairement à ERα, très peu connus. Nous démontrons une régulation dynamique de ERβ par la phosphorylation, l’ubiquitination et la sumoylation. De plus, toutes les MPTs nouvellement découvertes par mes recherches se situent dans l’AF-1 de ERβ et permettent de mieux comprendre le rôle capital joué par ce domaine dans la régulation de l’activité ligand-dépendante et indépendante du récepteur. Dans la première étude, nous observons qu’en réponse aux MAPK, l’AF-1 de ERβ est phosphorylé au niveau de sérines spécifiques et qu’elles jouent un rôle important dans la régulation de l’activité ligand-indépendante de ERβ par la voie ubiquitine-protéasome. En effet, la phosphorylation de ces sérines régule le cycle d’activation-dégradation de ERβ en modulant son ubiquitination, sa mobilité nucléaire et sa stabilité en favorisant le recrutement de l’ubiquitine ligase E6-AP. De plus, ce mécanisme d’action semble être derrière la régulation différentielle de l’activité de ERα et ERβ observée lors de l’inhibition du protéasome. Dans le second papier, nous démontrons que l’activité et la stabilité de ERβ en présence d’estrogène sont étroitement régulées par la sumoylation phosphorylation-dépendante de l’AF-1, processus hautement favorisé par l’action de la kinase GSK-3. La sumoylation de ERβ par SUMO-1 prévient la dégradation du récepteur en entrant en compétition avec l’ubiquitination au niveau du même site accepteur. De plus, contrairement à ERα, SUMO-1 réprime l’activité de ERβ en altérant son interaction avec l’ADN et l’expression de ses gènes cibles dans les cellules de cancers du sein. Également, ces recherches ont permis d’identifier un motif de sumoylation dépendant de la phosphorylation (pSuM) jusqu’à lors inconnu de la communauté scientifique, offrant ainsi un outil supplémentaire à la prédiction de nouveau substrat de la sumoylation. En plus de permettre une meilleure compréhension du rôle des signaux intracellulaires dans la régulation de l’activité transcriptionnelle de ERβ, nos résultats soulignent l’importance des MPTs dans l’induction des différences fonctionnelles observées entre ERα et ERβ et apportent des pistes supplémentaires à la compréhension de leurs rôles physiopathologiques respectifs.

Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Apprentissage des réseaux de neurones profonds et applications en traitement automatique de la langue naturelle

En apprentissage automatique, domaine qui consiste à utiliser des données pour apprendre une solution aux problèmes que nous voulons confier à la machine, le modèle des Réseaux de Neurones Artificiels (ANN) est un outil précieux. Il a été inventé voilà maintenant près de soixante ans, et pourtant, il est encore de nos jours le sujet d'une recherche active. Récemment, avec l'apprentissage profond, il a en effet permis d'améliorer l'état de l'art dans de nombreux champs d'applications comme la vision par ordinateur, le traitement de la parole et le traitement des langues naturelles. La quantité toujours grandissante de données disponibles et les améliorations du matériel informatique ont permis de faciliter l'apprentissage de modèles à haute capacité comme les ANNs profonds. Cependant, des difficultés inhérentes à l'entraînement de tels modèles, comme les minima locaux, ont encore un impact important. L'apprentissage profond vise donc à trouver des solutions, en régularisant ou en facilitant l'optimisation. Le pré-entraînnement non-supervisé, ou la technique du ``Dropout'', en sont des exemples. Les deux premiers travaux présentés dans cette thèse suivent cette ligne de recherche. Le premier étudie les problèmes de gradients diminuants/explosants dans les architectures profondes. Il montre que des choix simples, comme la fonction d'activation ou l'initialisation des poids du réseaux, ont une grande influence. Nous proposons l'initialisation normalisée pour faciliter l'apprentissage. Le second se focalise sur le choix de la fonction d'activation et présente le rectifieur, ou unité rectificatrice linéaire. Cette étude a été la première à mettre l'accent sur les fonctions d'activations linéaires par morceaux pour les réseaux de neurones profonds en apprentissage supervisé. Aujourd'hui, ce type de fonction d'activation est une composante essentielle des réseaux de neurones profonds. Les deux derniers travaux présentés se concentrent sur les applications des ANNs en traitement des langues naturelles. Le premier aborde le sujet de l'adaptation de domaine pour l'analyse de sentiment, en utilisant des Auto-Encodeurs Débruitants. Celui-ci est encore l'état de l'art de nos jours. Le second traite de l'apprentissage de données multi-relationnelles avec un modèle à base d'énergie, pouvant être utilisé pour la tâche de désambiguation de sens.

Global exponential periodicity of a class of bidirectional associative memory networks with finite distributed delays

In this paper, we study the periodic oscillatory behavior of a class of bidirectional associative memory (BAM) networks with finite distributed delays. A set of criteria are proposed for determining global exponential periodicity of the proposed BAM networks, which assume neither differentiability nor monotonicity of the activation function of each neuron. In addition, our criteria are easily checkable. (c) 2005 Elsevier Inc. All rights reserved.