Y chromosome short arm-Sxr recombination in XSxr/Y males causes deletion of Rbm and XY female sex reversal.

We earlier described three lines of sex-reversed XY female mice deleted for sequences believed close to the testes-determining gene (Sry) on the Y chromosome short arm (Yp). The original sex-reversed females appeared among the offspring of XY males that carried the Yp duplication Sxr on their X chromosome. Earlier cytogenetic observations had suggested that the deletions resulted from asymmetrical meiotic recombination between the Y and the homologous Sxr region, but no direct evidence for this hypothesis was available. We have now analyzed the offspring of XSxr/Y males carrying an evolutionarily divergent Mus musculus domesticus Y chromosome, which permits detection and characterization of such recombination events. This analysis has enabled the derivation of a recombination map of Yp and Sxr, also demonstrating the orientation of Yp with respect to the Y centromere. The mapping data have established that Rbm, the murine homologue of a gene family cloned from the human Y chromosome, lies between Sry and the centromere. Analysis of two additional XY female lines shows that asymmetrical Yp-Sxr recombination leading to XY female sex reversal results in deletion of Rbm sequences. The deletions bring Sry closer to Y centromere, consistent with the hypothesis that position-effect inactivation of Sry is the basis for the sex reversal.

Mutual Information-based RBM Neural Networks

(Deep) neural networks are increasingly being used for various computer vision and pattern recognition tasks due to their strong ability to learn highly discriminative features. However, quantitative analysis of their classication ability and design philosophies are still nebulous. In this work, we use information theory to analyze the concatenated restricted Boltzmann machines (RBMs) and propose a mutual information-based RBM neural networks (MI-RBM). We develop a novel pretraining algorithm to maximize the mutual information between RBMs. Extensive experimental results on various classication tasks show the eectiveness of the proposed approach.

Improvements in Efficiency of Surface Potential Computation for Independent DG MOSFET

A robust numerical solution of the input voltage equations (IVEs) for the independent-double-gate metal-oxide-semiconductor field-effect transistor requires root bracketing methods (RBMs) instead of the commonly used Newton-Raphson (NR) technique due to the presence of nonremovable discontinuity and singularity. In this brief, we do an exhaustive study of the different RBMs available in the literature and propose a single derivative-free RBM that could be applied to both trigonometric and hyperbolic IVEs and offers faster convergence than the earlier proposed hybrid NR-Ridders algorithm. We also propose some adjustments to the solution space for the trigonometric IVE that leads to a further reduction of the computation time. The improvement of computational efficiency is demonstrated to be about 60% for trigonometric IVE and about 15% for hyperbolic IVE, by implementing the proposed algorithm in a commercial circuit simulator through the Verilog-A interface and simulating a variety of circuit blocks such as ring oscillator, ripple adder, and twisted ring counter.

Empirical Analysis of Sampling Based Estimators for Evaluating RBMs

The Restricted Boltzmann Machines (RBM) can be used either as classifiers or as generative models. The quality of the generative RBM is measured through the average log-likelihood on test data. Due to the high computational complexity of evaluating the partition function, exact calculation of test log-likelihood is very difficult. In recent years some estimation methods are suggested for approximate computation of test log-likelihood. In this paper we present an empirical comparison of the main estimation methods, namely, the AIS algorithm for estimating the partition function, the CSL method for directly estimating the log-likelihood, and the RAISE algorithm that combines these two ideas.

Reposición de la Red Básica Municipal de Donostia/San Sebastián

En el presente Trabajo Fin de Grado, se trabajará sobre la Red Básica Municipal de Donostia/San Sebastián, donde el autor ha sido partícipe en la campaña de reposición de la Red. Nos remontaremos a los orígenes de la Red, explicando cómo nació la Red Básica Municipal de Donostia/San Sebastián y la metodología que se usó para los trabajos previos a su implantación. A lo largo del trabajo, se explicará la metodología de observación y cálculo que se ha empleado en la actual reposición de la Red, el cual ha sido desarrollado por la empresa Geograma S.L. para el Ayuntamiento de San Sebastián entre enero y mayo de 2014. Finalmente, se estudiará como metodología alternativa las observaciones RTK en Red (NRTK), con el fin de validar el método para trabajos de observación de Redes Urbanas de Referencias Topográficas.

Pressure-induced Raman-active radial breathing mode transition in single-wall carbon nanotubes

Using classical constant-pressure molecular dynamics simulations and the force constants model, radial breathing mode (RBM) transition of single-wall carbon nanotubes under hydrostatic pressure is reported. With the pressure increased, the RBM shifts linearly toward higher frequency, and the RBM transition occurs at the same critical pressure as the structural transition. The group theory indicates that the RBMs are all Raman-active; however, due to the effect of the frequency transition and the electronic structure change for tube radial deformation, the Raman intensity of the modes becomes so weak as not to be experimentally detected, which is in agreement with a recent experiment by S. Lebedkin [Phys. Rev. B 73, 094109 (2006)]. Furthermore, the calculated RBM transition pressure is well fitted to the cube of diameter (similar to 1/d(3)).

An Integrated Solution for Software Process Improvement

Since 1990s, the software industry in China has been developed very rapidly and the total revenue in recent three years of 2005, 2006 and 2007 were 390.0, 480.0, and 583.4 billions RMB respectively, increased by 28.3% annually on an average basis [1]. By the end of 2007, there were about 18,000 software enterprises in China, and the population of software professionals was 1.48 millions roughly. In the global software market, China, with annual revenue about 82.2 billions USD (8.74% of the total: 940 billions USD), currently ranks on the fourth after USA, EU and Japan. However, the software industry in China is still comparatively weak. Most software enterprises have only tens of employees and millions RBM of revenue. And the software development productivity in China varies highly across the software industry in terms of organization, development type, business area, region, language, project size and team size [2]. Co-operative efforts from the government, the industry and the academy are needed [3]. Continuous software process improvement is an effective way to change the challenging situation of the software industry in China.

Observation of the resonant Raman behavior of individual single-walled carbon nanotubes

The different resonant Raman scattering process of single-walled carbon nanotubes (SWNTs) has been found between the Stokes and anti-Stokes sides of the radial breathing modes (RBMs), and this provides strong evidence that Raman spectra of some special diametric SWNTs are in resonance with their electronic transitions between the singularities in the one-dimensional electronic density of states in the valence and conduction bands, and other SWNTs axe beyond the resonant condition. Because of the coexistence of resonant and non-resonant Raman scattering processes for different diametric SWNTs, the relative intensity of each RBM does not reflect the proportion of a particular SWNT.

Intermolecular Multiple Quantum Coherences Enable Accurate Thermal Imaging of Red Bone Marrow During Thermal Therapy of Bone Metastases

Prostate and breast cancers are two of the most common types of cancer in the United States, and those cancers metastasize to bone in more than two thirds of patients. Recent evidence suggests that thermal therapy is effective at treating metastatic bone cancer. For example, thermal therapy enables targeted drug delivery to bone, ablation of cancer cells in bone marrow, and palliation of bone pain. Thermal therapy of bone metastases would be greatly improved if it were possible to image the temperature of the tissue surrounding the disease, which is usually red bone marrow (RBM). Unfortunately, current thermal imaging techniques are inaccurate in RBM.

This dissertation shows that many of the difficulties with thermal imaging of RBM can be overcome using a magnetic resonance phenomenon called an intermolecular multiple quantum coherence (iMQC). Herein, iMQCs are detected with a magnetic resonance imaging (MRI) pulse sequence called multi-spin-echo HOMOGENIZED with off resonance transfer (MSE-HOT). Compared to traditional methods, MSE-HOT provided ten-fold more accurate images of temperature change. Furthermore, MSE-HOT was translated to a human MRI scanner, which enabled imaging of RBM temperature during heating with a clinical focused ultrasound applicator. In summary, this dissertation develops a MRI technique that enables thermal imaging of RBM during thermal therapy of bone metastases.

Training deep convolutional architectures for vision

Les tâches de vision artificielle telles que la reconnaissance d’objets demeurent irrésolues à ce jour. Les algorithmes d’apprentissage tels que les Réseaux de Neurones Artificiels (RNA), représentent une approche prometteuse permettant d’apprendre des caractéristiques utiles pour ces tâches. Ce processus d’optimisation est néanmoins difficile. Les réseaux profonds à base de Machine de Boltzmann Restreintes (RBM) ont récemment été proposés afin de guider l’extraction de représentations intermédiaires, grâce à un algorithme d’apprentissage non-supervisé. Ce mémoire présente, par l’entremise de trois articles, des contributions à ce domaine de recherche. Le premier article traite de la RBM convolutionelle. L’usage de champs réceptifs locaux ainsi que le regroupement d’unités cachées en couches partageant les même paramètres, réduit considérablement le nombre de paramètres à apprendre et engendre des détecteurs de caractéristiques locaux et équivariant aux translations. Ceci mène à des modèles ayant une meilleure vraisemblance, comparativement aux RBMs entraînées sur des segments d’images. Le deuxième article est motivé par des découvertes récentes en neurosciences. Il analyse l’impact d’unités quadratiques sur des tâches de classification visuelles, ainsi que celui d’une nouvelle fonction d’activation. Nous observons que les RNAs à base d’unités quadratiques utilisant la fonction softsign, donnent de meilleures performances de généralisation. Le dernière article quand à lui, offre une vision critique des algorithmes populaires d’entraînement de RBMs. Nous montrons que l’algorithme de Divergence Contrastive (CD) et la CD Persistente ne sont pas robustes : tous deux nécessitent une surface d’énergie relativement plate afin que leur chaîne négative puisse mixer. La PCD à "poids rapides" contourne ce problème en perturbant légèrement le modèle, cependant, ceci génère des échantillons bruités. L’usage de chaînes tempérées dans la phase négative est une façon robuste d’adresser ces problèmes et mène à de meilleurs modèles génératifs.

Échantillonnage dynamique de champs markoviens

L'un des modèles d'apprentissage non-supervisé générant le plus de recherche active est la machine de Boltzmann --- en particulier la machine de Boltzmann restreinte, ou RBM. Un aspect important de l'entraînement ainsi que l'exploitation d'un tel modèle est la prise d'échantillons. Deux développements récents, la divergence contrastive persistante rapide (FPCD) et le herding, visent à améliorer cet aspect, se concentrant principalement sur le processus d'apprentissage en tant que tel. Notamment, le herding renonce à obtenir un estimé précis des paramètres de la RBM, définissant plutôt une distribution par un système dynamique guidé par les exemples d'entraînement. Nous généralisons ces idées afin d'obtenir des algorithmes permettant d'exploiter la distribution de probabilités définie par une RBM pré-entraînée, par tirage d'échantillons qui en sont représentatifs, et ce sans que l'ensemble d'entraînement ne soit nécessaire. Nous présentons trois méthodes: la pénalisation d'échantillon (basée sur une intuition théorique) ainsi que la FPCD et le herding utilisant des statistiques constantes pour la phase positive. Ces méthodes définissent des systèmes dynamiques produisant des échantillons ayant les statistiques voulues et nous les évaluons à l'aide d'une méthode d'estimation de densité non-paramétrique. Nous montrons que ces méthodes mixent substantiellement mieux que la méthode conventionnelle, l'échantillonnage de Gibbs.

Apprentissage de représentations sur-complètes par entraînement d’auto-encodeurs

Les avancés dans le domaine de l’intelligence artificielle, permettent à des systèmes informatiques de résoudre des tâches de plus en plus complexes liées par exemple à la vision, à la compréhension de signaux sonores ou au traitement de la langue. Parmi les modèles existants, on retrouve les Réseaux de Neurones Artificiels (RNA), dont la popularité a fait un grand bond en avant avec la découverte de Hinton et al. [22], soit l’utilisation de Machines de Boltzmann Restreintes (RBM) pour un pré-entraînement non-supervisé couche après couche, facilitant grandement l’entraînement supervisé du réseau à plusieurs couches cachées (DBN), entraînement qui s’avérait jusqu’alors très difficile à réussir. Depuis cette découverte, des chercheurs ont étudié l’efficacité de nouvelles stratégies de pré-entraînement, telles que l’empilement d’auto-encodeurs traditionnels(SAE) [5, 38], et l’empilement d’auto-encodeur débruiteur (SDAE) [44]. C’est dans ce contexte qu’a débuté la présente étude. Après un bref passage en revue des notions de base du domaine de l’apprentissage machine et des méthodes de pré-entraînement employées jusqu’à présent avec les modules RBM, AE et DAE, nous avons approfondi notre compréhension du pré-entraînement de type SDAE, exploré ses différentes propriétés et étudié des variantes de SDAE comme stratégie d’initialisation d’architecture profonde. Nous avons ainsi pu, entre autres choses, mettre en lumière l’influence du niveau de bruit, du nombre de couches et du nombre d’unités cachées sur l’erreur de généralisation du SDAE. Nous avons constaté une amélioration de la performance sur la tâche supervisée avec l’utilisation des bruits poivre et sel (PS) et gaussien (GS), bruits s’avérant mieux justifiés que celui utilisé jusqu’à présent, soit le masque à zéro (MN). De plus, nous avons démontré que la performance profitait d’une emphase imposée sur la reconstruction des données corrompues durant l’entraînement des différents DAE. Nos travaux ont aussi permis de révéler que le DAE était en mesure d’apprendre, sur des images naturelles, des filtres semblables à ceux retrouvés dans les cellules V1 du cortex visuel, soit des filtres détecteurs de bordures. Nous aurons par ailleurs pu montrer que les représentations apprises du SDAE, composées des caractéristiques ainsi extraites, s’avéraient fort utiles à l’apprentissage d’une machine à vecteurs de support (SVM) linéaire ou à noyau gaussien, améliorant grandement sa performance de généralisation. Aussi, nous aurons observé que similairement au DBN, et contrairement au SAE, le SDAE possédait une bonne capacité en tant que modèle générateur. Nous avons également ouvert la porte à de nouvelles stratégies de pré-entraînement et découvert le potentiel de l’une d’entre elles, soit l’empilement d’auto-encodeurs rebruiteurs (SRAE).

Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.