Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.

Sur une classe de structures kählériennes généralisées toriques

Cette thèse concerne le problème de trouver une notion naturelle de «courbure scalaire» en géométrie kählérienne généralisée. L'approche utilisée consiste à calculer l'application moment pour l'action du groupe des difféomorphismes hamiltoniens sur l'espace des structures kählériennes généralisées de type symplectique. En effet, il est bien connu que l'application moment pour la restriction de cette action aux structures kählériennes s'identifie à la courbure scalaire riemannienne. On se limite à une certaine classe de structure kählériennes généralisées sur les variétés toriques notée $DGK_{\omega}^{\mathbb{T}}(M)$ que l'on reconnaît comme étant classifiées par la donnée d'une matrice antisymétrique $C$ et d'une fonction réelle strictement convexe $\tau$ (ayant un comportement adéquat au voisinage de la frontière du polytope moment). Ce point de vue rend évident le fait que toute structure kählérienne torique peut être déformée en un élément non kählérien de $DGK_{\omega}^{\mathbb{T}}(M)$, et on note que cette déformation à lieu le long d'une des classes que R. Goto a démontré comme étant libre d'obstruction. On identifie des conditions suffisantes sur une paire $(\tau,C)$ pour qu'elle donne lieu à un élément de $DGK_{\omega}^{\mathbb{T}}(M)$ et on montre qu'en dimension 4, ces conditions sont également nécessaires. Suivant l'adage «l'application moment est la courbure» mentionné ci-haut, des formules pour des notions de «courbure scalaire hermitienne généralisée» et de «courbure scalaire riemannienne généralisée» (en dimension 4) sont obtenues en termes de la fonction $\tau$. Enfin, une expression de la courbure scalaire riemannienne généralisée en termes de la structure bihermitienne sous-jacente est dégagée en dimension 4. Lorsque comparée avec le résultat des physiciens Coimbra et al., notre formule suggère un choix canonique pour le dilaton de leur théorie.

Intervention dans le processus de réinsertion sociale au Québec : une étude du point de vue des agents de réinsertion sociale en collectivité

Ce mémoire a pour objectif de comprendre l’expérience de travail des agents œuvrant en réinsertion sociale auprès de condamnés provinciaux en collectivité au Québec. Plus précisément, cette recherche souhaite saisir le rôle exercé par ces agents, dans un contexte où ils exercent un double mandat de sécurité publique et de réinsertion sociale. L’étude tente aussi de mettre en lumière leurs pratiques de travail, inscrites dans une logique de gestion efficace des risques. Enfin, ce mémoire vise à comprendre la place qu’occupe la réinsertion sociale dans le cadre de leur travail. Pour ce faire, l’approche qualitative a permis de mener quinze (15) entretiens auprès d’agents de probation et d’intervenants issus du secteur communautaire responsables de la surveillance de justiciables provinciaux en collectivité. Deux (2) thèmes principaux émergent de ces entrevues. D’une part, Le travail est décrit par les participants en regard du double rôle exercé, des responsabilités légales et cliniques qui leur incombent, et de l’intervention centrée sur le risque et la réinsertion sociale auprès des contrevenants. D’autre part, Le contexte de travail réfère au partenariat établi entre les intervenants, au recours aux outils actuariels, ainsi qu’aux instances modulant leurs pratiques de travail : les médias, la Commission québécoise des libérations conditionnelles et les Services correctionnels du Québec. Il ressort de nos analyses que la sécurité publique par la gestion efficace des risques se manifeste par une forme de rationalisation des pratiques de travail et par l’intégration d’un rôle de contrôle. Il appert cependant que ces deux (2) aspects sont motivés avant tout par le désir de venir en aide à la population contrevenante. Il résulte finalement de l’étude que la réinsertion sociale ne constitue qu’un objectif de l’intervention parmi d’autres. Les participants doivent jongler avec ces diverses finalités afin de s’ajuster à l’acteur principal de leur travail : le contrevenant.

L'enfant au cinéma : la condition tragique d'une figure traumatique

La recherche vise à élaborer la condition tragique qui émane de la figure de l'enfant au cinéma – à travers ses traumas, ses blessures, voire sa destruction et sa perte – devant laquelle le spectateur adulte éprouve un certain malaise. Nous pouvons voir au cinéma des enfants aux prises avec des conditions de vie traumatisantes, voire inhumaines. Que ce soit les enfants abandonnés ou orphelins, les enfants violés, les enfants maltraités, les enfants victimes de guerre – incluant la dualité paradoxale qu’instaure l'enfant-soldat, de Ivan (« L’enfance d’Ivan », Tarkovski, 1962) à Komona (« Rebelle », Kim Nguyen, 2012) – ou les enfants face à la mort, diverses situations peuvent contribuer à inscrire l'enfance dans le registre du tragique, par la destruction ou la perte de l'enfance. L'enfance détruite porte en elle une blessure (trauma) – qu'elle soit physique ou psychique – qui renvoie au « manque », ou à la fragilité humaine que traduit l'image de l'enfant dit « sans secours ». Quand l’enfant doit faire face à une situation tragique où il est sans défense et confronté à son propre anéantissement, sa figure devient pour nous traumatique. Nous suggérons que le tragique place l’enfant au cinéma dans un après-coup qui renvoie à un traumatisme premier fondamental, prototype de toute situation traumatique. Pour le psychanalyste Sigmund Freud, ce serait un traumatisme lié à la détresse infantile – le « Hilflosigkeit » – qui correspond à la première angoisse vécue par le nourrisson dû à son impuissance (« Inhibition, symptôme et angoisse », [1926] 1951, Paris : PUF). Dans cette lignée, certains psychanalystes (comme Otto Rank ou Jean-Marie Delassus) préciseraient que le traumatisme s'installe dès la naissance, qui marque de manière universelle le premier sentiment de perte et d'angoisse suite à l'éjection dans un monde étranger et d'abord impossible, ce qui correspond à une dislocation première (suivant le sens qu’en propose Benoit Goetz dans « La dislocation » (2002, Paris : Éditions de la Passion)). L'enfant au cinéma, qui traverse des épreuves qui nous sont difficiles à concevoir, nous regarde et pointe en nous nos propres faiblesses, et cela interagit avec nos propres traumatismes. Quelques exemples filmiques viendront soutenir la recherche, avec principalement l’analyse d’un film exemplaire, « Les tortues volent aussi » de Bahman Ghobadi (2004).

Sur les traces du virtuel : de la nature et du rôle de la dimension affective dans le processus de communication

La présente thèse rend compte de la dimension affective de la communication. Pour ce faire, l’expérience est d’abord considérée comme durée qualitative (Henri Bergson). Donc, l’expérience est mouvement. Point de départ : le mouvement comme caractéristique intrinsèque du corps qui, ainsi compris, devient un point de passage. Qu’est-ce qui le traverse? Des événements. Il se constitue par ce passage même, ce qui fait de lui un devenir-corps. Ici, toute expérience est acte de communication à son stade le plus pur. Qui est-ce qui communique? L’expérience est une occasion d’actualisation du virtuel. Il s’agit de l’actualisation d’une force virtuelle – que A. N. Whitehead appelle la forme subjective. Le sens du message est l’événement lui-même, c’est-à-dire ce qui émerge dans l’expérience (Gilles Deleuze). Non pas l’expérience subjective d’un sujet préconstitué, mais l’expérience pure, telle que définie par William James : une relationalité. Ce qui s’actualise est une tonalité affective (Whitehead), vécue comme qualité esthétique. Quels sont les facteurs constitutifs du sens? Élargissons la traditionnelle dualité sujet-objet à un complexe relationnel : nous pouvons ainsi percevoir des acteurs affectifs, perceptifs, humains et technologiques, dans un agencement qui se concrétise comme relationalité émergente. Tout événement est situé. Par conséquent, l’émergence du sens devient acte de co-création dans lequel participent les multiples facteurs qui conditionnent l’événement. Cette vision sort d’un anthropocentrisme pour concevoir l’événement lui-même comme sujet de ses propres expériences (Whitehead). De sorte que, tout comme chaque acte de communication, l’expérience des médias est aussi événement vécu. Ce dernier est incorporé par les dimensions du devenir-corps – la conscience-affective et la conscience-réflexive. Celles-ci sont si intimement interreliées qu’elles deviennent mutuellement inclusives dans l’expérience et totalement actives dans l’actualisation du sens.

Geodynamics of the Andaman - Sumatra - Java Trench - Arc System Based on Gravity and Seismotectonic Study

This work aims to study the variation in subduction zone geometry along and across the arc and the fault pattern within the subducting plate. Depth of penetration as well as the dip of the Benioff zone varies considerably along the arc which corresponds to the curvature of the fold- thrust belt which varies from concave to convex in different sectors of the arc. The entire arc is divided into 27 segments and depth sections thus prepared are utilized to investigate the average dip of the Benioff zone in the different parts of the entire arc, penetration depth of the subducting lithosphere, the subduction zone geometry underlying the trench, the arctrench gap, etc.The study also describes how different seismogenic sources are identified in the region, estimation of moment release rate and deformation pattern. The region is divided into broad seismogenic belts. Based on these previous studies and seismicity Pattern, we identified several broad distinct seismogenic belts/sources. These are l) the Outer arc region consisting of Andaman-Nicobar islands 2) the back-arc Andaman Sea 3)The Sumatran fault zone(SFZ)4)Java onshore region termed as Jave Fault Zone(JFZ)5)Sumatran fore arc silver plate consisting of Mentawai fault(MFZ)6) The offshore java fore arc region 7)The Sunda Strait region.As the Seismicity is variable,it is difficult to demarcate individual seismogenic sources.Hence, we employed a moving window method having a window length of 3—4° and with 50% overlapping starting from one end to the other. We succeeded in defining 4 sources each in the Andaman fore arc and Back arc region, 9 such sources (moving windows) in the Sumatran Fault zone (SFZ), 9 sources in the offshore SFZ region and 7 sources in the offshore Java region. Because of the low seismicity along JFZ, it is separated into three seismogenic sources namely West Java, Central Java and East Java. The Sunda strait is considered as a single seismogenic source.The deformation rates for each of the seismogenic zones have been computed. A detailed error analysis of velocity tensors using Monte—Carlo simulation method has been carried out in order to obtain uncertainties. The eigen values and the respective eigen vectors of the velocity tensor are computed to analyze the actual deformation pattem for different zones. The results obtained have been discussed in the light of regional tectonics, and their implications in terms of geodynamics have been enumerated.ln the light of recent major earthquakes (26th December 2004 and 28th March 2005 events) and the ongoing seismic activity, we have recalculated the variation in the crustal deformation rates prior and after these earthquakes in Andaman—Sumatra region including the data up to 2005 and the significant results has been presented.ln this chapter, the down going lithosphere along the subduction zone is modeled using the free air gravity data by taking into consideration the thickness of the crustal layer, the thickness of the subducting slab, sediment thickness, presence of volcanism, the proximity of the continental crust etc. Here a systematic and detailed gravity interpretation constrained by seismicity and seismic data in the Andaman arc and the Andaman Sea region in order to delineate the crustal structure and density heterogeneities a Io nagnd across the arc and its correlation with the seismogenic behaviour is presented.

Studies on Fuzzy Matroitls and Related Topics

The doctoral thesis focuses on the Studies on fuzzy Matroids and related topics.Since the publication of the classical paper on fuzzy sets by L. A. Zadeh in 1965.the theory of fuzzy mathematics has gained more and more recognition from many researchers in a wide range of scientific fields. Among various branches of pure and applied mathematics, convexity was one of the areas where the notion of fuzzy set was applied. Many researchers have been involved in extending the notion of abstract convexity to the broader framework of fuzzy setting. As a result, a number of concepts have been formulated and explored. However. many concepts are yet to be fuzzified. The main objective of this thesis was to extend some basic concepts and results in convexity theory to the fuzzy setting. The concept like matroids, independent structures. classical convex invariants like Helly number, Caratheodoty number, Radon number and Exchange number form an important area of study in crisp convexity theory. In this thesis, we try to generalize some of these concepts to the fuzzy setting. Finally, we have defined different types of fuzzy matroids derived from vector spaces and discussed some of their properties.

Some Problems In Algebra And Topology A Study Of Fuzzy Convexity With Special Reference To Separation Properties

This thesis is a study of abstract fuzzy convexity spaces and fuzzy topology fuzzy convexity spaces No attempt seems to have been made to develop a fuzzy convexity theoryin abstract situations. The purpose of this thesis is to introduce fuzzy convexity theory in abstract situations

A Numerically efficient power optimization scheme for coded OFDM systems in achieving minimum frame error rate

Coded OFDM is a transmission technique that is used in many practical communication systems. In a coded OFDM system, source data are coded, interleaved and multiplexed for transmission over many frequency sub-channels. In a conventional coded OFDM system, the transmission power of each subcarrier is the same regardless of the channel condition. However, some subcarrier can suffer deep fading with multi-paths and the power allocated to the faded subcarrier is likely to be wasted. In this paper, we compute the FER and BER bounds of a coded OFDM system given as convex functions for a given channel coder, inter-leaver and channel response. The power optimization is shown to be a convex optimization problem that can be solved numerically with great efficiency. With the proposed power optimization scheme, near-optimum power allocation for a given coded OFDM system and channel response to minimize FER or BER under a constant transmission power constraint is obtained

Simultaneous Embeddings Of Graphs As Median And Antimedian Subgraphs

The distance DG(v) of a vertex v in an undirected graph G is the sum of the distances between v and all other vertices of G. The set of vertices in G with maximum (minimum) distance is the antimedian (median) set of a graph G. It is proved that for arbitrary graphs G and J and a positive integer r 2, there exists a connected graph H such that G is the antimedian and J the median subgraphs of H, respectively, and that dH(G, J) = r. When both G and J are connected, G and J can in addition be made convex subgraphs of H.

Influence of Interface Surface Geometries In The Tensile Characteristics Of Friction Welded Joints From Aluminium Alloys

Friction welding is a solid state joining process that produces coalescence in materials, using the heat developed between surfaces through a combination of mechanical induced rubbing motion and applied load. In rotary friction welding technique heat is generated by the conversion of mechanical energy into thermal energy at the interface of the work pieces during rotation under pressure. Traditionally friction welding is carried out on a dedicated machine because of its adaptability to mass production. In the present work, steps were made to modify a conventional lathe to rotary friction welding set up to obtain friction welding with different interface surface geometries at two different speeds and to carry out tensile characteristic studies. The surface geometries welded include flat-flat, flat-tapered, tapered-tapered, concave-convex and convex-convex. A comparison of maximum load, breaking load and percentage elongation of different welded geometries has been realized through this project. The maximum load and breaking load were found to be highest for weld formed between rotating flat and stationary tapered at 500RPM and the values were 19.219kN and 14.28 kN respectively. The percentage elongation was found to be highest for weld formed between rotating flat and stationary flat at 500RPM and the value was 21.4%. Hence from the studies it is cleared that process parameter like “interfacing surface geometries” of weld specimens have strong influence on tensile characteristics of friction welded joints

Low-Cost Micromechanically Tunable Optical Devices: Strained Resonator Engineering, Technological Implementation and Characterization

The rapid growth of the optical communication branches and the enormous demand for more bandwidth require novel networks such as dense wavelength division multiplexing (DWDM). These networks enable higher bitrate transmission using the existing optical fibers. Micromechanically tunable optical microcavity devices like VCSELs, Fabry-Pérot filters and photodetectors are core components of these novel DWDM systems. Several air-gap based tunable devices were successfully implemented in the last years. Even though these concepts are very promising, two main disadvantages are still remaining. On the one hand, the high fabrication and integration cost and on the other hand the undesired adverse buckling of the suspended membranes. This thesis addresses these two problems and consists of two main parts: • PECVD dielectric material investigation and stress control resulting in membranes shape engineering. • Implementation and characterization of novel tunable optical devices with tailored shapes of the suspended membranes. For this purposes, low-cost PECVD technology is investigated and developed in detail. The macro- and microstress of silicon nitride and silicon dioxide are controlled over a wide range. Furthermore, the effect of stress on the optical and mechanical properties of the suspended membranes and on the microcavities is evaluated. Various membrane shapes (concave, convex and planar) with several radii of curvature are fabricated. Using this resonator shape engineering, microcavity devices such as non tunable and tunable Fabry-Pérot filters, VCSELs and PIN photodetectors are succesfully implemented. The fabricated Fabry-Pérot filters cover a spectral range of over 200nm and show resonance linewidths down to 1.5nm. By varying the stress distribution across the vertical direction within a DBR, the shape and the radius of curvature of the top membrane are explicitely tailored. By adjusting the incoming light beam waist to the curvature, the fundamental resonant mode is supported and the higher order ones are suppressed. For instance, a tunable VCSEL with 26 nm tuning range, 400µW maximal output power, 47nm free spectral range and over 57dB side mode suppresion ratio (SMSR) is demonstrated. Other technologies, such as introducing light emitting organic materials in microcavities are also investigated.

Approximate Approximations and a Boundary Point Method for the Linearized Stokes System

The method of approximate approximations, introduced by Maz'ya [1], can also be used for the numerical solution of boundary integral equations. In this case, the matrix of the resulting algebraic system to compute an approximate source density depends only on the position of a finite number of boundary points and on the direction of the normal vector in these points (Boundary Point Method). We investigate this approach for the Stokes problem in the whole space and for the Stokes boundary value problem in a bounded convex domain G subset R^2, where the second part consists of three steps: In a first step the unknown potential density is replaced by a linear combination of exponentially decreasing basis functions concentrated near the boundary points. In a second step, integration over the boundary partial G is replaced by integration over the tangents at the boundary points such that even analytical expressions for the potential approximations can be obtained. In a third step, finally, the linear algebraic system is solved to determine an approximate density function and the resulting solution of the Stokes boundary value problem. Even not convergent the method leads to an efficient approximation of the form O(h^2) + epsilon, where epsilon can be chosen arbitrarily small.

Zur Konvergenz der Randpunktmethode

Das von Maz'ya eingeführte Approximationsverfahren, die Methode der näherungsweisen Näherungen (Approximate Approximations), kann auch zur numerischen Lösung von Randintegralgleichungen verwendet werden (Randpunktmethode). In diesem Fall hängen die Komponenten der Matrix des resultierenden Gleichungssystems zur Berechnung der Näherung für die Dichte nur von der Position der Randpunkte und der Richtung der äußeren Einheitsnormalen in diesen Punkten ab. Dieses numerisches Verfahren wird am Beispiel des Dirichlet Problems für die Laplace Gleichung und die Stokes Gleichungen in einem beschränkten zweidimensionalem Gebiet untersucht. Die Randpunktmethode umfasst drei Schritte: Im ersten Schritt wird die unbekannte Dichte durch eine Linearkombination von radialen, exponentiell abklingenden Basisfunktionen approximiert. Im zweiten Schritt wird die Integration über den Rand durch die Integration über die Tangenten in Randpunkten ersetzt. Für die auftretende Näherungspotentiale können sogar analytische Ausdrücke gewonnen werden. Im dritten Schritt wird das lineare Gleichungssystem gelöst, und eine Näherung für die unbekannte Dichte und damit auch für die Lösung der Randwertaufgabe konstruiert. Die Konvergenz dieses Verfahrens wird für glatte konvexe Gebiete nachgewiesen.

Semi-algebraic methods for symbolic analysis of complex reaction networks

The identification of chemical mechanism that can exhibit oscillatory phenomena in reaction networks are currently of intense interest. In particular, the parametric question of the existence of Hopf bifurcations has gained increasing popularity due to its relation to the oscillatory behavior around the fixed points. However, the detection of oscillations in high-dimensional systems and systems with constraints by the available symbolic methods has proven to be difficult. The development of new efficient methods are therefore required to tackle the complexity caused by the high-dimensionality and non-linearity of these systems. In this thesis, we mainly present efficient algorithmic methods to detect Hopf bifurcation fixed points in (bio)-chemical reaction networks with symbolic rate constants, thereby yielding information about their oscillatory behavior of the networks. The methods use the representations of the systems on convex coordinates that arise from stoichiometric network analysis. One of the methods called HoCoQ reduces the problem of determining the existence of Hopf bifurcation fixed points to a first-order formula over the ordered field of the reals that can then be solved using computational-logic packages. The second method called HoCaT uses ideas from tropical geometry to formulate a more efficient method that is incomplete in theory but worked very well for the attempted high-dimensional models involving more than 20 chemical species. The instability of reaction networks may lead to the oscillatory behaviour. Therefore, we investigate some criterions for their stability using convex coordinates and quantifier elimination techniques. We also study Muldowney's extension of the classical Bendixson-Dulac criterion for excluding periodic orbits to higher dimensions for polynomial vector fields and we discuss the use of simple conservation constraints and the use of parametric constraints for describing simple convex polytopes on which periodic orbits can be excluded by Muldowney's criteria. All developed algorithms have been integrated into a common software framework called PoCaB (platform to explore bio- chemical reaction networks by algebraic methods) allowing for automated computation workflows from the problem descriptions. PoCaB also contains a database for the algebraic entities computed from the models of chemical reaction networks.