Apprentissage des réseaux de neurones profonds et applications en traitement automatique de la langue naturelle

En apprentissage automatique, domaine qui consiste à utiliser des données pour apprendre une solution aux problèmes que nous voulons confier à la machine, le modèle des Réseaux de Neurones Artificiels (ANN) est un outil précieux. Il a été inventé voilà maintenant près de soixante ans, et pourtant, il est encore de nos jours le sujet d'une recherche active. Récemment, avec l'apprentissage profond, il a en effet permis d'améliorer l'état de l'art dans de nombreux champs d'applications comme la vision par ordinateur, le traitement de la parole et le traitement des langues naturelles. La quantité toujours grandissante de données disponibles et les améliorations du matériel informatique ont permis de faciliter l'apprentissage de modèles à haute capacité comme les ANNs profonds. Cependant, des difficultés inhérentes à l'entraînement de tels modèles, comme les minima locaux, ont encore un impact important. L'apprentissage profond vise donc à trouver des solutions, en régularisant ou en facilitant l'optimisation. Le pré-entraînnement non-supervisé, ou la technique du ``Dropout'', en sont des exemples. Les deux premiers travaux présentés dans cette thèse suivent cette ligne de recherche. Le premier étudie les problèmes de gradients diminuants/explosants dans les architectures profondes. Il montre que des choix simples, comme la fonction d'activation ou l'initialisation des poids du réseaux, ont une grande influence. Nous proposons l'initialisation normalisée pour faciliter l'apprentissage. Le second se focalise sur le choix de la fonction d'activation et présente le rectifieur, ou unité rectificatrice linéaire. Cette étude a été la première à mettre l'accent sur les fonctions d'activations linéaires par morceaux pour les réseaux de neurones profonds en apprentissage supervisé. Aujourd'hui, ce type de fonction d'activation est une composante essentielle des réseaux de neurones profonds. Les deux derniers travaux présentés se concentrent sur les applications des ANNs en traitement des langues naturelles. Le premier aborde le sujet de l'adaptation de domaine pour l'analyse de sentiment, en utilisant des Auto-Encodeurs Débruitants. Celui-ci est encore l'état de l'art de nos jours. Le second traite de l'apprentissage de données multi-relationnelles avec un modèle à base d'énergie, pouvant être utilisé pour la tâche de désambiguation de sens.

Approche systémique pour la composition d’œuvres acousmatiques, mixtes, vidéomusicales et pluridisciplinaires

Cette thèse est une exploration de mon processus compositionnel. En tentant de comprendre comment s’organise ma pensée créatrice, j’ai dégagé trois observations : l’organicisme du processus et des œuvres, la notion de mouvement et la relation récursive entre la matière et le compositeur. Ces thèmes m’ont amené à établir un lien épistémologique entre la composition musicale et l’étude des systèmes complexes. Dans ce cadre systémique, j’ai établi que les informations qui motivent mes prises de décision artistiques ont entre elles des ramifications opérationnelles et structurelles qui évoquent une arborescence rhizomatique plutôt qu’une hiérarchie linéaire. La transdisciplinarité propre à la systémique m’a également permis d’introduire des notions provenant d’autres champs de recherche. S’articulant d’emblée avec mon processus compositionnel, ces notions m’ont procuré une vision holistique de ma démarche artistique. Conséquemment, je considère l’acte de composer comme une interaction entre ma conscience et tout ce qui peut émaner de la matière sonore, les deux s’informant l’une et l’autre dans une boucle récursive que je nomme action⟳perception. L’œuvre ainsi produite n’est pas exclusivement tributaire de ma propre volition puisque, au fil du processus, mes décisions opératoires et artistiques sont en grande partie guidées par les propriétés invariantes et les propriétés morphogéniques inhérentes au matériau sonore. Cette approche dynamique n’est possible que si l’interaction avec le compositeur se fait en temps réel, ce que permet la lutherie numérique. Les résultats de mes recherches m’ont guidé dans la composition d’œuvres choisies, autant acousmatiques, mixtes, vidéomusicales que pluridisciplinaires.

Early adversity, brain development and emotion processing in monozygotic twins

Il existe actuellement de nombreuses preuves démontrant que des facteurs génétiques et environnementaux interagissent pendant des périodes spécifiques du développement pour rendre une personne vulnérable aux troubles psychologiques via diverses adaptations physiologiques. Cette thèse porte sur l'impact de l’adversité prénatale (représentée par le petit poids à la naissance, PPN) et de l’adversité postnatale précoce (symptômes dépressifs maternels et comportements maternels négatifs), sur le développement du cerveau, particulièrement les régions fronto-limbiques impliquées dans le traitement des émotions, pendant l'enfance et l'adolescence. Des jumeaux monozygotes (MZ) sont utilisés, lorsque possible, afin de contrôler pour les effets génétiques. Les chapitres 1 et 2 présentent les résultats de la vérification de l'hypothèse que l’adversité prénatale et postnatale précoce sont associées à une altération du fonctionnement des régions fronto-limbique tels que l’amygdale, l’hippocampe, l’insula, le cortex cingulaire antérieur et le cortex préfrontal, en réponse à des stimuli émotifs chez des enfants et des adolescents. On observe que les symptômes dépressifs maternels sont associés à une activation plus élevée des régions fronto-limbiques des enfants en réponse à la tristesse. Les résultats de l’étude avec des adolescents suggèrent que le PPN, les symptômes dépressifs et les comportements maternels négatifs sont associés à une fonction altérée des régions fronto-limbiques en réponse à des stimuli émotionnels. Chez les jumeaux MZ on observe également que la discordance intra-paire de PPN et de certains comportements maternels est associée à une discordance intra-paire du fonctionnement du cerveau et que ces altérations diffèrent selon le sexe. Le chapitre 3 présente les résultats de la vérification de l'hypothèse que l’adversité prénatale et postnatale précoce sont associées à un volume total réduit du cerveau et de l’hypothèse que les comportements maternels peuvent servir de médiateur ou de modérateur de l'association entre le PPN et le volume du cerveau. Avec des jumeaux MZ à l’adolescence on observe a) que le PPN est effectivement associé à une diminution du volume total du cerveau et b) que la discordance intra-paire de PPN est associée à une discordance du volume du cerveau. En somme, cette thèse présente un ensemble de résultats qui soutiennent deux hypothèses importantes pour comprendre les effets de l’environnement sur le développement du cerveau : que l’environnement prénatal et postnatal précoce ont un impact sur le développement du cerveau indépendamment du code génétique et que les mécanismes impliqués peuvent différer entre les garçons et les filles. Finalement, l’ensemble de ces résultats sont discutés à la lumière des autres travaux de recherche dans ce domaine et des avenues à explorer pour de la recherche ultérieure sont proposées.

De la musique au-delà des frontières du son

La musique aujourd’hui est régulièrement accompagnée d’environnements visuels. Depuis les propositions en provenance du vidéoclip jusqu’aux œuvres installatives en passant par l’art web ou le cinéma, l’audiovisuel occupe une place considérable dans notre monde médiatisé et constitue un foyer important du développement des pratiques musicales. L’alliage entre son et image est souvent rattachée à l’histoire du cinéma mais les prémisses entourant l’audiovisuel remontent en réalité à l’Antiquité. Les correspondances entre sons et couleurs ont pris racine en premier chez les Pythagoriciens et cet intérêt se poursuit encore aujourd’hui. L’avènement de différentes technologies est venu reformuler au fil des siècles cette recherche qui retourne du décloisonnement artistique. L’arrivée de l’électricité permet au XIXe siècle le développement d’une lutherie expérimentale avec entre autres l’orgue à couleur d’Alexander Rimington. Ces instruments audiovisuels donnent naissance plus tard au Lumia, un art de la couleur et du mouvement se voulant proche de la musique et qui ne donne pourtant rien à entendre. Parallèlement à ces nouvelles propositions artistiques, il se développe dès les tout début du XXe siècle au sein des avant-gardes cinématographiques un corpus d’œuvres qui sera ensuite appelé musique visuelle. Les possibilités offertes par le support filmique vient offrir de nouvelles possibilités quant à l’organisation de la couleur et du mouvement. La pratique de cet art hybride est ensuite reformulée par les artistes associés à l’art vidéo avant de connaitre une vaste phase de démocratisation avec l’avènement des ordinateurs domestiques depuis les années 1990. Je retrace le parcours historique de ces pratiques audiovisuelles qui s’inscrivent résolument sur le terrain du musical. Un parcours appuyé essentiellement sur des œuvres et des ouvrages théoriques tout en étant parsemé de réflexions personnelles. Je traite des enjeux théoriques associés à ces propositions artistiques en les différenciant d’un autre format audiovisuel majeur soit le cinéma. Cet exposé permet de préparer le terrain afin de présenter et contextualiser mon travail de création. Je traite de deux œuvres, Trombe (2011) et Lungta (2012), des propositions qui héritent à la fois des musiques visuelles, de l’art interactif et de l’art cinétique.

A novel Sigma–Delta based parallel analogue-to-residue converter

Animportant step in the residue number system(RNS) based signal processing is the conversion of signal into residue domain. Many implementations of this conversion have been proposed for various goals, and one of the implementations is by a direct conversion from an analogue input. A novel approach for analogue-to-residue conversion is proposed in this research using the most popular Sigma–Delta analogue-to-digital converter (SD-ADC). In this approach, the front end is the same as in traditional SD-ADC that uses Sigma–Delta (SD) modulator with appropriate dynamic range, but the filtering is doneby a filter implemented usingRNSarithmetic. Hence, the natural output of the filter is an RNS representation of the input signal. The resolution, conversion speed, hardware complexity and cost of implementation of the proposed SD based analogue-to-residue converter are compared with the existing analogue-to-residue converters based on Nyquist rate ADCs

Jerim-320: A New 320-Bit Hash Function Compared To Hash Functions With Parallel Branches

This paper describes JERIM-320, a new 320-bit hash function used for ensuring message integrity and details a comparison with popular hash functions of similar design. JERIM-320 and FORK -256 operate on four parallel lines of message processing while RIPEMD-320 operates on two parallel lines. Popular hash functions like MD5 and SHA-1 use serial successive iteration for designing compression functions and hence are less secure. The parallel branches help JERIM-320 to achieve higher level of security using multiple iterations and processing on the message blocks. The focus of this work is to prove the ability of JERIM 320 in ensuring the integrity of messages to a higher degree to suit the fast growing internet applications

A User-Centric Perspective on Parallel Programming with Focus on OpenMP

The process of developing software that takes advantage of multiple processors is commonly referred to as parallel programming. For various reasons, this process is much harder than the sequential case. For decades, parallel programming has been a problem for a small niche only: engineers working on parallelizing mostly numerical applications in High Performance Computing. This has changed with the advent of multi-core processors in mainstream computer architectures. Parallel programming in our days becomes a problem for a much larger group of developers. The main objective of this thesis was to find ways to make parallel programming easier for them. Different aims were identified in order to reach the objective: research the state of the art of parallel programming today, improve the education of software developers about the topic, and provide programmers with powerful abstractions to make their work easier. To reach these aims, several key steps were taken. To start with, a survey was conducted among parallel programmers to find out about the state of the art. More than 250 people participated, yielding results about the parallel programming systems and languages in use, as well as about common problems with these systems. Furthermore, a study was conducted in university classes on parallel programming. It resulted in a list of frequently made mistakes that were analyzed and used to create a programmers' checklist to avoid them in the future. For programmers' education, an online resource was setup to collect experiences and knowledge in the field of parallel programming - called the Parawiki. Another key step in this direction was the creation of the Thinking Parallel weblog, where more than 50.000 readers to date have read essays on the topic. For the third aim (powerful abstractions), it was decided to concentrate on one parallel programming system: OpenMP. Its ease of use and high level of abstraction were the most important reasons for this decision. Two different research directions were pursued. The first one resulted in a parallel library called AthenaMP. It contains so-called generic components, derived from design patterns for parallel programming. These include functionality to enhance the locks provided by OpenMP, to perform operations on large amounts of data (data-parallel programming), and to enable the implementation of irregular algorithms using task pools. AthenaMP itself serves a triple role: the components are well-documented and can be used directly in programs, it enables developers to study the source code and learn from it, and it is possible for compiler writers to use it as a testing ground for their OpenMP compilers. The second research direction was targeted at changing the OpenMP specification to make the system more powerful. The main contributions here were a proposal to enable thread-cancellation and a proposal to avoid busy waiting. Both were implemented in a research compiler, shown to be useful in example applications, and proposed to the OpenMP Language Committee.

Computational complexity of weighted splitting schemes on parallel computers

In models of complicated physical-chemical processes operator splitting is very often applied in order to achieve sufficient accuracy as well as efficiency of the numerical solution. The recently rediscovered weighted splitting schemes have the great advantage of being parallelizable on operator level, which allows us to reduce the computational time if parallel computers are used. In this paper, the computational times needed for the weighted splitting methods are studied in comparison with the sequential (S) splitting and the Marchuk-Strang (MSt) splitting and are illustrated by numerical experiments performed by use of simplified versions of the Danish Eulerian model (DEM).