Modeling High-Dimensional Audio Sequences with Recurrent Neural Networks

Cette thèse étudie des modèles de séquences de haute dimension basés sur des réseaux de neurones récurrents (RNN) et leur application à la musique et à la parole. Bien qu'en principe les RNN puissent représenter les dépendances à long terme et la dynamique temporelle complexe propres aux séquences d'intérêt comme la vidéo, l'audio et la langue naturelle, ceux-ci n'ont pas été utilisés à leur plein potentiel depuis leur introduction par Rumelhart et al. (1986a) en raison de la difficulté de les entraîner efficacement par descente de gradient. Récemment, l'application fructueuse de l'optimisation Hessian-free et d'autres techniques d'entraînement avancées ont entraîné la recrudescence de leur utilisation dans plusieurs systèmes de l'état de l'art. Le travail de cette thèse prend part à ce développement. L'idée centrale consiste à exploiter la flexibilité des RNN pour apprendre une description probabiliste de séquences de symboles, c'est-à-dire une information de haut niveau associée aux signaux observés, qui en retour pourra servir d'à priori pour améliorer la précision de la recherche d'information. Par exemple, en modélisant l'évolution de groupes de notes dans la musique polyphonique, d'accords dans une progression harmonique, de phonèmes dans un énoncé oral ou encore de sources individuelles dans un mélange audio, nous pouvons améliorer significativement les méthodes de transcription polyphonique, de reconnaissance d'accords, de reconnaissance de la parole et de séparation de sources audio respectivement. L'application pratique de nos modèles à ces tâches est détaillée dans les quatre derniers articles présentés dans cette thèse. Dans le premier article, nous remplaçons la couche de sortie d'un RNN par des machines de Boltzmann restreintes conditionnelles pour décrire des distributions de sortie multimodales beaucoup plus riches. Dans le deuxième article, nous évaluons et proposons des méthodes avancées pour entraîner les RNN. Dans les quatre derniers articles, nous examinons différentes façons de combiner nos modèles symboliques à des réseaux profonds et à la factorisation matricielle non-négative, notamment par des produits d'experts, des architectures entrée/sortie et des cadres génératifs généralisant les modèles de Markov cachés. Nous proposons et analysons également des méthodes d'inférence efficaces pour ces modèles, telles la recherche vorace chronologique, la recherche en faisceau à haute dimension, la recherche en faisceau élagué et la descente de gradient. Finalement, nous abordons les questions de l'étiquette biaisée, du maître imposant, du lissage temporel, de la régularisation et du pré-entraînement.

Designing Regularizers and Architectures for Recurrent Neural Networks

Cette thèse contribue a la recherche vers l'intelligence artificielle en utilisant des méthodes connexionnistes. Les réseaux de neurones récurrents sont un ensemble de modèles séquentiels de plus en plus populaires capable en principe d'apprendre des algorithmes arbitraires. Ces modèles effectuent un apprentissage en profondeur, un type d'apprentissage machine. Sa généralité et son succès empirique en font un sujet intéressant pour la recherche et un outil prometteur pour la création de l'intelligence artificielle plus générale. Le premier chapitre de cette thèse donne un bref aperçu des sujets de fonds: l'intelligence artificielle, l'apprentissage machine, l'apprentissage en profondeur et les réseaux de neurones récurrents. Les trois chapitres suivants couvrent ces sujets de manière de plus en plus spécifiques. Enfin, nous présentons quelques contributions apportées aux réseaux de neurones récurrents. Le chapitre \ref{arxiv1} présente nos travaux de régularisation des réseaux de neurones récurrents. La régularisation vise à améliorer la capacité de généralisation du modèle, et joue un role clé dans la performance de plusieurs applications des réseaux de neurones récurrents, en particulier en reconnaissance vocale. Notre approche donne l'état de l'art sur TIMIT, un benchmark standard pour cette tâche. Le chapitre \ref{cpgp} présente une seconde ligne de travail, toujours en cours, qui explore une nouvelle architecture pour les réseaux de neurones récurrents. Les réseaux de neurones récurrents maintiennent un état caché qui représente leurs observations antérieures. L'idée de ce travail est de coder certaines dynamiques abstraites dans l'état caché, donnant au réseau une manière naturelle d'encoder des tendances cohérentes de l'état de son environnement. Notre travail est fondé sur un modèle existant; nous décrivons ce travail et nos contributions avec notamment une expérience préliminaire.

Designing Regularizers and Architectures for Recurrent Neural Networks

Cette thèse contribue a la recherche vers l'intelligence artificielle en utilisant des méthodes connexionnistes. Les réseaux de neurones récurrents sont un ensemble de modèles séquentiels de plus en plus populaires capable en principe d'apprendre des algorithmes arbitraires. Ces modèles effectuent un apprentissage en profondeur, un type d'apprentissage machine. Sa généralité et son succès empirique en font un sujet intéressant pour la recherche et un outil prometteur pour la création de l'intelligence artificielle plus générale. Le premier chapitre de cette thèse donne un bref aperçu des sujets de fonds: l'intelligence artificielle, l'apprentissage machine, l'apprentissage en profondeur et les réseaux de neurones récurrents. Les trois chapitres suivants couvrent ces sujets de manière de plus en plus spécifiques. Enfin, nous présentons quelques contributions apportées aux réseaux de neurones récurrents. Le chapitre \ref{arxiv1} présente nos travaux de régularisation des réseaux de neurones récurrents. La régularisation vise à améliorer la capacité de généralisation du modèle, et joue un role clé dans la performance de plusieurs applications des réseaux de neurones récurrents, en particulier en reconnaissance vocale. Notre approche donne l'état de l'art sur TIMIT, un benchmark standard pour cette tâche. Le chapitre \ref{cpgp} présente une seconde ligne de travail, toujours en cours, qui explore une nouvelle architecture pour les réseaux de neurones récurrents. Les réseaux de neurones récurrents maintiennent un état caché qui représente leurs observations antérieures. L'idée de ce travail est de coder certaines dynamiques abstraites dans l'état caché, donnant au réseau une manière naturelle d'encoder des tendances cohérentes de l'état de son environnement. Notre travail est fondé sur un modèle existant; nous décrivons ce travail et nos contributions avec notamment une expérience préliminaire.

Estimations des potentiels de pêche des stocks démersaux ivoiriens par les modèles globaux. Effets de la prolifération du Baliste (Balistes capriscus)

Statistical data (1959-1977) of the trawling fishery off the continental shelf of Côte d'Ivoire has been fitted to the Fox (PRODFIT) global model. Owing to the proliferation of baliste (B. capriscus) since the years 1971-1972, data were divided into two groups. Maximum Sustainable Yield MSY: PMMC in the text), for the whole of commercial species in the continental shelf, decreased from 8800t to 5900t between the two periods; the difference represents balistes potentialities at bottom level. The model has also been fitted to data which concern Sciaenidae coastal community and Sparidae community which are parts by the 50 m isobathe. Deep layer (50-120m) MSY is at 2350t during the whole period of study. Until 1977, this potentiality was never reached, because of the low productivity of the Sparidae community.

Le recours aux modèles dans l'enseignement de la biologie au secondaire : conceptions d'enseignantes et d'enseignants et modes d'utilisation

Le recours aux modèles et à la modélisation est mentionné dans la documentation scientifique comme un moyen de favoriser la mise en oeuvre de pratiques d'enseignement-apprentissage constructivistes pour pallier les difficultés d'apprentissage en sciences. L'étude préalable du rapport des enseignantes et des enseignants aux modèles et à la modélisation est alors pertinente pour comprendre leurs pratiques d'enseignement et identifier des éléments dont la prise en compte dans les formations initiale et disciplinaire peut contribuer au développement d'un enseignement constructiviste des sciences. Plusieurs recherches ont porté sur ces conceptions sans faire de distinction selon les matières enseignées, telles la physique, la chimie ou la biologie, alors que les modèles ne sont pas forcément utilisés ou compris de la même manière dans ces différentes disciplines. Notre recherche s'est intéressée aux conceptions d'enseignantes et d'enseignants de biologie au secondaire au sujet des modèles scientifiques, de quelques formes de représentations de ces modèles ainsi que de leurs modes d'utilisation en classe. Les résultats, que nous avons obtenus au moyen d'une série d'entrevues semi-dirigées, indiquent que globalement leurs conceptions au sujet des modèles sont compatibles avec celle scientifiquement admise, mais varient quant aux formes de représentations des modèles. L'examen de ces conceptions témoigne d'une connaissance limitée des modèles et variable selon la matière enseignée. Le niveau d'études, la formation préalable, l'expérience en enseignement et un possible cloisonnement des matières pourraient expliquer les différentes conceptions identifiées. En outre, des difficultés temporelles, conceptuelles et techniques peuvent friner leurs tentatives de modélisation avec les élèves. Toutefois, nos résultats accréditent l'hypothèse que les conceptions des enseignantes et des enseignants eux-mêmes au sujet des modèles, de leurs formes de représentation et de leur approche constructiviste en enseignement représentent les plus grands obstacles à la construction des modèles en classe.

Influence de deux milieux séquentiels pour la culture d'embryons sur la production d'hormone gonadotrophine chorionique et de progestérone par des cellules JEG-3 et BeWo [Effects of different embryo development media on hCG and progesterone release by JEG-3 and BeWo cells]

Current in vitro fertilisation (IVF) practice requires synchronisation between the¦environment of cultured oocytes and embryos and the surroundings to what they would have¦been exposed to in vivo. Commercial, sequential media follow this requirement but their exact¦composition is not available. We have compared two widely used IVF culture media systems using¦the two choriocarcinoma cell lines JEG-3 and BeWo. The two hormones hCG and progesterone¦were determined in the culture supernatants as endpoints. In both cell lines, but in a more¦pronounced way in JEG-3, progesterone rather than hCG production was stimulated, and a¦higher hormone release was observed in the fertilisation than in the cleavage media. Differences¦between manufacturers were small and did not favour one system over the other. We conclude¦that both sequential media systems can be equally well used in current IVF laboratory practice.¦© 2012 Elsevier Masson SAS. All rights reserved.

Le château comme production architecturale: modèles, artisans, architectes. Essai de synthèse.

Délaissé de la recherche depuis de nombreuses décennies, l'objet architectural « château » est pourtant un élément central dans la compréhension des dynamiques artistiques sous l'Ancien Régime. Symbole de la réussite sociale de commanditaires enrichis au service étranger, il est aussi la marque de leurs ambitions culturelles et artistiques. Contrairement à une idée répandue, ils sont souvent à l'avant-garde de l'architecture de leur temps, devançant souvent les hôtels urbains dans l'adoption des formes à la française. Plusieurs châteaux sont documentés par des fonds d'archives de grand intérêt qui méritent d'être vus ou revus en relation avec les exigences actuelles de la recherche. A partir de quelques exemples lémaniques, notamment les châteaux possédés par les Mestral, les Gingins et les Sacconay, cette contribution mettra en évidence leur importance dans la topographie artistique régionale, tant au niveau de la diffusion des formes exogènes et de leur acculturation à un milieu particulier - protestant et patricien -, que dans l'émergence d'une classe d'artisans de très haut niveau. Architecture, décor, mais aussi mobilier et jardins du château permettent de dessiner une autre histoire de l'art, beaucoup moins périphérique que l'on pourrait s'y attendre.

Recueil de modèles de correspondance, anonyme et sans titre, contenant des formules d'épîtres à adresser aux dignitaires de l'empire, des lettres que s'envoient les grands personnages, des lettres échangées entre parents et amis, des lettres d'amitié et de bonne relation, de condoléance, de recommandation, des formules d'actes.

Parmi ces pièces, l'on remarque la lettre que le sultan Mourad IV écrivit au roi de Perse (folio 49) ; on trouve, aux feuillets 1-6, la première page du traité sur la correspondance diplomatique de Okčizade Mohammed Efendi, et quelques lettres officielles, tirées d'un Insha, dans une écriture divani cursive.

Petit recueil de lettres, anonyme et sans titre, contenant des formules de missives à échanger entre parents et amis, et quelques modèles d'actes.

Oratoire.

Catalogue des tableaux, desseins, estampes, livres d'histoire, sciences & arts, modèles en cire & plâtre, laissés après le décès de M. Bouchardon, sculpteur du roi. Dont la vente se fera dans le mois de novembre 1762... / par François Basan, graveur

[Vente (Art). 1762-11-00. Paris]

Catalogue des tableaux, desseins, estampes, livres d'histoire, sciences & arts, modèles en cire & plâtre, laissés après le décès de M. Bouchardon, sculpteur du roi. Dont la vente se fera dans le mois de novembre 1762... / par François Basan, graveur

[Vente (Art). 1762-11-00. Paris]