Designing Regularizers and Architectures for Recurrent Neural Networks

Cette thèse contribue a la recherche vers l'intelligence artificielle en utilisant des méthodes connexionnistes. Les réseaux de neurones récurrents sont un ensemble de modèles séquentiels de plus en plus populaires capable en principe d'apprendre des algorithmes arbitraires. Ces modèles effectuent un apprentissage en profondeur, un type d'apprentissage machine. Sa généralité et son succès empirique en font un sujet intéressant pour la recherche et un outil prometteur pour la création de l'intelligence artificielle plus générale. Le premier chapitre de cette thèse donne un bref aperçu des sujets de fonds: l'intelligence artificielle, l'apprentissage machine, l'apprentissage en profondeur et les réseaux de neurones récurrents. Les trois chapitres suivants couvrent ces sujets de manière de plus en plus spécifiques. Enfin, nous présentons quelques contributions apportées aux réseaux de neurones récurrents. Le chapitre \ref{arxiv1} présente nos travaux de régularisation des réseaux de neurones récurrents. La régularisation vise à améliorer la capacité de généralisation du modèle, et joue un role clé dans la performance de plusieurs applications des réseaux de neurones récurrents, en particulier en reconnaissance vocale. Notre approche donne l'état de l'art sur TIMIT, un benchmark standard pour cette tâche. Le chapitre \ref{cpgp} présente une seconde ligne de travail, toujours en cours, qui explore une nouvelle architecture pour les réseaux de neurones récurrents. Les réseaux de neurones récurrents maintiennent un état caché qui représente leurs observations antérieures. L'idée de ce travail est de coder certaines dynamiques abstraites dans l'état caché, donnant au réseau une manière naturelle d'encoder des tendances cohérentes de l'état de son environnement. Notre travail est fondé sur un modèle existant; nous décrivons ce travail et nos contributions avec notamment une expérience préliminaire.

Reconnaissance appraisal, land and water resources, Araguaia-Tocantins river basin, Brazil : a report to CIVAT /

Bibliography: p. [29-33] (2d. group)

Reconnaissance report on coastal erosion at Fort Ord, California /

This is a photocopy reproduction.

A reconnaissance across the Mackenzie mountains on the Pelly, Ross, and Gravel rivers, Yukon, and North West territories.

At head of title: Canada. Department of mines. Geological survey branch.

Aerial photographic reconnaissance.

Mode of access: Internet.

Notes on a geologic reconnaissance of Mountain Province, Luzon, P.I. /

"Separate from The Philippine Journal of Science ...".

La renaissance tchèque au dix-neuvième siécle /

Mode of access: Internet.

Reconnaissance for uranium in the Phosphoria Formation /

"June 1956."

Reconnaissance of the uranium deposits of the Lockhart Canyon - Indian Creek area, San Juan County, Utah /

"May 15, 1953."

Reconnaissance geology of the inner continental shelf, Cape Fear region, North Carolina /

"September 1979."

Report of geological reconnaissance in south-central Montana and northwestern Wyoming /

In the spring of 1953 a program of field reconnaissance for radioactivity in south-central Montana and northwestern Wyoming was authorized by the U.S. Atomic Energy Commission. Field procedures consisted of testing outcrops along roads, in cliffs, and around rim rocks, and testing mines, prospects and the dumps thereof with the appropriate instruments in an attempt to locate exposures of areas showing anomalous radioactivity and to ascertain the geological conditions under which such radioactivity occurred.

Report of radiometric reconnaissance in Virginia, North Carolina, eastern Tennessee, and parts of South Carolina, Georgia, and Alabama.

"Contract Number AT (49-1) 860 - Mod. # 1-4."

Reconnaissance of uranium occurrences at Wray Mesa, San Juan County, Utah and Montrose County, Colorado /

"RME-69(Pt. 1)."

Reconnaissance of Basin-Boulder-Clancey area, Jefferson County, Montana /

"Division of Raw Materials, Exploration Branch."--Cover.

Reconnaissance of certain uranium deposits in Arizona /

"December 1950."