On Recurrent and Deep Neural Networks

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions.

Arguments by definition : Felipe Calderón’s war on drugs and the power to persuade

Les études rhétoriques ont documenté la pertinence de la rhétorique présidentielle et le pouvoir du président de définir les enjeux publics par le discours. Cette recherche porte sur les pratiques rhétoriques par lesquelles l'ancien président mexicain Calderón a défini la lutte contre la drogue qui a caractérisé son administration. Je soutiens que Calderón a avancé une définition du problème de la drogue par des pratiques de définition telles que l'association, la dissociation et les symboles de condensation. Mon analyse 1) identifie les pratiques rhétoriques de définition qui ont caractérisé la lutte à la drogue de Calderón; 2) examine les implications de ces pratiques; et 3) aborde les limites auxquelles les politiciens font face en tentant de modifier des définitions préalablement avancées. En conclusion, j’explique comment les métaphores et les pratiques de définition de Calderón ont ouvert un espace rhétorique où les droits humains pouvaient être révoqués et la violence encouragée.

Fixed point results for multivalued contractions on graphs and their applications

Nous présentons dans cette thèse des théorèmes de point fixe pour des contractions multivoques définies sur des espaces métriques, et, sur des espaces de jauges munis d’un graphe. Nous illustrons également les applications de ces résultats à des inclusions intégrales et à la théorie des fractales. Cette thèse est composée de quatre articles qui sont présentés dans quatre chapitres. Dans le chapitre 1, nous établissons des résultats de point fixe pour des fonctions multivoques, appelées G-contractions faibles. Celles-ci envoient des points connexes dans des points connexes et contractent la longueur des chemins. Les ensembles de points fixes sont étudiés. La propriété d’invariance homotopique d’existence d’un point fixe est également établie pour une famille de Gcontractions multivoques faibles. Dans le chapitre 2, nous établissons l’existence de solutions pour des systèmes d’inclusions intégrales de Hammerstein sous des conditions de type de monotonie mixte. L’existence de solutions pour des systèmes d’inclusions différentielles avec conditions initiales ou conditions aux limites périodiques est également obtenue. Nos résultats s’appuient sur nos théorèmes de point fixe pour des G-contractions multivoques faibles établis au chapitre 1. Dans le chapitre 3, nous appliquons ces mêmes résultats de point fixe aux systèmes de fonctions itérées assujettis à un graphe orienté. Plus précisément, nous construisons un espace métrique muni d’un graphe G et une G-contraction appropriés. En utilisant les points fixes de cette G-contraction, nous obtenons plus d’information sur les attracteurs de ces systèmes de fonctions itérées. Dans le chapitre 4, nous considérons des contractions multivoques définies sur un espace de jauges muni d’un graphe. Nous prouvons un résultat de point fixe pour des fonctions multivoques qui envoient des points connexes dans des points connexes et qui satisfont une condition de contraction généralisée. Ensuite, nous étudions des systèmes infinis de fonctions itérées assujettis à un graphe orienté (H-IIFS). Nous donnons des conditions assurant l’existence d’un attracteur unique à un H-IIFS. Enfin, nous appliquons notre résultat de point fixe pour des contractions multivoques définies sur un espace de jauges muni d’un graphe pour obtenir plus d’information sur l’attracteur d’un H-IIFS. Plus précisément, nous construisons un espace de jauges muni d’un graphe G et une G-contraction appropriés tels que ses points fixes sont des sous-attracteurs du H-IIFS.

Aristotle on Thumos and Phantasia

What is Aristotle’s conception of thumos? This question can be broken down into two separate but related questions: (a) what is the object of desire for thumos, and (b) in which faculty of the soul is thumos grounded? The latter question is the focus of this paper. In this paper, “grounded in” is to be taken physiologically; the second question can be rephrased as “Which faculty of the soul is thumos a function of?” As a general rule Aristotle employs both a colloquial and a technical sense of thumos throughout the corpus. When I ask “What is thumos?,” I am interested in the technical sense that appears primarily in On the Soul and in the Nicomachean Ethics, where thumos is defined as a category of desire (a subset of orexis). The main argument of this paper is that Aristotle’s thumos is grounded in the faculty of phantasia – specifically, a sub-faculty called definite phantasia.