Training deep convolutional architectures for vision

Les tâches de vision artificielle telles que la reconnaissance d’objets demeurent irrésolues à ce jour. Les algorithmes d’apprentissage tels que les Réseaux de Neurones Artificiels (RNA), représentent une approche prometteuse permettant d’apprendre des caractéristiques utiles pour ces tâches. Ce processus d’optimisation est néanmoins difficile. Les réseaux profonds à base de Machine de Boltzmann Restreintes (RBM) ont récemment été proposés afin de guider l’extraction de représentations intermédiaires, grâce à un algorithme d’apprentissage non-supervisé. Ce mémoire présente, par l’entremise de trois articles, des contributions à ce domaine de recherche. Le premier article traite de la RBM convolutionelle. L’usage de champs réceptifs locaux ainsi que le regroupement d’unités cachées en couches partageant les même paramètres, réduit considérablement le nombre de paramètres à apprendre et engendre des détecteurs de caractéristiques locaux et équivariant aux translations. Ceci mène à des modèles ayant une meilleure vraisemblance, comparativement aux RBMs entraînées sur des segments d’images. Le deuxième article est motivé par des découvertes récentes en neurosciences. Il analyse l’impact d’unités quadratiques sur des tâches de classification visuelles, ainsi que celui d’une nouvelle fonction d’activation. Nous observons que les RNAs à base d’unités quadratiques utilisant la fonction softsign, donnent de meilleures performances de généralisation. Le dernière article quand à lui, offre une vision critique des algorithmes populaires d’entraînement de RBMs. Nous montrons que l’algorithme de Divergence Contrastive (CD) et la CD Persistente ne sont pas robustes : tous deux nécessitent une surface d’énergie relativement plate afin que leur chaîne négative puisse mixer. La PCD à "poids rapides" contourne ce problème en perturbant légèrement le modèle, cependant, ceci génère des échantillons bruités. L’usage de chaînes tempérées dans la phase négative est une façon robuste d’adresser ces problèmes et mène à de meilleurs modèles génératifs.

The human right to water - normative foundations and ethical implications

La présente contribution examine les fondements normatifs ainsi que les implications éthiques du droit à l’eau, tel qu’il fut reconnu en 2002 par le comité onusien des droits économiques, sociaux et culturels. Il sera défendu que le droit à l’eau potable peut être justifié en tant que droit moral fondamental, de par son caractère indispensable en vue de la garantie des conditions basiques de survie. Cet état de fait, cependant, s’avère moins évident au vue d’un droit à l’eau d’usage non-domestique. Ici, la discussion se rapproche des débats accompagnant le concept beaucoup plus complexe des droits sociaux et économiques. Par rapport à ce groupe de droits, la question de l’allocation est des plus controversées: à qui incombe-t-il de garantir leur respect? Dans le but d’éviter cette problématique d’allocation, le présent essai soulèvera la question de savoir, si la limitation de l’accès à l’eau peut être conçue comme une violation d’autres droits moraux: bien qu’il y ait des cas où des entreprises transnationales déploient des activités nuisibles à l’égard des populations pauvres en polluant sciemment leurs ressources en eau ou en initiant et en exécutant des stratégies de privatisation les privant de leurs droits, la crise globale de l’eau ne saura être rattachée uniquement aux effets de la mondialisation. Plutôt, l’on reconnaîtra la nécessité d’efforts positifs et soutenus de la part des pays développés en vue de la réalisation d’un approvisionnement suffisant en eau pour tous.

Significations et perceptions en architecture dans l’œuvre de Christian Norberg-Schulz

L’architecture au sens strict, qui renvoie à la construction, n’est pas indépendante des déterminations mentales, des images et des valeurs esthétiques, comme références, amenées par divers champs d’intérêt au problème du sens. Elle est, de par ce fait, un objet d’interprétation. Ce qu’on appelle communément « signification architecturale », est un univers vaste dans lequel sont constellées des constructions hypothétiques. En ce qui nous concerne, il s’agit non seulement de mouler la signification architecturale selon un cadre et des matières spécifiques de référence, mais aussi, de voir de près la relation de cette question avec l’attitude de perception de l’homme. Dans l’étude de la signification architecturale, on ne peut donc se détacher du problème de la perception. Au fond, notre travail montrera leur interaction, les moyens de sa mise en œuvre et ce qui est en jeu selon les pratiques théoriques qui la commandent. En posant la question de l’origine de l’acte de perception, qui n’est ni un simple acte de voir, ni un acte contemplatif, mais une forme d’interaction active avec la forme architecturale ou la forme d’art en général, on trouve dans les écrits de l’historien Christian Norberg-Schulz deux types de travaux, et donc deux types de réponses dont nous pouvons d’emblée souligner le caractère antinomique l’une par rapport à l’autre. C’est qu’il traite, dans le premier livre qu’il a écrit, Intentions in architecture (1962), connu dans sa version française sous le titre Système logique de l’architecture (1974, ci-après SLA), de l’expression architecturale et des modes de vie en société comme un continuum, défendant ainsi une approche culturelle de la question en jeu : la signification architecturale et ses temporalités. SLA désigne et représente un système théorique influencé, à bien des égards, par les travaux de l’épistémologie de Jean Piaget et par les contributions de la sémiotique au développement de l’étude de la signification architecturale. Le second type de réponse sur l’origine de l’acte de perception que formule Norberg-Schulz, basé sur sur les réflexions du philosophe Martin Heidegger, se rapporte à un terrain d’étude qui se situe à la dérive de la revendication du fondement social et culturel du langage architectural. Il lie, plus précisément, l’étude de la signification à l’étude de l’être. Reconnaissant ainsi la primauté, voire la prééminence, d’une recherche ontologique, qui consiste à soutenir les questionnements sur l’être en tant qu’être, il devrait amener avec régularité, à partir de son livre Existence, Space and Architecture (1971), des questions sur le fondement universel et historique de l’expression architecturale. Aux deux mouvements théoriques caractéristiques de ses écrits correspond le mouvement que prend la construction de notre thèse que nous séparons en deux parties. La première partie sera ainsi consacrée à l’étude de SLA avec l’objectif de déceler les ambiguïtés qui entourent le cadre de son élaboration et à montrer les types de legs que son auteur laisse à la théorie architecturale. Notre étude va montrer l’aspect controversé de ce livre, lié aux influences qu’exerce la pragmatique sur l’étude de la signification. Il s’agit dans cette première partie de présenter les modèles théoriques dont il débat et de les mettre en relation avec les différentes échelles qui y sont proposées pour l’étude du langage architectural, notamment avec l’échelle sociale. Celle-ci implique l’étude de la fonctionnalité de l’architecture et des moyens de recherche sur la typologie de la forme architecturale et sur sa schématisation. Notre approche critique de cet ouvrage prend le point de vue de la recherche historique chez Manfredo Tafuri. La seconde partie de notre thèse porte, elle, sur les fondements de l’intérêt chez Norberg-Schulz à partager avec Heidegger la question de l’Être qui contribuent à fonder une forme d’investigation existentielle sur la signification architecturale et du problème de la perception . L’éclairage de ces fondements exige, toutefois, de montrer l’enracinement de la question de l’Être dans l’essence de la pratique herméneutique chez Heidegger, mais aussi chez H. G. Gadamer, dont se réclame aussi directement Norberg-Schulz, et de dévoiler, par conséquent, la primauté établie de l’image comme champ permettant d’instaurer la question de l’Être au sein de la recherche architecturale. Sa recherche conséquente sur des valeurs esthétiques transculturelles a ainsi permis de réduire les échelles d’étude de la signification à l’unique échelle d’étude de l’Être. C’est en empruntant cette direction que Norberg-Schulz constitue, au fond, suivant Heidegger, une approche qui a pour tâche d’aborder l’« habiter » et le « bâtir » à titre de solutions au problème existentiel de l’Être. Notre étude révèle, cependant, une interaction entre la question de l’Être et la critique de la technique moderne par laquelle l’architecture est directement concernée, centrée sur son attrait le plus marquant : la reproductibilité des formes. Entre les écrits de Norberg-Schulz et les analyses spécifiques de Heidegger sur le problème de l’art, il existe un contexte de rupture avec le langage de la théorie qu’il s’agit pour nous de dégager et de ramener aux exigences du travail herméneutique, une approche que nous avons nous-même adoptée. Notre méthode est donc essentiellement qualitative. Elle s’inspire notamment des méthodes d’interprétation, de là aussi notre recours à un corpus constitué des travaux de Gilles Deleuze et de Jacques Derrida ainsi qu’à d’autres travaux associés à ce type d’analyse. Notre recherche demeure cependant attentive à des questions d’ordre épistémologique concernant la relation entre la discipline architecturale et les sciences qui se prêtent à l’étude du langage architectural. Notre thèse propose non seulement une compréhension approfondie des réflexions de Norberg-Schulz, mais aussi une démonstration de l’incompatibilité de la phénoménologie de Heidegger et des sciences du langage, notamment la sémiotique.

Understanding deep architectures and the effect of unsupervised pre-training

Cette thèse porte sur une classe d'algorithmes d'apprentissage appelés architectures profondes. Il existe des résultats qui indiquent que les représentations peu profondes et locales ne sont pas suffisantes pour la modélisation des fonctions comportant plusieurs facteurs de variation. Nous sommes particulièrement intéressés par ce genre de données car nous espérons qu'un agent intelligent sera en mesure d'apprendre à les modéliser automatiquement; l'hypothèse est que les architectures profondes sont mieux adaptées pour les modéliser. Les travaux de Hinton (2006) furent une véritable percée, car l'idée d'utiliser un algorithme d'apprentissage non-supervisé, les machines de Boltzmann restreintes, pour l'initialisation des poids d'un réseau de neurones supervisé a été cruciale pour entraîner l'architecture profonde la plus populaire, soit les réseaux de neurones artificiels avec des poids totalement connectés. Cette idée a été reprise et reproduite avec succès dans plusieurs contextes et avec une variété de modèles. Dans le cadre de cette thèse, nous considérons les architectures profondes comme des biais inductifs. Ces biais sont représentés non seulement par les modèles eux-mêmes, mais aussi par les méthodes d'entraînement qui sont souvent utilisés en conjonction avec ceux-ci. Nous désirons définir les raisons pour lesquelles cette classe de fonctions généralise bien, les situations auxquelles ces fonctions pourront être appliquées, ainsi que les descriptions qualitatives de telles fonctions. L'objectif de cette thèse est d'obtenir une meilleure compréhension du succès des architectures profondes. Dans le premier article, nous testons la concordance entre nos intuitions---que les réseaux profonds sont nécessaires pour mieux apprendre avec des données comportant plusieurs facteurs de variation---et les résultats empiriques. Le second article est une étude approfondie de la question: pourquoi l'apprentissage non-supervisé aide à mieux généraliser dans un réseau profond? Nous explorons et évaluons plusieurs hypothèses tentant d'élucider le fonctionnement de ces modèles. Finalement, le troisième article cherche à définir de façon qualitative les fonctions modélisées par un réseau profond. Ces visualisations facilitent l'interprétation des représentations et invariances modélisées par une architecture profonde.

Grothendieck et les topos : rupture et continuité dans les modes d'analyse du concept d'espace topologique

La thèse présente une analyse conceptuelle de l'évolution du concept d'espace topologique. En particulier, elle se concentre sur la transition des espaces topologiques hérités de Hausdorff aux topos de Grothendieck. Il en ressort que, par rapport aux espaces topologiques traditionnels, les topos transforment radicalement la conceptualisation topologique de l'espace. Alors qu'un espace topologique est un ensemble de points muni d'une structure induite par certains sous-ensembles appelés ouverts, un topos est plutôt une catégorie satisfaisant certaines propriétés d'exactitude. L'aspect le plus important de cette transformation tient à un renversement de la relation dialectique unissant un espace à ses points. Un espace topologique est entièrement déterminé par ses points, ceux-ci étant compris comme des unités indivisibles et sans structure. L'identité de l'espace est donc celle que lui insufflent ses points. À l'opposé, les points et les ouverts d'un topos sont déterminés par la structure de celui-ci. Qui plus est, la nature des points change: ils ne sont plus premiers et indivisibles. En effet, les points d'un topos disposent eux-mêmes d'une structure. L'analyse met également en évidence que le concept d'espace topologique évolua selon une dynamique de rupture et de continuité. Entre 1945 et 1957, la topologie algébrique et, dans une certaine mesure, la géométrie algébrique furent l'objet de changements fondamentaux. Les livres Foundations of Algebraic Topology de Eilenberg et Steenrod et Homological Algebra de Cartan et Eilenberg de même que la théorie des faisceaux modifièrent profondément l'étude des espaces topologiques. En contrepartie, ces ruptures ne furent pas assez profondes pour altérer la conceptualisation topologique de l'espace elle-même. Ces ruptures doivent donc être considérées comme des microfractures dans la perspective de l'évolution du concept d'espace topologique. La rupture définitive ne survint qu'au début des années 1960 avec l'avènement des topos dans le cadre de la vaste refonte de la géométrie algébrique entreprise par Grothendieck. La clé fut l'utilisation novatrice que fit Grothendieck de la théorie des catégories. Alors que ses prédécesseurs n'y voyaient qu'un langage utile pour exprimer certaines idées mathématiques, Grothendieck l'emploie comme un outil de clarification conceptuelle. Ce faisant, il se trouve à mettre de l'avant une approche axiomatico-catégorielle des mathématiques. Or, cette rupture était tributaire des innovations associées à Foundations of Algebraic Topology, Homological Algebra et la théorie des faisceaux. La théorie des catégories permit à Grothendieck d'exploiter le plein potentiel des idées introduites par ces ruptures partielles. D'un point de vue épistémologique, la transition des espaces topologiques aux topos doit alors être vue comme s'inscrivant dans un changement de position normative en mathématiques, soit celui des mathématiques modernes vers les mathématiques contemporaines.

L’assistance médicalisée pour mourir demandée dans le cadre des soins de fin de vie : enjeux d’une éthique réflexive et critique pour l’humanisation de la mort

Par une approche analytique, cette étude en éthique clinique a examiné la problématique de la demande d’assistance médicalisée pour mourir formulée dans le cadre des soins de fin de vie. Partant du fait que cette demande sollicite les soignants dans leur savoir et leur savoir-faire, surtout dans leur savoir-être, cette étude rend d’abord compte d’un fait : bon gré mal gré l’interdit de l’euthanasie par la loi et la déontologie médicale, ainsi que le débat contradictoire à son sujet qui dure déjà voici quelques décennies, il arrive de temps à autres que les soignants œuvrant en soins de fin de vie, soient confrontés à une demande d’assistance médicalisée pour mourir. Cette demande qui émane de certaines personnes en fin de vie et / ou de leurs proches, est souvent source de malaise pour les soignants à l’endroit de qui elle crée des défis majeurs et fait naître des dilemmes éthiques importants. Plus particulièrement, cette demande interroge toujours la finalité même des soins de fin de vie : est-ce que l’aide pour mourir fait partie de ces soins ? En réponse à cette question difficile, cette démarche réflexive de soignant chercheur en éthique montre qu’il est difficile de donner une réponse binaire en forme de oui / non ; il est difficile de donner une réponse d’application universalisable, et de définir une généralisable conduite à tenir devant une telle demande, car chaque cas est singulier et unique à son genre. Cette étude montre prioritairement que l’humanisation de la mort est à la fois un enjeu éthique important et un défi majeur pour notre société où la vie des individus est médicalisée de la naissance à la mort. En conséquence, parce que la demande d’assistance médicalisée pour mourir sollicite les soignants dans leur savoir et leur savoir-faire, cette étude montre toute l’importance de la réflexivité et de la créativité que doivent développer les soignants pour apporter une réponse constructive à chaque demande : une réponse humanisant le mourir et la mort elle-même, c’est-à-dire une réponse qui soit, sur le plan éthique, raisonnable et cohérente, une réponse qui soit sur le plan humain, porteuse de sens. D’où, outre l’axiologie, cette démarche réflexive montre que l’interdisciplinarité, la sémantique, l’herméneutique et les grilles d’analyse en éthique, constituent des outils réflexifs efficaces pouvant mieux aider les soignants dans leur démarche. Sur quelles bases éthiques, les soignants doivent-ils examiner une demande d’assistance médicalisée pour mourir, demande qui se présente toujours sous la forme d’un dilemme éthique? Cette question renvoie entre autre au fait que cette demande sollicite profondément les soignants dans leur savoir-être en relation des soins de fin de vie. Aussi bonnes les unes que les autres, qu’on soit pour ou contre l’euthanasie, plusieurs stratégies et méthodes d’analyse sont proposées aux soignants pour la résolution des conflits des valeurs et des dilemmes éthiques. Mais, ce n’est pas sur cette voie-là que cette étude invite les soignants. C’est plutôt par leur réflexivité et leur créativité, enrichies principalement par leur humanisme, leur expérience de vie, leur intuition, et secondairement par les différentes méthodes d’analyse, que selon chaque contexte, les soignants par le souci permanent de bien faire qui les caractérisent, trouveront toujours par eux-mêmes ce qui convient de faire dans l’ici et maintenant de chaque demande. C’est pourquoi, devant une demande d’assistance médicalisée pour mourir qui leur est adressée dans le cadre des soins de fin de vie, cette démarche éthique invite donc les soignants à être « des cliniciens créatifs, des praticiens réflexifs» . C’est pour cette raison, sur le plan proprement dit de la réflexion éthique, cette étude fait apparaître les repères de l’éthique humaniste de fin de vie comme bases axiologiques sur lesquels les soignants peuvent construire une démarche crédible pour répondre au mieux à cette demande. L’éthique humaniste de fin de vie située dans le sillage de l’humanisme médical , où l’humain précède le médical, renvoie au fait qu’en soins de fin de vie où émerge une demande d’aide à la mort, entre le demandeur de cette aide et le soignant, tout doit être basé sur une confiante relation d’homme à homme, même si du côté du soignant, son savoir être dans cette relation est aussi enrichi par sa compétence, ses connaissances et son expérience ou son savoir-faire. Basée sur l’humanité du soignant dans la démarche de soins, l’éthique humaniste de fin de vie en tant que pratique réflexive émerge de la créativité éthique du soignant lui-même et de l’équipe autour de lui ; et cette éthique se situe entre interrogation et transgression, et se définit comme une éthique « du vide-de-sens-à-remplir » dans un profond souci humain de bien faire. Car, exclue l’indifférence à la demande de l’assistance médicalisée pour mourir, son acceptation ou son refus par le soignant, doit porter sur l’humanisation de la mort. Cette dernière étant fondamentalement définie par rapport à ce qui déshumanise la fin de vie.

On Recurrent and Deep Neural Networks

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions.

Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Managing Profound Suffering at the End-of-Life: Should expanding access to continuous deep sedation be the priority?

Commentaire / Commentary

Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.

A Mediated Presence : Uncovering Nietzsche in Art History from its Foundations to Contemporary Anglo-American Curricula

La pensée de Nietzsche a joué un rôle déterminant et récurrent dans les discours et les débats qui ont formé et continuent de façonner le domaine de l’histoire de l’art, mais aucune analyse systématique de cette question n’a encore vu le jour. L’influence de Nietzsche a été médiée par divers interlocuteurs, historiens de l’art et philosophes, qui ont encadré ces discussions, en utilisant les écrits du philosophe comme toile de fond de leurs propres idées. Ce mémoire souhaite démontrer que l’impact de Nietzsche dans le champ de l’histoire de l’art existe mais qu’il fut toujours immergé ou éclipsé, particulièrement dans le contexte anglo-américain, l’emphase étant placée sur les médiateurs de ses idées en n’avouant que très peu d’engagement direct avec son œuvre. En conséquence, son importance généalogique pour certains fondateurs de la discipline reste méconnue; sa présence réellement féconde se traduit plutôt comme une absence ou une présence masquée. En vue de démontrer ce propos, nous regardons donc le contexte nietzschéen qui travaille les écrits de certains historiens de l’art, comme Jacob Burckhardt et Aby Warburg, ou des philosophes et d’écrivains ayant marqué la discipline de l’histoire de l’art (plus particulièrement dans le cadre de l’influence de la « French Theory » sur l’histoire de l’art anglo-américaine depuis la fin des années 1970) : Martin Heidegger, Michel Foucault, Jacques Derrida, Gilles Deleuze et Georges Bataille. Nous examinons certaines voies par lesquelles ses idées ont acquis une pertinence pour l’histoire de l’art avant de proposer les raisons potentielles de leur occlusion ultérieure. Nous étudions donc l’évolution des discours multiples de l’histoire comme domaine d’étude afin de situer la contribution du philosophe et de cerner où et comment ses réflexions ont croisé celles des historiens de l’art qui ont soit élargi ou redéfini les méthodes et les structures d’analyse de leur discipline. Ensuite nous regardons « l’art » de Nietzsche en le comparant avec « l’art de l’histoire de l’art » (Preziosi 2009) afin d’évaluer si ces deux expressions peuvent se rejoindre ou s’il y a fondamentalement une incompatibilité entre les deux, laquelle pourrait justifier ou éclairer la distance entre la pensée nietzschéenne sur l’art et la discipline de l’histoire de l’art telle qu’elle s’institutionnalise au moment où le philosophe rédige son œuvre.

« Theatre in French Canada : laying the foundations 1606-1867 »

Compte rendu critique du livre « Theatre in French Canada : laying the foundations, 1606-1867 » de Leonard E. Doucette, Toronto : University of Toronto Press, coll. «University of Toronto Romance Series», n° 52,1984.

Embracing the Crisis in the Foundations of Mathematics

The crisis in the foundations of mathematics is a conceptual crisis. I suggest that we embrace the crisis and adopt a pluralist position towards foundations. There are many foundations in mathematics. However, ‘many foundations’ (for one building) is an oxymoron. Therefore, we shift vocabulary to say that mathematics, as one discipline, is composed of many different theories. This entails that there are no absolute mathematical truths, only truths within a theory. There is no unified, consistent ontology, only ontology within a theory.