Understanding deep architectures and the effect of unsupervised pre-training

Cette thèse porte sur une classe d'algorithmes d'apprentissage appelés architectures profondes. Il existe des résultats qui indiquent que les représentations peu profondes et locales ne sont pas suffisantes pour la modélisation des fonctions comportant plusieurs facteurs de variation. Nous sommes particulièrement intéressés par ce genre de données car nous espérons qu'un agent intelligent sera en mesure d'apprendre à les modéliser automatiquement; l'hypothèse est que les architectures profondes sont mieux adaptées pour les modéliser. Les travaux de Hinton (2006) furent une véritable percée, car l'idée d'utiliser un algorithme d'apprentissage non-supervisé, les machines de Boltzmann restreintes, pour l'initialisation des poids d'un réseau de neurones supervisé a été cruciale pour entraîner l'architecture profonde la plus populaire, soit les réseaux de neurones artificiels avec des poids totalement connectés. Cette idée a été reprise et reproduite avec succès dans plusieurs contextes et avec une variété de modèles. Dans le cadre de cette thèse, nous considérons les architectures profondes comme des biais inductifs. Ces biais sont représentés non seulement par les modèles eux-mêmes, mais aussi par les méthodes d'entraînement qui sont souvent utilisés en conjonction avec ceux-ci. Nous désirons définir les raisons pour lesquelles cette classe de fonctions généralise bien, les situations auxquelles ces fonctions pourront être appliquées, ainsi que les descriptions qualitatives de telles fonctions. L'objectif de cette thèse est d'obtenir une meilleure compréhension du succès des architectures profondes. Dans le premier article, nous testons la concordance entre nos intuitions---que les réseaux profonds sont nécessaires pour mieux apprendre avec des données comportant plusieurs facteurs de variation---et les résultats empiriques. Le second article est une étude approfondie de la question: pourquoi l'apprentissage non-supervisé aide à mieux généraliser dans un réseau profond? Nous explorons et évaluons plusieurs hypothèses tentant d'élucider le fonctionnement de ces modèles. Finalement, le troisième article cherche à définir de façon qualitative les fonctions modélisées par un réseau profond. Ces visualisations facilitent l'interprétation des représentations et invariances modélisées par une architecture profonde.

Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Apprentissage de représentations sur-complètes par entraînement d’auto-encodeurs

Les avancés dans le domaine de l’intelligence artificielle, permettent à des systèmes informatiques de résoudre des tâches de plus en plus complexes liées par exemple à la vision, à la compréhension de signaux sonores ou au traitement de la langue. Parmi les modèles existants, on retrouve les Réseaux de Neurones Artificiels (RNA), dont la popularité a fait un grand bond en avant avec la découverte de Hinton et al. [22], soit l’utilisation de Machines de Boltzmann Restreintes (RBM) pour un pré-entraînement non-supervisé couche après couche, facilitant grandement l’entraînement supervisé du réseau à plusieurs couches cachées (DBN), entraînement qui s’avérait jusqu’alors très difficile à réussir. Depuis cette découverte, des chercheurs ont étudié l’efficacité de nouvelles stratégies de pré-entraînement, telles que l’empilement d’auto-encodeurs traditionnels(SAE) [5, 38], et l’empilement d’auto-encodeur débruiteur (SDAE) [44]. C’est dans ce contexte qu’a débuté la présente étude. Après un bref passage en revue des notions de base du domaine de l’apprentissage machine et des méthodes de pré-entraînement employées jusqu’à présent avec les modules RBM, AE et DAE, nous avons approfondi notre compréhension du pré-entraînement de type SDAE, exploré ses différentes propriétés et étudié des variantes de SDAE comme stratégie d’initialisation d’architecture profonde. Nous avons ainsi pu, entre autres choses, mettre en lumière l’influence du niveau de bruit, du nombre de couches et du nombre d’unités cachées sur l’erreur de généralisation du SDAE. Nous avons constaté une amélioration de la performance sur la tâche supervisée avec l’utilisation des bruits poivre et sel (PS) et gaussien (GS), bruits s’avérant mieux justifiés que celui utilisé jusqu’à présent, soit le masque à zéro (MN). De plus, nous avons démontré que la performance profitait d’une emphase imposée sur la reconstruction des données corrompues durant l’entraînement des différents DAE. Nos travaux ont aussi permis de révéler que le DAE était en mesure d’apprendre, sur des images naturelles, des filtres semblables à ceux retrouvés dans les cellules V1 du cortex visuel, soit des filtres détecteurs de bordures. Nous aurons par ailleurs pu montrer que les représentations apprises du SDAE, composées des caractéristiques ainsi extraites, s’avéraient fort utiles à l’apprentissage d’une machine à vecteurs de support (SVM) linéaire ou à noyau gaussien, améliorant grandement sa performance de généralisation. Aussi, nous aurons observé que similairement au DBN, et contrairement au SAE, le SDAE possédait une bonne capacité en tant que modèle générateur. Nous avons également ouvert la porte à de nouvelles stratégies de pré-entraînement et découvert le potentiel de l’une d’entre elles, soit l’empilement d’auto-encodeurs rebruiteurs (SRAE).

Étude de techniques d'apprentissage non-supervisé pour l'amélioration de l'entraînement supervisé de modèles connexionnistes

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

Deep learning architecture for gesture recognition

Pós-graduação em Engenharia Mecânica - FEG

Stratigraphic Architecture of Deep Sea Depositional Systems in the Southern Tyrrhenian Sea: Some Examples in the Ischia and Stromboli Volcanic Islands (Southern Italy)

The stratigraphic architecture of deep sea depositional systems has been discussed in detail. Some examples in Ischia and Stromboli volcanic islands (Southern Tyrrhenian sea, Italy) are here shown and discussed. The submarine slope and base of slope depositional systems represent a major component of marine and lacustrine basin fills, constituting primary targets for hydrocarbon exploration and development. The slope systems are characterized by seven seismic facies building blocks, including the turbiditic channel fills, the turbidite lobes, the sheet turbidites, the slide, slump and debris flow sheets, lobes and tongues, the fine-grained turbidite fills and sheets, the contourite drifts and finally, the hemipelagic drapes and fills. Sparker profiles offshore Ischia are presented. New seismo-stratigraphic evidence on buried volcanic structures and overlying Quaternary deposits of the eastern offshore of the Ischia Island are here discussed to highlight the implications on marine geophysics and volcanology. Regional seismic sections in the Ischia offshore across buried volcanic structures and debris avalanche and debris flow deposits are here presented and discussed. Deep sea depositional systems in the Ischia Island are well developed in correspondence to the Southern Ischia canyon system. The canyon system engraves a narrow continental shelf from Punta Imperatore to Punta San Pancrazio, being limited southwestwards from the relict volcanic edifice of the Ischia bank. While the eastern boundary of the canyon system is controlled by extensional tectonics, being limited from a NE-SW trending (counter-Apenninic) normal fault, its western boundary is controlled by volcanism, due to the growth of the Ischia volcanic bank. Submarine gravitational instabilities also acted in relationships to the canyon system, allowing for the individuation of large scale creeping at the sea bottom and hummocky deposits already interpreted as debris avalanche deposits. High resolution seismic data (Subbottom Chirp) coupled to high resolution Multibeam bathymetry collected in the frame of the Stromboli geophysical experiment aimed at recording seismic active data and tomography of the Stromboli Island are here presented. A new detailed swath bathymetry of Stromboli Island is here shown and discussed to reconstruct an up-to-date morpho-bathymetry and marine geology of the area, compared to volcanologic setting of the Aeolian volcanic complex. The Stromboli DEM gives information about the submerged structure of the volcano, particularly about the volcano-tectonic and gravitational processes involving the submarine flanks of the edifice. Several seismic units have been identified around the volcanic edifice and interpreted as volcanic acoustic basement pertaining to the volcano and overlying slide chaotic bodies emplaced during its complex volcano-tectonic evolution. They are related to the eruptive activity of Stromboli, mainly poliphasic and to regional geological processes involving the geology of the Aeolian Arc.

The influence of the Palestinian sociocultural values in shaping the vernacular architecture of Nablus city

Recently, environmental architecture and sustainable construction has been ranked on top of the worldâ s interests. Making use of natural resources helps in reducing energy consumption and costs associated with the operation of buildings. The current architectural approaches and designs in Palestine are far away from environmental concepts, copying and simulating abroad approaches, without taking into account the culture, climate, and inhabitant's needs. On the contrast, vernacular architecture has achieved environmental concepts and has given suitable approaches and samples - without any need to simulate or copy - which come from people and land. This paper discusses how the Palestinian socio-cultural context shaped the residential vernacular architecture in Palestine, taking the old city of Nablus as a case-study. The research concept depends on analysing and trying to understand the effect of the socio-cultural context on vernacular architecture and trying to reach some rules or understandings of how it works in order to reach a modern environmental dwelling that is suitable to this concept. The research method goes through analysing study cases from the traditional architecture models and the Nablus city is selected as a case study. This analytical and qualitative method can lead to deep understanding for how to benefit from vernacular architecture in Palestine in finding the future environmental residential construction. One of the main findings of this research is to set general and special rules for building sustainable buildings in Palestine from the socio-cultural point view, in order to be a reference for designers, stakeholders, ministry of planning, and municipalities.

Deep learning via semi-supervised embedding

We show how nonlinear embedding algorithms popular for use with shallow semi-supervised learning techniques such as kernel methods can be applied to deep multilayer architectures, either as a regularizer at the output layer, or on each layer of the architecture. This provides a simple alternative to existing approaches to deep learning whilst yielding competitive error rates compared to those methods, and existing shallow semi-supervised techniques.

GENETIC ARCHITECTURE, EVOLUTION AND MAINTENANCE OF A COLOR CLINE AT A CONTINENTAL SCALE

On a geological time scale the conditions on earth are very variable and biological patterns (for example the distributions of species) are very dynamic. Understanding large scale patterns of variation observed today thus requires a deep understanding of the historical factors that drove their evolution. In this thesis, we reevaluated the evolution and maintenance of a continental color cline observed in the European barn owl (Tyto alba) using population genetic tools. The colour cline spans from south-est Europe where most individual have pure white underparts to north and east Europe where most individuals have rufous-brown underparts. Our results globally showed that the old scenario, stipulating that the color cline evolved by secondary contact of two color morphs (white and rufous) that evolved in allopatry during the last ice age has to be revised. We collected samples of about 700 barn owls from the Western Palearctic to establish the first population genetic data set for this species. Individuals were genotyped at 22 microsatellites markers, at one mitochondrial gene, and at a candidate color gene. The color of each individuals was assessed and their sex determined by molecular methods. We first showed that the genetic variation in Western Europe is very limited compared to the heritable color variation. We found no evidences of different glacial lineages, and showed that selection must be involved in the maintenance of the color cline (chapter 1). Using computer simulations, we demonstrated that the post-glacial colonization of Europe occurred from the Iberian Peninsula and that the color cline could not have evolved by neutral demographic processes during this colonization (chapter 2). Finally we reevaluated the whole history of the establishment of the Western Palearctic variation of the barn owl (chapter 3): This study showed that all Western European barn owls descend from white barn owls phenotypes from the Middle East that colonized the Iberian Peninsula via North-Africa. Following the end of the last ice age (20'000 years ago), these white barn owls colonized Western Europe and under selection a novel rufous phenotype evolved (during or after the colonization). An important part of the color variation could be explained by a single mutation in the melanocortin-1-receptor (MC1R) gene that appeared during or after the colonization. The colonization of Europe reached until Greece, where the rufous birds encountered white ones (which reached Greece from the Middle East over the Bosporus) in a secondary contact zone. Our analyses show that white and rufous barn owls in Greece interbreed only to a limited extent. This suggests that barn owls are at the verge of becoming two species in Greece and demonstrates that European barn owls represent an incipient ring species around the Mediterranean. The revisited history of the establishment of the European barn owl color cline makes this model system remarkable for several aspects. It is a very clear example of strong local adaptation that can be achieved despite high gene flow (strong color and MC1R differentiation despite almost no neutral genetic differentiation). It also offers a wonderful model system to study the interactions between colonization processes and selection processes which have, for now, been remarkably understudied despite their potentially ubiquitous importance. Finally it represents a very interesting case in the speciation continuum and appeals for further studying the amount of gene flow that occurs between the color morphs in Greece. -- Sur l'échelle des temps géologiques, les conditions sur terre sont très variables et les patrons biologiques (telle que la distribution des espèces) sont très dynamiques. Si l'on veut comprendre des patrons que l'on peut observer à large échelle aujourd'hui, il est nécessaire de d'abord comprendre les facteurs historiques qui ont gouverné leur établissement. Dans cette thèse, nous allons réévaluer, grâce à des outils modernes de génétique des populations, l'évolution et la maintenance d'un cline de couleur continental observé chez l'effraie des clochers européenne (Tyto alba). Globalement, nos résultats montrent que le scenario accepté jusqu'à maintenant, qui stipule que le cline de couleur a évolué à partir du contact secondaire de deux morphes de couleur (blanches et rousses) ayant évolué en allopatrie durant les dernières glaciations, est à revoir. Afin de constituer le premier jeu de données de génétique des populations pour cette espèce, nous avons récolté des échantillons d'environ 700 effraies de l'ouest Paléarctique. Nous avons génotypé tous les individus à 22 loci microsatellites, sur un gène mitochondrial et sur un autre gène participant au déterminisme de la couleur. Nous avons aussi mesuré la couleur de tous les individus et déterminé leur sexe génétiquement. Nous avons tout d'abord pu montrer que la variation génétique neutre est négligeable en comparaison avec la variation héritable de couleur, qu'il n'existe qu'une seule lignée européenne et que de la sélection doit être impliquée dans le maintien du cline de couleur (chapitre 1). Grâce à des simulations informatiques, nous avons démontré que l'ensemble de l'Europe de l'ouest a été recolonisé depuis la Péninsule Ibérique après les dernières glaciations et que le cline de couleur ne peut pas avoir évolué par des processus neutre durant cette colonisation (chapitre 2). Finalement, nous avons réévalué l'ensemble de l'histoire postglaciaire de l'espèce dans l'ouest Paléarctique (chapitre 3): l'ensemble des effraies du Paléarctique descendent d'effraie claire du Moyen-Orient qui ont colonisé la péninsule ibérique en passant par l'Afrique du nord. Après la fin de la dernière glaciation (il y a 20'000 ans), ces effraies claires ont colonisé l'Europe de l'ouest et ont évolués par sélection le phénotype roux (durant ou après la colonisation). Une part importante de la variation de couleur peut être expliquée par une mutation sur le gène MC1R qui est apparue durant ou juste après la colonisation. Cette vague de colonisation s'est poursuivie jusqu'en Grèce où ces effraies rousses ont rencontré dans une zone de contact secondaire des effraies claires (qui sont remontées en Grèce depuis le Moyen-Orient via le Bosphore). Nos analyses montrent que le flux de gènes entre effraies blanches et rousses est limité en Grèce, ce qui suggère qu'elles sont en passe de former deux espèces et ce qui montre que les effraies constituent un exemple naissant de spéciation en anneaux autour de la Méditerranée. L'histoire revisitée des effraies des clochers de l'ouest Paléarctique en fait un système modèle remarquable pour plusieurs aspects. C'est un exemple très claire de forte adaptation locale maintenue malgré un fort flux de gènes (différenciation forte de couleur et sur le gène MC1R malgré presque aucune structure neutre). Il offre également un très bon système pour étudier l'interaction entre colonisation et sélection, un thème ayant été remarquablement peu étudié malgré son importance. Et il offre finalement un cas très intéressant dans le « continuum de spéciation » et il serait très intéressant d'étudier plus en détail l'importance du flux de gènes entre les morphes de couleur en Grèce.

Deep generative models for facial keypoints detection

A new area of machine learning research called deep learning, has moved machine learning closer to one of its original goals: artificial intelligence and general learning algorithm. The key idea is to pretrain models in completely unsupervised way and finally they can be fine-tuned for the task at hand using supervised learning. In this thesis, a general introduction to deep learning models and algorithms are given and these methods are applied to facial keypoints detection. The task is to predict the positions of 15 keypoints on grayscale face images. Each predicted keypoint is specified by an (x,y) real-valued pair in the space of pixel indices. In experiments, we pretrained deep belief networks (DBN) and finally performed a discriminative fine-tuning. We varied the depth and size of an architecture. We tested both deterministic and sampled hidden activations and the effect of additional unlabeled data on pretraining. The experimental results show that our model provides better results than publicly available benchmarks for the dataset.

Significations et perceptions en architecture dans l’œuvre de Christian Norberg-Schulz

L’architecture au sens strict, qui renvoie à la construction, n’est pas indépendante des déterminations mentales, des images et des valeurs esthétiques, comme références, amenées par divers champs d’intérêt au problème du sens. Elle est, de par ce fait, un objet d’interprétation. Ce qu’on appelle communément « signification architecturale », est un univers vaste dans lequel sont constellées des constructions hypothétiques. En ce qui nous concerne, il s’agit non seulement de mouler la signification architecturale selon un cadre et des matières spécifiques de référence, mais aussi, de voir de près la relation de cette question avec l’attitude de perception de l’homme. Dans l’étude de la signification architecturale, on ne peut donc se détacher du problème de la perception. Au fond, notre travail montrera leur interaction, les moyens de sa mise en œuvre et ce qui est en jeu selon les pratiques théoriques qui la commandent. En posant la question de l’origine de l’acte de perception, qui n’est ni un simple acte de voir, ni un acte contemplatif, mais une forme d’interaction active avec la forme architecturale ou la forme d’art en général, on trouve dans les écrits de l’historien Christian Norberg-Schulz deux types de travaux, et donc deux types de réponses dont nous pouvons d’emblée souligner le caractère antinomique l’une par rapport à l’autre. C’est qu’il traite, dans le premier livre qu’il a écrit, Intentions in architecture (1962), connu dans sa version française sous le titre Système logique de l’architecture (1974, ci-après SLA), de l’expression architecturale et des modes de vie en société comme un continuum, défendant ainsi une approche culturelle de la question en jeu : la signification architecturale et ses temporalités. SLA désigne et représente un système théorique influencé, à bien des égards, par les travaux de l’épistémologie de Jean Piaget et par les contributions de la sémiotique au développement de l’étude de la signification architecturale. Le second type de réponse sur l’origine de l’acte de perception que formule Norberg-Schulz, basé sur sur les réflexions du philosophe Martin Heidegger, se rapporte à un terrain d’étude qui se situe à la dérive de la revendication du fondement social et culturel du langage architectural. Il lie, plus précisément, l’étude de la signification à l’étude de l’être. Reconnaissant ainsi la primauté, voire la prééminence, d’une recherche ontologique, qui consiste à soutenir les questionnements sur l’être en tant qu’être, il devrait amener avec régularité, à partir de son livre Existence, Space and Architecture (1971), des questions sur le fondement universel et historique de l’expression architecturale. Aux deux mouvements théoriques caractéristiques de ses écrits correspond le mouvement que prend la construction de notre thèse que nous séparons en deux parties. La première partie sera ainsi consacrée à l’étude de SLA avec l’objectif de déceler les ambiguïtés qui entourent le cadre de son élaboration et à montrer les types de legs que son auteur laisse à la théorie architecturale. Notre étude va montrer l’aspect controversé de ce livre, lié aux influences qu’exerce la pragmatique sur l’étude de la signification. Il s’agit dans cette première partie de présenter les modèles théoriques dont il débat et de les mettre en relation avec les différentes échelles qui y sont proposées pour l’étude du langage architectural, notamment avec l’échelle sociale. Celle-ci implique l’étude de la fonctionnalité de l’architecture et des moyens de recherche sur la typologie de la forme architecturale et sur sa schématisation. Notre approche critique de cet ouvrage prend le point de vue de la recherche historique chez Manfredo Tafuri. La seconde partie de notre thèse porte, elle, sur les fondements de l’intérêt chez Norberg-Schulz à partager avec Heidegger la question de l’Être qui contribuent à fonder une forme d’investigation existentielle sur la signification architecturale et du problème de la perception . L’éclairage de ces fondements exige, toutefois, de montrer l’enracinement de la question de l’Être dans l’essence de la pratique herméneutique chez Heidegger, mais aussi chez H. G. Gadamer, dont se réclame aussi directement Norberg-Schulz, et de dévoiler, par conséquent, la primauté établie de l’image comme champ permettant d’instaurer la question de l’Être au sein de la recherche architecturale. Sa recherche conséquente sur des valeurs esthétiques transculturelles a ainsi permis de réduire les échelles d’étude de la signification à l’unique échelle d’étude de l’Être. C’est en empruntant cette direction que Norberg-Schulz constitue, au fond, suivant Heidegger, une approche qui a pour tâche d’aborder l’« habiter » et le « bâtir » à titre de solutions au problème existentiel de l’Être. Notre étude révèle, cependant, une interaction entre la question de l’Être et la critique de la technique moderne par laquelle l’architecture est directement concernée, centrée sur son attrait le plus marquant : la reproductibilité des formes. Entre les écrits de Norberg-Schulz et les analyses spécifiques de Heidegger sur le problème de l’art, il existe un contexte de rupture avec le langage de la théorie qu’il s’agit pour nous de dégager et de ramener aux exigences du travail herméneutique, une approche que nous avons nous-même adoptée. Notre méthode est donc essentiellement qualitative. Elle s’inspire notamment des méthodes d’interprétation, de là aussi notre recours à un corpus constitué des travaux de Gilles Deleuze et de Jacques Derrida ainsi qu’à d’autres travaux associés à ce type d’analyse. Notre recherche demeure cependant attentive à des questions d’ordre épistémologique concernant la relation entre la discipline architecturale et les sciences qui se prêtent à l’étude du langage architectural. Notre thèse propose non seulement une compréhension approfondie des réflexions de Norberg-Schulz, mais aussi une démonstration de l’incompatibilité de la phénoménologie de Heidegger et des sciences du langage, notamment la sémiotique.

On Recurrent and Deep Neural Networks

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions.

deep plan - die Architektur der tiefen Geschossbauten

Die Arbeit untersucht ein Format der modernen Architektur: Tiefe Geschossbauten. Diese werden definiert als kompakte Gebäude mit mindestens vier Geschossebenen von mindestens 25 Metern Seitenlänge in beiden Richtungen ("tiefe Grundrisse", "deep plans") ohne zentralen Kern oder zentrales Atrium. Anstelle der Nutzung wird die Gebäudetiefe als entscheidender typologischer Parameter herausgearbeitet. Der einheitlich durchgehende Abbildungsmaßstab von 1:1000 für Grundrisse und Schnitte erlaubt den unmittelbaren visuellen Vergleich innerhalb der vorgestellten Gebäudereferenzen. Von den drei Teilen der Arbeit betrachtet Teil I die Referenzen der Zeit zwischen 1890 und 1990. Teil II untersucht die Referenzen seit 1990. Während für den ersten Teil eine chronologische Gliederung gewählt wurde, werden die Referenzen des zweiten Teils unter morphologischem Blickwinkel gruppiert. Dieser Wechsel der Perspektive signalisiert, wie in Teil III weiter ausgeführt wird, dass die neueren Referenzen als Entfaltung von Möglichkeiten, die in früheren Phasen der architektonischen Moderne angelegt waren, interpretiert werden können. Die Arbeit liegt somit in der Schnittmenge von Architekturgeschichte, Gebäudekunde und Entwurfstheorie.

Nest architecture and population dynamics of the Ponerinae ant, Ectatomma opaciventre Roger (Hymenoptera : Formicidae)

Eleven nests of Ectatomma opaciventre were collected from January to December, 1994, in Rio Claro, SP, southeastern Brazil. This species excavates their nests up to 68 cm deep, containing 3, 4 or 5 chambers. The hole of entrance has a chimney-like rigid structure, with up to 2/5 cm high. The most numerous colonies were found in January and February, with 47 and 62 adult ants, respectively. The quantity of individuals decreased from March, being observed colonies with only 9 adult ants in June and July. The colony population increased again since September. Reproductive forms (winged ants) were observed between October and February. We did not observed immature stages in July, but they were numerous between September and March. There was a significant correlation between the number of colony individuals and temperature, but not between the number of colony individuals and relative humidity and rainfall. E. opaciventre is a species of hunter ants which have not an efficient recruitment system for food collecting, consequently their colonies are small due to the scarcity of food resources during the colder and dry months.

Nest architecture of Atta laevigata (F. Smith, 1858) (Hymenoptera : Formicidae)

The internal structure of three nests of Atta laevigata was studied in Botucatu city, São Paulo State, Brazil. Two nests were excavated through the opening of trenches and one was cement-moulded to enable a better view of the internal structures. The three nests presented a similar structure, with the depths and number of chambers varying as a function of the loose soil area of the nests. The number of chambers ranged from 1149 to 7864, reaching as deep as 7 m underground. Chamber volume ranged from 0.03 to 511. The foraging tunnels extended as far as 70m from the loose soil region. The nests of this species are the deepest within the genus Atta and have the highest number of chambers.