Training deep convolutional architectures for vision

Les tâches de vision artificielle telles que la reconnaissance d’objets demeurent irrésolues à ce jour. Les algorithmes d’apprentissage tels que les Réseaux de Neurones Artificiels (RNA), représentent une approche prometteuse permettant d’apprendre des caractéristiques utiles pour ces tâches. Ce processus d’optimisation est néanmoins difficile. Les réseaux profonds à base de Machine de Boltzmann Restreintes (RBM) ont récemment été proposés afin de guider l’extraction de représentations intermédiaires, grâce à un algorithme d’apprentissage non-supervisé. Ce mémoire présente, par l’entremise de trois articles, des contributions à ce domaine de recherche. Le premier article traite de la RBM convolutionelle. L’usage de champs réceptifs locaux ainsi que le regroupement d’unités cachées en couches partageant les même paramètres, réduit considérablement le nombre de paramètres à apprendre et engendre des détecteurs de caractéristiques locaux et équivariant aux translations. Ceci mène à des modèles ayant une meilleure vraisemblance, comparativement aux RBMs entraînées sur des segments d’images. Le deuxième article est motivé par des découvertes récentes en neurosciences. Il analyse l’impact d’unités quadratiques sur des tâches de classification visuelles, ainsi que celui d’une nouvelle fonction d’activation. Nous observons que les RNAs à base d’unités quadratiques utilisant la fonction softsign, donnent de meilleures performances de généralisation. Le dernière article quand à lui, offre une vision critique des algorithmes populaires d’entraînement de RBMs. Nous montrons que l’algorithme de Divergence Contrastive (CD) et la CD Persistente ne sont pas robustes : tous deux nécessitent une surface d’énergie relativement plate afin que leur chaîne négative puisse mixer. La PCD à "poids rapides" contourne ce problème en perturbant légèrement le modèle, cependant, ceci génère des échantillons bruités. L’usage de chaînes tempérées dans la phase négative est une façon robuste d’adresser ces problèmes et mène à de meilleurs modèles génératifs.

Apprentissage des réseaux de neurones profonds et applications en traitement automatique de la langue naturelle

En apprentissage automatique, domaine qui consiste à utiliser des données pour apprendre une solution aux problèmes que nous voulons confier à la machine, le modèle des Réseaux de Neurones Artificiels (ANN) est un outil précieux. Il a été inventé voilà maintenant près de soixante ans, et pourtant, il est encore de nos jours le sujet d'une recherche active. Récemment, avec l'apprentissage profond, il a en effet permis d'améliorer l'état de l'art dans de nombreux champs d'applications comme la vision par ordinateur, le traitement de la parole et le traitement des langues naturelles. La quantité toujours grandissante de données disponibles et les améliorations du matériel informatique ont permis de faciliter l'apprentissage de modèles à haute capacité comme les ANNs profonds. Cependant, des difficultés inhérentes à l'entraînement de tels modèles, comme les minima locaux, ont encore un impact important. L'apprentissage profond vise donc à trouver des solutions, en régularisant ou en facilitant l'optimisation. Le pré-entraînnement non-supervisé, ou la technique du ``Dropout'', en sont des exemples. Les deux premiers travaux présentés dans cette thèse suivent cette ligne de recherche. Le premier étudie les problèmes de gradients diminuants/explosants dans les architectures profondes. Il montre que des choix simples, comme la fonction d'activation ou l'initialisation des poids du réseaux, ont une grande influence. Nous proposons l'initialisation normalisée pour faciliter l'apprentissage. Le second se focalise sur le choix de la fonction d'activation et présente le rectifieur, ou unité rectificatrice linéaire. Cette étude a été la première à mettre l'accent sur les fonctions d'activations linéaires par morceaux pour les réseaux de neurones profonds en apprentissage supervisé. Aujourd'hui, ce type de fonction d'activation est une composante essentielle des réseaux de neurones profonds. Les deux derniers travaux présentés se concentrent sur les applications des ANNs en traitement des langues naturelles. Le premier aborde le sujet de l'adaptation de domaine pour l'analyse de sentiment, en utilisant des Auto-Encodeurs Débruitants. Celui-ci est encore l'état de l'art de nos jours. Le second traite de l'apprentissage de données multi-relationnelles avec un modèle à base d'énergie, pouvant être utilisé pour la tâche de désambiguation de sens.

Caratérisation de la surface d’énergie potentielle des matériaux complexes et son application sur la cinétique du SiO2/Si

Dans ce rapport de mémoire, nous avons utilisé les méthodes numériques telles que la dynamique moléculaire (code de Lammps) et ART-cinétique. Ce dernier est un algorithme de Monte Carlo cinétique hors réseau avec construction du catalogue d'événements à la volée qui incorpore exactement tous les effets élastiques. Dans la première partie, nous avons comparé et évalué des divers algorithmes de la recherche du minimum global sur une surface d'énergie potentielle des matériaux complexes. Ces divers algorithmes choisis sont essentiellement ceux qui utilisent le principe Bell-Evans-Polanyi pour explorer la surface d'énergie potentielle. Cette étude nous a permis de comprendre d'une part, les étapes nécessaires pour un matériau complexe d'échapper d'un minimum local vers un autre et d'autre part de contrôler les recherches pour vite trouver le minimum global. En plus, ces travaux nous ont amené à comprendre la force de ces méthodes sur la cinétique de l'évolution structurale de ces matériaux complexes. Dans la deuxième partie, nous avons mis en place un outil de simulation (le potentiel ReaxFF couplé avec ART-cinétique) capable d'étudier les étapes et les processus d'oxydation du silicium pendant des temps long comparable expérimentalement. Pour valider le système mis en place, nous avons effectué des tests sur les premières étapes d'oxydation du silicium. Les résultats obtenus sont en accord avec la littérature. Cet outil va être utilisé pour comprendre les vrais processus de l'oxydation et les transitions possibles des atomes d'oxygène à la surface du silicium associée avec les énergies de barrière, des questions qui sont des défis pour l'industrie micro-électronique.

Les municipalités dans le secteur énergétique québécois : le cas du chauffage urbain

In a global context of climate change and energy transition, Quebec seems to be privileged, producing a large amount of cheap hydroelectricity. But aside from the established popular belief that Quebec’s energy is abundant, clean and inexpensive, Quebec’s energy future is still precarious. Within a few decades, Quebec will have to import a significant amount of electricity at a higher price than it actually produces it; the cheap exploitable hydro resources will not only get scarcer if not nonexistent; and the national hydroelectric ``cultural`` heritage even seems to quell the development of alternative energies, letting few space for local innovation coming from municipalities. While in many countries, municipalities are recognised as key figures in the energy sector, here, in Quebec, their role in the national energy system seems marginal. As main actors responsible for territorial planning, it seams that municipalities could play a more important role on Quebec’s energy scene. So they can densify their territory, develop active and collective solutions to transportation issues, they can adopt exemplary energetic habits, they can produce their own energy with wind, solar or even district heating systems. District heating and heat networks being less well know and documented in Quebec, the present study aims at explaining their low penetration level in the Quebec energy landscape. The study also attempts to understand what are the main hurdles to the implementation of district heating in Quebec’s particular energetic context. Finally, the research tries to open a discussion on the motives that could incite municipalities to adopt district heating as an energy alternative. Based on some twenty interviews with key actors of the energy and municipal sectors, the findings give some indications that the low penetration level of district heating in the Quebec municipalities could explain itself in part by : the low priced hydroelectricity, the presence of a comfortable, sufficient and pervasive Hydro-Quebec(er) culture, and also by organizational dynamic and a certain political inertia which limit the appropriation of an energy competence by local governments. In turn, the study shows that district heating solutions are more likely to develop in contexts in which : there are minimum urban or energy density levels; the development of district heating coincides with the local or regional economic structure; and where exist a mobilising local leader or local visions from a community in favor of the implementation of alternative energy systems.