Understanding deep architectures and the effect of unsupervised pre-training

Cette thèse porte sur une classe d'algorithmes d'apprentissage appelés architectures profondes. Il existe des résultats qui indiquent que les représentations peu profondes et locales ne sont pas suffisantes pour la modélisation des fonctions comportant plusieurs facteurs de variation. Nous sommes particulièrement intéressés par ce genre de données car nous espérons qu'un agent intelligent sera en mesure d'apprendre à les modéliser automatiquement; l'hypothèse est que les architectures profondes sont mieux adaptées pour les modéliser. Les travaux de Hinton (2006) furent une véritable percée, car l'idée d'utiliser un algorithme d'apprentissage non-supervisé, les machines de Boltzmann restreintes, pour l'initialisation des poids d'un réseau de neurones supervisé a été cruciale pour entraîner l'architecture profonde la plus populaire, soit les réseaux de neurones artificiels avec des poids totalement connectés. Cette idée a été reprise et reproduite avec succès dans plusieurs contextes et avec une variété de modèles. Dans le cadre de cette thèse, nous considérons les architectures profondes comme des biais inductifs. Ces biais sont représentés non seulement par les modèles eux-mêmes, mais aussi par les méthodes d'entraînement qui sont souvent utilisés en conjonction avec ceux-ci. Nous désirons définir les raisons pour lesquelles cette classe de fonctions généralise bien, les situations auxquelles ces fonctions pourront être appliquées, ainsi que les descriptions qualitatives de telles fonctions. L'objectif de cette thèse est d'obtenir une meilleure compréhension du succès des architectures profondes. Dans le premier article, nous testons la concordance entre nos intuitions---que les réseaux profonds sont nécessaires pour mieux apprendre avec des données comportant plusieurs facteurs de variation---et les résultats empiriques. Le second article est une étude approfondie de la question: pourquoi l'apprentissage non-supervisé aide à mieux généraliser dans un réseau profond? Nous explorons et évaluons plusieurs hypothèses tentant d'élucider le fonctionnement de ces modèles. Finalement, le troisième article cherche à définir de façon qualitative les fonctions modélisées par un réseau profond. Ces visualisations facilitent l'interprétation des représentations et invariances modélisées par une architecture profonde.

L’identification et l’impact de différents types de réseaux sociaux dans les trajectoires de vie de personnes assistées sociales

Ce mémoire traite du rôle des réseaux sociaux dans les trajectoires de vie des personnes qui vivent de l’aide sociale au Québec. La discrimination et la stigmatisation sont des processus émanant de rapports sociaux dans lesquels peuvent être inscrites ces personnes du fait de leurs conditions de vie précaires. L’analyse des réseaux sociaux pourrait nous permettre de découvrir certaines dynamiques, propres à ces rapports sociaux, en portant sur leur caractère qualitatif et temporel. Nous avons eu recours aux récits de vie afin d’identifier certains réseaux sociaux émergeant du discours et d’élaborer un modèle d’analyse qualitative des réseaux sociaux dans une perspective de trajectoire de vie. Cette étape a permis de percevoir l’existence d’un lien entre certains événements importants du récit et les transformations des relations. Nous avons également relevé dans le discours des indicateurs de la qualité des contacts selon leur contribution « positive », « négative » ou « neutre » dans la trajectoire. La comparaison des trajectoires des personnes sélectionnées a permis d’identifier des morphologies de réseaux similaires et de dresser une typologie. Les types ont pu être identifiés en fonction des trois catégories dominantes de contacts évoquées par les répondants : la famille, les connaissances, et les organismes. La mention de l’aide sociale, de contacts en psychiatrie ou même le passage sous silence par le répondant d’une de ces catégories a permis de nuancer la typologie et de recenser onze types de réseaux. Afin d’évaluer l’intérêt de ce modèle d’analyse, nous avons tenté une opérationnalisation exploratoire de la typologie.

Uncomfortable Comparisons : The Canadian Truth And Reconciliation Commission In International Context

The Canadian Truth and Reconciliation Commission on Indian Residential Schools is a novel foray into a genre previously associated with so-called “transitional” democracies from the post-Communist world and the global South. This basic fact notwithstanding, a systematic comparison with the broader universe of truth commission-hosting countries reveals that the circumstances surrounding the Canadian TRC are not entirely novel. This article develops this argument by distilling from the transitional justice literature several bases of comparison designed to explain how a truth commission’s capacity to promote new cultures of justice and accountability in the wake of massive violations of human rights is affected by the socio-political context in which the commission occurs; the injustices it is asked to investigate; and the nature of its mandate. It concludes that these factors, compounded by considerations unique to the Canadian context, all militate against success. If Canadian citizens and policymakers fail to meet this profound ethIcal challenge, they will find themselves occupying the transition-wrecking role played more familiarly by the recalcitrant and unreformed military and security forces in the world’s more evidently authoritarian states.

Self-assembly of PS-PVP block copolymers and their complexes at the air/water interface

Une compréhension approfondie et un meilleur contrôle de l'auto-assemblage des copolymères diblocs (séquencés) et de leurs complexes à l'interface air/eau permettent la formation contrôlée de nanostructures dont les propriétés sont connues comme alternative à la nanolithographie. Dans cette thèse, des monocouches obtenues par les techniques de Langmuir et de Langmuir-Blodgett (LB) avec le copolymère dibloc polystyrène-poly(4-vinyl pyridine) (PS-PVP), seul ou complexé avec de petites molécules par liaison hydrogène [en particulier, le 3-n-pentadécylphénol (PDP)], ont été étudiées. Une partie importante de notre recherche a été consacrée à l'étude d'une monocouche assemblée atypique baptisée réseau de nanostries. Des monocouches LB composées de nanostries ont déjà été rapportées dans la littérature mais elles coexistent souvent avec d'autres morphologies, ce qui les rend inutilisables pour des applications potentielles. Nous avons déterminé les paramètres moléculaires et les conditions expérimentales qui contrôlent cette morphologie, la rendant très reproductible. Nous avons aussi proposé un mécanisme original pour la formation de cette morphologie. De plus, nous avons montré que l'utilisation de solvants à haut point d’ébullition, non couramment utilisés pour la préparation des films Langmuir, peut améliorer l'ordre des nanostries. En étudiant une large gamme de PS-PVP avec des rapports PS/PVP et des masses molaires différents, avec ou sans la présence de PDP, nous avons établi la dépendance des types principaux de morphologie (planaire, stries, nodules) en fonction de la composition et de la concentration des solutions. Ces observations ont mené à une discussion sur les mécanismes de formation des morphologies, incluant la cinétique, l’assemblage moléculaire et l’effet du démouillage. Nous avons aussi démontré pour la première fois que le plateau dans l'isotherme des PS-PVP/PDP avec morphologie de type nodules est relié à une transition ordre-ordre des nodules (héxagonal-tétragonal) qui se produit simultanément avec la réorientation du PDP, les deux aspects étant clairement observés par AFM. Ces études ouvrent aussi la voie à l'utilisation de films PS-PVP/PDP ultraminces comme masque. La capacité de produire des films nanostructurés bien contrôlés sur différents substrats a été démontrée et la stabilité des films a été vérifiée. Le retrait de la petite molécule des nanostructures a fait apparaître une structure interne à explorer lors d’études futures.

La prévention du suicide en milieu carcéral : analyse d'un programme de soutien par les pairs

Rapport de stage présenté à la Faculté des arts et des sciences en vue de l'obtention du grade de Maître ès sciences (M.Sc.) en criminologie

PROTECT_U: Un système communautaire pour la protection des usagers de Facebook

Article publié dans le journal « Journal of Information Security Research ». March 2012.

Exploring geolocation governance perspectives through the study of appropriation and collective action.

Ce mémoire de maîtrise a été rédigé dans l’objectif d’explorer une inégalité. Une inégalité dans les pratiques liées à la saisie et l’exploitation des données utilisateur dans la sphère des technologies et services Web, plus particulièrement dans la sphère des GIS (Geographic Information Systems). En 2014, de nombreuses entreprises exploitent les données de leurs utilisateurs afin d’améliorer leurs services ou générer du revenu publicitaire. Du côté de la sphère publique et gouvernementale, ce changement n’a pas été effectué. Ainsi, les gouvernements fédéraux et municipaux sont démunis de données qui permettraient d’améliorer les infrastructures et services publics. Des villes à travers le monde essayent d’améliorer leurs services et de devenir « intelligentes » mais sont dépourvues de ressources et de savoir faire pour assurer une transition respectueuse de la vie privée et des souhaits des citadins. Comment une ville peut-elle créer des jeux de données géo-référencés sans enfreindre les droits des citadins ? Dans l’objectif de répondre à ces interrogations, nous avons réalisé une étude comparative entre l’utilisation d’OpenStreetMap (OSM) et de Google Maps (GM). Grâce à une série d’entretiens avec des utilisateurs de GM et d’OSM, nous avons pu comprendre les significations et les valeurs d’usages de ces deux plateformes. Une analyse mobilisant les concepts de l’appropriation, de l’action collective et des perspectives critiques variées nous a permis d’analyser nos données d’entretiens pour comprendre les enjeux et problèmes derrière l’utilisation de technologies de géolocalisation, ainsi que ceux liés à la contribution des utilisateurs à ces GIS. Suite à cette analyse, la compréhension de la contribution et de l’utilisation de ces services a été recontextualisée pour explorer les moyens potentiels que les villes ont d’utiliser les technologies de géolocalisation afin d’améliorer leurs infrastructures publiques en respectant leurs citoyens.

Analyse du comportement hétérogène des usagers dans un réseau

Le nombre important de véhicules sur le réseau routier peut entraîner des problèmes d'encombrement et de sécurité. Les usagers des réseaux routiers qui nous intéressent sont les camionneurs qui transportent des marchandises, pouvant rouler avec des véhicules non conformes ou emprunter des routes interdites pour gagner du temps. Le transport de matières dangereuses est réglementé et certains lieux, surtout les ponts et les tunnels, leur sont interdits d'accès. Pour aider à faire appliquer les lois en vigueur, il existe un système de contrôles routiers composé de structures fixes et de patrouilles mobiles. Le déploiement stratégique de ces ressources de contrôle mise sur la connaissance du comportement des camionneurs que nous allons étudier à travers l'analyse de leurs choix de routes. Un problème de choix de routes peut se modéliser en utilisant la théorie des choix discrets, elle-même fondée sur la théorie de l'utilité aléatoire. Traiter ce type de problème avec cette théorie est complexe. Les modèles que nous utiliserons sont tels, que nous serons amenés à faire face à des problèmes de corrélation, puisque plusieurs routes partagent probablement des arcs. De plus, puisque nous travaillons sur le réseau routier du Québec, le choix de routes peut se faire parmi un ensemble de routes dont le nombre est potentiellement infini si on considère celles ayant des boucles. Enfin, l'étude des choix faits par un humain n'est pas triviale. Avec l'aide du modèle de choix de routes retenu, nous pourrons calculer une expression de la probabilité qu'une route soit prise par le camionneur. Nous avons abordé cette étude du comportement en commençant par un travail de description des données collectées. Le questionnaire utilisé par les contrôleurs permet de collecter des données concernant les camionneurs, leurs véhicules et le lieu du contrôle. La description des données observées est une étape essentielle, car elle permet de présenter clairement à un analyste potentiel ce qui est accessible pour étudier les comportements des camionneurs. Les données observées lors d'un contrôle constitueront ce que nous appellerons une observation. Avec les attributs du réseau, il sera possible de modéliser le réseau routier du Québec. Une sélection de certains attributs permettra de spécifier la fonction d'utilité et par conséquent la fonction permettant de calculer les probabilités de choix de routes par un camionneur. Il devient alors possible d'étudier un comportement en se basant sur des observations. Celles provenant du terrain ne nous donnent pas suffisamment d'information actuellement et même en spécifiant bien un modèle, l'estimation des paramètres n'est pas possible. Cette dernière est basée sur la méthode du maximum de vraisemblance. Nous avons l'outil, mais il nous manque la matière première que sont les observations, pour continuer l'étude. L'idée est de poursuivre avec des observations de synthèse. Nous ferons des estimations avec des observations complètes puis, pour se rapprocher des conditions réelles, nous continuerons avec des observations partielles. Ceci constitue d'ailleurs un défi majeur. Nous proposons pour ces dernières, de nous servir des résultats des travaux de (Bierlaire et Frejinger, 2008) en les combinant avec ceux de (Fosgerau, Frejinger et Karlström, 2013). Bien qu'elles soient de nature synthétiques, les observations que nous utilisons nous mèneront à des résultats tels, que nous serons en mesure de fournir une proposition concrète qui pourrait aider à optimiser les décisions des responsables des contrôles routiers. En effet, nous avons réussi à estimer, sur le réseau réel du Québec, avec un seuil de signification de 0,05 les valeurs des paramètres d'un modèle de choix de routes discrets, même lorsque les observations sont partielles. Ces résultats donneront lieu à des recommandations sur les changements à faire dans le questionnaire permettant de collecter des données.

Apprentissage d'espaces sémantiques

Dans cette dissertation, nous présentons plusieurs techniques d’apprentissage d’espaces sémantiques pour plusieurs domaines, par exemple des mots et des images, mais aussi à l’intersection de différents domaines. Un espace de représentation est appelé sémantique si des entités jugées similaires par un être humain, ont leur similarité préservée dans cet espace. La première publication présente un enchaînement de méthodes d’apprentissage incluant plusieurs techniques d’apprentissage non supervisé qui nous a permis de remporter la compétition “Unsupervised and Transfer Learning Challenge” en 2011. Le deuxième article présente une manière d’extraire de l’information à partir d’un contexte structuré (177 détecteurs d’objets à différentes positions et échelles). On montrera que l’utilisation de la structure des données combinée à un apprentissage non supervisé permet de réduire la dimensionnalité de 97% tout en améliorant les performances de reconnaissance de scènes de +5% à +11% selon l’ensemble de données. Dans le troisième travail, on s’intéresse à la structure apprise par les réseaux de neurones profonds utilisés dans les deux précédentes publications. Plusieurs hypothèses sont présentées et testées expérimentalement montrant que l’espace appris a de meilleures propriétés de mixage (facilitant l’exploration de différentes classes durant le processus d’échantillonnage). Pour la quatrième publication, on s’intéresse à résoudre un problème d’analyse syntaxique et sémantique avec des réseaux de neurones récurrents appris sur des fenêtres de contexte de mots. Dans notre cinquième travail, nous proposons une façon d’effectuer de la recherche d’image ”augmentée” en apprenant un espace sémantique joint où une recherche d’image contenant un objet retournerait aussi des images des parties de l’objet, par exemple une recherche retournant des images de ”voiture” retournerait aussi des images de ”pare-brises”, ”coffres”, ”roues” en plus des images initiales.