Sequential Machine learning Approaches for Portfolio Management

Cette thèse envisage un ensemble de méthodes permettant aux algorithmes d'apprentissage statistique de mieux traiter la nature séquentielle des problèmes de gestion de portefeuilles financiers. Nous débutons par une considération du problème général de la composition d'algorithmes d'apprentissage devant gérer des tâches séquentielles, en particulier celui de la mise-à-jour efficace des ensembles d'apprentissage dans un cadre de validation séquentielle. Nous énumérons les desiderata que des primitives de composition doivent satisfaire, et faisons ressortir la difficulté de les atteindre de façon rigoureuse et efficace. Nous poursuivons en présentant un ensemble d'algorithmes qui atteignent ces objectifs et présentons une étude de cas d'un système complexe de prise de décision financière utilisant ces techniques. Nous décrivons ensuite une méthode générale permettant de transformer un problème de décision séquentielle non-Markovien en un problème d'apprentissage supervisé en employant un algorithme de recherche basé sur les K meilleurs chemins. Nous traitons d'une application en gestion de portefeuille où nous entraînons un algorithme d'apprentissage à optimiser directement un ratio de Sharpe (ou autre critère non-additif incorporant une aversion au risque). Nous illustrons l'approche par une étude expérimentale approfondie, proposant une architecture de réseaux de neurones spécialisée à la gestion de portefeuille et la comparant à plusieurs alternatives. Finalement, nous introduisons une représentation fonctionnelle de séries chronologiques permettant à des prévisions d'être effectuées sur un horizon variable, tout en utilisant un ensemble informationnel révélé de manière progressive. L'approche est basée sur l'utilisation des processus Gaussiens, lesquels fournissent une matrice de covariance complète entre tous les points pour lesquels une prévision est demandée. Cette information est utilisée à bon escient par un algorithme qui transige activement des écarts de cours (price spreads) entre des contrats à terme sur commodités. L'approche proposée produit, hors échantillon, un rendement ajusté pour le risque significatif, après frais de transactions, sur un portefeuille de 30 actifs.

Engagement affectif, comportemental et cognitif des élèves du primaire dans un contexte pédagogique d’intégration des TIC : une étude multicas en milieux défavorisés

Réalisée en milieux défavorisés, cette étude porte sur l’engagement scolaire des élèves de troisième cycle du primaire (5e et 6e années au Québec) dans un contexte d’utilisation pédagogique des technologies de l’information et de la communication (TIC). L’objectif de cette recherche est d’analyser l’engagement d’élèves utilisant les TIC. Elle vise à décrire les pratiques pédagogiques d’intégration des TIC de dix enseignants, de relater la qualité de l’engagement de leurs 230 élèves lors de tâches TIC et de mesurer l’évolution et la qualité de leur engagement scolaire selon le degré de défavorisation de leur école. Pour ce faire, cette recherche s’est inspirée d’un cadre de référence traitant l’engagement scolaire selon les dimensions affective, comportementale et cognitive. De plus, cette étude multicas essentiellement de nature interprétative et descriptive a utilisé une méthodologie mixte de collecte et d’analyse des données. Les résultats montrent notamment que les enseignants accordent une valeur pédagogique importante aux TIC tant dans la fréquence de leur utilisation, dans les usages valorisés que dans la façon de les intégrer en classe. Les enseignants privilégient largement le traitement de texte et la recherche sur Internet, mais très peu d’autres usages pertinents sont mis de l’avant de manière soutenue. La majorité des enseignants interrogés préférerait se servir de quatre ordinateurs en classe pour utiliser les TIC plus facilement que d’avoir uniquement accès au laboratoire de leur école. De plus, ils perçoivent de manière unanime que l’utilisation des TIC exerce une influence importante sur la dimension affective de leurs élèves lors d’activités préparées, assez bonne sur la dimension comportementale et plus discutable sur la dimension cognitive. Plus globalement, les élèves eux-mêmes affichent en général un engagement scolaire relativement élevé. En six mois, la qualité de l’engagement affectif des élèves est restée stable, leur engagement comportemental a progressé, mais leur engagement cognitif a baissé légèrement. Les résultats montrent aussi que la qualité de l’engagement des élèves de milieux défavorisés évolue différemment selon le degré de défavorisation de leur école. Dans cette recherche, l’importance de l’utilisation des TIC sur la qualité de l’engagement est marquante et s’avère parfois meilleure que dans d’autres types de tâches. Sans pouvoir généraliser, cette étude permet aussi de saisir davantage la qualité et l’évolution de l’engagement scolaire des élèves de la fin du primaire en milieux défavorisés. Des recommandations pour le milieu et des pistes de recherches futures sont présentées en tenant compte des limites et des forces de cette thèse inédite réalisée par articles.

Impact des émotions sur les performances

Les émotions jouent un rôle primordial dans les processus cognitifs et plus particulièrement dans les tâches d’apprentissage. D’ailleurs, plusieurs recherches neurologiques ont montré l’interrelation qui existe entre la cognition et les émotions. Elles ont aussi déterminé plusieurs formes d’intelligence humaine autre que l’intelligence rationnelle parmi lesquelles nous distinguons la forme ayant comme dimension émotionnelle, à savoir l’intelligence émotionnelle, vu son impact sur les processus d’apprentissage. L’intelligence émotionnelle est alors un facteur significatif de réussite scolaire et professionnelle. Sous la lumière de ces constatations présentées, les informaticiens à leur tour, vont alors tenter de consentir de plus en plus de place au facteur émotionnel dans les systèmes informatiques et plus particulièrement dans ceux dédiés à l’apprentissage. L’intégration de l’intelligence émotionnelle dans ces systèmes et plus précisément, dans les Systèmes Tutoriels Intelligents (STI), va leur permettre de gérer les émotions de l’apprenant et par la suite améliorer ses performances. Dans ce mémoire, notre objectif principal est d’élaborer une stratégie d’apprentissage visant à favoriser et accentuer la mémorisation chez les enfants. Pour atteindre cet objectif, nous avons développé un cours d’anglais en ligne ainsi qu’un tuteur virtuel utilisant des ressources multimédia tels que le ton de la voix, la musique, les images et les gestes afin de susciter des émotions chez l’apprenant. Nous avons conduit une expérience pour tester l’efficacité de quelques stratégies émotionnelles ainsi qu’évaluer l’impact des émotions suscitées sur la capacité de mémorisation des connaissances à acquérir par l’apprenant. Les résultats de cette étude expérimentale ont prouvé que l’induction implicite des émotions chez ce dernier a une influence significative sur ses performances. Ils ont également montré qu’il n’existe pas une stratégie efficace pour tous les apprenants à la fois, cependant l’efficacité d’une telle stratégie par rapport à une autre dépend essentiellement du profil comportemental de l’apprenant déterminé à partir de son tempérament.

De la typicité des différentes mesures de tendance centrale dans la représentation mentale des catégories implicites

Quelle est la nature des représentations que se font les gens des catégories apprises? Il est généralement accepté que le type de tâche d’apprentissage a une influence sur la réponse à cette question. Ceci étant dit, la majorité des théories portant sur les processus de catégorisation élaborées durant les dernières décennies a porté presqu’exclusivement sur des tâches de classifications d’exemplaires. Le mémoire présenté ici avait quatre objectifs principaux. Le premier était de vérifier si une tâche d’apprentissage de catégories implicites par classifications mène davantage à l’intégration de dimensions diagnostiques qu’un apprentissage par inférences. Le deuxième était de vérifier si une tâche d’apprentissage de catégories implicites par inférences entraine davantage l’intégration de dimensions typiques qu’un apprentissage par classifications. Le troisième était d’évaluer si un effet de rehaussement du prototype (« prototype enhancement effect ») pouvait être observé dans le cadre d’un apprentissage par inférences. Le quatrième était de clarifier quelle est la mesure de tendance centrale qui présente réellement un effet de rehaussement du prototype : le mode, la médiane ou la moyenne. Suite aux résultats obtenus, les implications pour trois théories portant sur les processus de catégorisation sont discutées. Les trois théories sont celles des prototypes, des exemplaires et des frontières décisionnelles.

Recasts, uptake and learning : effects and relationships

L’uptake est la réponse immédiate de l’apprenant suite à la rétroaction de l’enseignant (Lyster & Ranta, 1997). Cette étude investigue la relation entre l’uptake et l’apprentissage des déterminants possessifs et des questions d’anglais L2. Elle examine aussi l’effet des reformulations implicites et explicites en termes d’uptake et d’apprentissage. Deux classes intensives (ESL) de sixième année du primaire (N=53) à Montréal ont participé à cette étude. Les deux classes ont été réparties en deux groupes : reformulations explicites et reformulations implicites. L’intervention comportait des activités communicatives. Les élèves ont été testés sur les formes cibles immédiatement avant et après le traitement pédagogique en utilisant des taches orales. Les résultats ont confirmé l’effet supérieur des reformulations explicites en termes d’uptake et d’apprentissage et que l’effet des reformulations dépend de la cible. Cette étude a montré aussi que l’uptake peut faciliter l’apprentissage et que son absence n’est pas signe de manque d’apprentissage.

Cross-Linguistic Transfer (CLT) in Bilingual Speakers : Neural Correlates of Language Learning

Le but de cette thèse est d'étudier les corrélats comportementaux et neuronaux du transfert inter-linguistique (TIL) dans l'apprentissage d’une langue seconde (L2). Compte tenu de nos connaissances sur l'influence de la distance linguistique sur le TIL (Paradis, 1987, 2004; Odlin, 1989, 2004, 2005; Gollan, 2005; Ringbom, 2007), nous avons examiné l'effet de facilitation de la similarité phonologique à l’aide de la résonance magnétique fonctionnelle entre des langues linguistiquement proches (espagnol-français) et des langues linguistiquement éloignées (persan-français). L'étude I rapporte les résultats obtenus pour des langues linguistiquement proches (espagnol-français), alors que l'étude II porte sur des langues linguistiquement éloignées (persan-français). Puis, les changements de connectivité fonctionnelle dans le réseau langagier (Price, 2010) et dans le réseau de contrôle supplémentaire impliqué dans le traitement d’une langue seconde (Abutalebi & Green, 2007) lors de l’apprentissage d’une langue linguistiquement éloignée (persan-français) sont rapportés dans l’étude III. Les résultats des analyses d’IRMF suivant le modèle linéaire général chez les bilingues de langues linguistiquement proches (français-espagnol) montrent que le traitement des mots phonologiquement similaires dans les deux langues (cognates et clangs) compte sur un réseau neuronal partagé par la langue maternelle (L1) et la L2, tandis que le traitement des mots phonologiquement éloignés (non-clang-non-cognates) active des structures impliquées dans le traitement de la mémoire de travail et d'attention. Toutefois, chez les personnes bilingues de L1-L2 linguistiquement éloignées (français-persan), même les mots phonologiquement similaires à travers les langues (cognates et clangs) activent des régions connues pour être impliquées dans l'attention et le contrôle cognitif. Par ailleurs, les mots phonologiquement éloignés (non-clang-non-cognates) activent des régions usuellement associées à la mémoire de travail et aux fonctions exécutives. Ainsi, le facteur de distance inter-linguistique entre L1 et L2 module la charge cognitive sur la base du degré de similarité phonologiques entres les items en L1 et L2. Des structures soutenant les processus impliqués dans le traitement exécutif sont recrutées afin de compenser pour des demandes cognitives. Lorsque la compétence linguistique en L2 augmente et que les tâches linguistiques exigent ainsi moins d’effort, la demande pour les ressources cognitives diminue. Tel que déjà rapporté (Majerus, et al, 2008; Prat, et al, 2007; Veroude, et al, 2010; Dodel, et al, 2005; Coynel, et al ., 2009), les résultats des analyses de connectivité fonctionnelle montrent qu’après l’entraînement la valeur d'intégration (connectivité fonctionnelle) diminue puisqu’il y a moins de circulation du flux d'information. Les résultats de cette recherche contribuent à une meilleure compréhension des aspects neurocognitifs et de plasticité cérébrale du TIL ainsi que l'impact de la distance linguistique dans l'apprentissage des langues. Ces résultats ont des implications dans les stratégies d'apprentissage d’une L2, les méthodes d’enseignement d’une L2 ainsi que le développement d'approches thérapeutiques chez des patients bilingues qui souffrent de troubles langagiers.

Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.