Sequential Machine learning Approaches for Portfolio Management

Cette thèse envisage un ensemble de méthodes permettant aux algorithmes d'apprentissage statistique de mieux traiter la nature séquentielle des problèmes de gestion de portefeuilles financiers. Nous débutons par une considération du problème général de la composition d'algorithmes d'apprentissage devant gérer des tâches séquentielles, en particulier celui de la mise-à-jour efficace des ensembles d'apprentissage dans un cadre de validation séquentielle. Nous énumérons les desiderata que des primitives de composition doivent satisfaire, et faisons ressortir la difficulté de les atteindre de façon rigoureuse et efficace. Nous poursuivons en présentant un ensemble d'algorithmes qui atteignent ces objectifs et présentons une étude de cas d'un système complexe de prise de décision financière utilisant ces techniques. Nous décrivons ensuite une méthode générale permettant de transformer un problème de décision séquentielle non-Markovien en un problème d'apprentissage supervisé en employant un algorithme de recherche basé sur les K meilleurs chemins. Nous traitons d'une application en gestion de portefeuille où nous entraînons un algorithme d'apprentissage à optimiser directement un ratio de Sharpe (ou autre critère non-additif incorporant une aversion au risque). Nous illustrons l'approche par une étude expérimentale approfondie, proposant une architecture de réseaux de neurones spécialisée à la gestion de portefeuille et la comparant à plusieurs alternatives. Finalement, nous introduisons une représentation fonctionnelle de séries chronologiques permettant à des prévisions d'être effectuées sur un horizon variable, tout en utilisant un ensemble informationnel révélé de manière progressive. L'approche est basée sur l'utilisation des processus Gaussiens, lesquels fournissent une matrice de covariance complète entre tous les points pour lesquels une prévision est demandée. Cette information est utilisée à bon escient par un algorithme qui transige activement des écarts de cours (price spreads) entre des contrats à terme sur commodités. L'approche proposée produit, hors échantillon, un rendement ajusté pour le risque significatif, après frais de transactions, sur un portefeuille de 30 actifs.

The antecedents to participation in learning activities among support staff at a college in Ontario

Les tendances de la participation à la formation des adultes au Canada n’ont pas évolué depuis des décennies, malgré les nouvelles influences économiques qui ont stimulé l’augmentation et la diversification permanente de la formation des employés et malgré les initiatives plus nombreuses en faveur de l’apprentissage des employés en milieu de travail. Il est donc nécessaire de ne plus se contenter d’étudier les prédicteurs de la formation déjà connus dans les profils des employés et des employeurs. Il est, en revanche, indispensable d’étudier les antécédents de la participation des employés à la formation, y compris les aspects et les étapes du processus qui la précède. Cette étude porte sur les antécédents de la participation des employés aux formations dans un important collège communautaire urbain en Ontario. Afin de préparer le recueil des données, un cadre théorique a été élaboré à partir du concept d’expression de la demande. Ce cadre implique l’existence d’un processus qui comporte plusieurs étapes, au cours desquelles plusieurs intervenants interagissent et dont la formation est susceptible d’être le résultat. Les résultats de l’enquête sur le profil d’apprentissage ont permis de conclure que le comportement des employés et de l’employeur est conforme aux modèles de prédicteurs existants et que les taux et les types de participation étaient similaires aux tendances nationales et internationales. L’analyse des entrevues d’un groupe d’employés atypiques, de leurs superviseurs, ainsi que de représentants du collège et du syndicat, a révélé d’importants thèmes clés : l’expression de la demande n’est pas structurée et elle est communiquée par plusieurs canaux, en excluant parfois les superviseurs. De plus, la place de l’auto évaluation est importante, ainsi que la phase de prise de décision. Ces thèmes ont souligné l’interaction de plusieurs intervenants dans le processus d’expression de la demande d’apprentissage et pendant la prise de décision. L’examen des attentes de chacun de ces intervenants au cours de ce processus nous a permis de découvrir un désir tacite chez les superviseurs et les employés, à savoir que la conversation soit à l’initiative de « l’autre ». Ces thèmes clés ont été ensuite abordés dans une discussion qui a révélé une discordance entre le profil de l’employeur et les profils des employés. Celle-ci se prête à la correction par l’employeur de son profil institutionnel pour l’harmoniser avec le profil dispositionnel des employés et optimiser ainsi vraisemblablement son offre de formation. Ils doivent, pour cela, appliquer un processus plus systématique et plus structuré, doté de meilleurs outils. La discussion a porté finalement sur les effets des motivations économiques sur la participation des employés et a permis de conclure que, bien que les employés ne semblent pas se méfier de l’offre de formation de l’employeur et que celle ci ne semble pas non plus les décourager, des questions de pouvoir sont bel et bien en jeu. Elles se sont principalement manifestées pendant le processus de prise de décision et, à cet égard, les superviseurs comme les employés reconnaissent qu’un processus plus structuré serait bénéfique, puisqu’il atténuerait les problèmes d’asymétrie et d’ambiguïté. Les constatations de cette étude sont pertinentes pour le secteur de la formation des adultes et de la formation en milieu de travail et, plus particulièrement, pour la méthodologie de recherche. Nous avons constaté l’avantage d’une méthodologie à deux volets, à l’écoute de l’employeur et des employés, afin de mieux comprendre la relation entre l’offre de formation et la participation à la formation. La définition des antécédents de la participation sous la forme d’un processus dans lequel plusieurs intervenants remplissent plusieurs rôles a permis de créer un modèle plus détaillé qui servira à la recherche future. Ce dernier a démontré qu’il est indispensable de reconnaître que la prise de décision constitue une étape à part entière, située entre l’expression de la demande et la participation à la formation. Ces constatations ont également révélé qu’il est véritablement indispensable que le secteur de la formation des adultes continue à traiter les questions reliées à la reconnaissance de la formation informelle. Ces conclusions et la discussion sur les constatations clés nous ont inspiré des recommandations à appliquer pour modifier les retombées du processus précédant la participation des employés à la formation. La majorité de ces recommandations ont trait à l’infrastructure de ce processus et ciblent donc principalement l’employeur. Certaines recommandations sont cependant destinées aux syndicats, aux superviseurs et aux employés qui peuvent aider l’employeur à remplir son rôle et favoriser la participation efficace de tous à ce processus. Les recommandations qui précédent impliquent que ce sont les antécédents de la formation qui gagneraient à être plus structurés et non la formation elle même. La structuration de l’infrastructure de l’apprentissage présente cependant des risques à elle seule. En liaison avec ce phénomène, une étude spécifique des effets de la nature, de la qualité et de l’asymétrie de la relation superviseur employé sur la participation des employés à la formation serait bénéfique. Mots clés : formation en entreprise, formation professionnelle continue, antécédents à la participation, employés de soutien

Web2.0, knowledge sharing and privacy in E-learning

Quand le E-learning a émergé il ya 20 ans, cela consistait simplement en un texte affiché sur un écran d'ordinateur, comme un livre. Avec les changements et les progrès dans la technologie, le E-learning a parcouru un long chemin, maintenant offrant un matériel éducatif personnalisé, interactif et riche en contenu. Aujourd'hui, le E-learning se transforme de nouveau. En effet, avec la prolifération des systèmes d'apprentissage électronique et des outils d'édition de contenu éducatif, ainsi que les normes établies, c’est devenu plus facile de partager et de réutiliser le contenu d'apprentissage. En outre, avec le passage à des méthodes d'enseignement centrées sur l'apprenant, en plus de l'effet des techniques et technologies Web2.0, les apprenants ne sont plus seulement les récipiendaires du contenu d'apprentissage, mais peuvent jouer un rôle plus actif dans l'enrichissement de ce contenu. Par ailleurs, avec la quantité d'informations que les systèmes E-learning peuvent accumuler sur les apprenants, et l'impact que cela peut avoir sur leur vie privée, des préoccupations sont soulevées afin de protéger la vie privée des apprenants. Au meilleur de nos connaissances, il n'existe pas de solutions existantes qui prennent en charge les différents problèmes soulevés par ces changements. Dans ce travail, nous abordons ces questions en présentant Cadmus, SHAREK, et le E-learning préservant la vie privée. Plus précisément, Cadmus est une plateforme web, conforme au standard IMS QTI, offrant un cadre et des outils adéquats pour permettre à des tuteurs de créer et partager des questions de tests et des examens. Plus précisément, Cadmus fournit des modules telles que EQRS (Exam Question Recommender System) pour aider les tuteurs à localiser des questions appropriées pour leur examens, ICE (Identification of Conflits in Exams) pour aider à résoudre les conflits entre les questions contenu dans un même examen, et le Topic Tree, conçu pour aider les tuteurs à mieux organiser leurs questions d'examen et à assurer facilement la couverture des différent sujets contenus dans les examens. D'autre part, SHAREK (Sharing REsources and Knowledge) fournit un cadre pour pouvoir profiter du meilleur des deux mondes : la solidité des systèmes E-learning et la flexibilité de PLE (Personal Learning Environment) tout en permettant aux apprenants d'enrichir le contenu d'apprentissage, et les aider à localiser nouvelles ressources d'apprentissage. Plus précisément, SHAREK combine un système recommandation multicritères, ainsi que des techniques et des technologies Web2.0, tels que le RSS et le web social, pour promouvoir de nouvelles ressources d'apprentissage et aider les apprenants à localiser du contenu adapté. Finalement, afin de répondre aux divers besoins de la vie privée dans le E-learning, nous proposons un cadre avec quatre niveaux de vie privée, ainsi que quatre niveaux de traçabilité. De plus, nous présentons ACES (Anonymous Credentials for E-learning Systems), un ensemble de protocoles, basés sur des techniques cryptographiques bien établies, afin d'aider les apprenants à atteindre leur niveau de vie privée désiré.

Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.

Modified Large Margin Nearest Neighbor Metric Learning for Regression

The main objective of this letter is to formulate a new approach of learning a Mahalanobis distance metric for nearest neighbor regression from a training sample set. We propose a modified version of the large margin nearest neighbor metric learning method to deal with regression problems. As an application, the prediction of post-operative trunk 3-D shapes in scoliosis surgery using nearest neighbor regression is described. Accuracy of the proposed method is quantitatively evaluated through experiments on real medical data.