Genetic and Electrophysiological Correlates of Self-Regulation in Adolescence

Self-regulation is considered a powerful predictor of behavioral and mental health outcomes during adolescence and emerging adulthood. In this dissertation I address some electrophysiological and genetic correlates of this important skill set in a series of four studies. Across all studies event-related potentials (ERPs) were recorded as participants responded to tones presented in attended and unattended channels in an auditory selective attention task. In Study 1, examining these ERPs in relation to parental reports on the Behavior Rating Inventory of Executive Function (BRIEF) revealed that an early frontal positivity (EFP) elicited by to-be-ignored/unattended tones was larger in those with poorer self-regulation. As is traditionally found, N1 amplitudes were more negative for the to-be-attended rather than unattended tones. Additionally, N1 latencies to unattended tones correlated with parent-ratings on the BRIEF, where shorter latencies predicted better self-regulation. In Study 2 I tested a model of the associations between selfregulation scores and allelic variations in monoamine neurotransmitter genes, and their concurrent links to ERP markers of attentional control. Allelic variations in dopaminerelated genes predicted both my ERP markers and self-regulatory variables, and played a moderating role in the association between the two. In Study 3 I examined whether training in Integra Mindfulness Martial Arts, an intervention program which trains elements of self-regulation, would lead to improvement in ERP markers of attentional control and parent-report BRIEF scores in a group of adolescents with self-regulatory difficulties. I found that those in the treatment group amplified their processing of attended relative to unattended stimuli over time, and reduced their levels of problematic behaviour whereas those in the waitlist control group showed little to no change on both of these metrics. In Study 4 I examined potential associations between self-regulation and attentional control in a group of emerging adults. Both event-related spectral perturbations (ERSPs) and intertrial coherence (ITC) in the alpha and theta range predicted individual differences in self-regulation. Across the four studies I was able to conclude that real-world self-regulation is indeed associated with the neural markers of attentional control. Targeted interventions focusing on attentional control may improve self-regulation in those experiencing difficulties in this regard.

The Impact of Personal Trainer’s Leadership Style on Self-Presentational Concerns, Enjoyment, Task Self-Efficacy and Intention to Exercise in an Introductory Weight Training Orientation

The purpose of the present study was to examine two leadership styles of personal trainers (bland versus enriched) to evaluate their effects on exercise-related outcomes. Participants were 103 university women with no previous experience weight training. Participants were randomly assigned to one of the two leadership style conditions. They completed primary measures prior to being introduced to the personal trainer. Next, participants completed an introductory weight training session, followed by post-manipulation measures. The leadership styles were successfully manipulated. Participants in the enriched leadership style condition reported significantly higher levels of enjoyment and intention to exercise. Participants in the bland leadership style condition reported significantly higher levels of social anxiety; no differences were found for task self-efficacy, self-presentational efficacy, social physique anxiety, or handgrip performance between groups. Thus, an enriched leadership style of personal trainers can increase positive psychological outcomes.

Canadian Society for Exercise Physiology Position Paper: Resistance Training in Children and Adolescents

Many position stands and review papers have refuted the myths associated with resistance training (RT) in children and adolescents. With proper training methods, RT for children and adolescents can be relatively safe and improve overall health. The objective of this position paper and review is to highlight research and provide recommendations in aspects of RT that have not been extensively reported in the pediatric literature. In addition to the well-documented increases in muscular strength and endurance, RT has been used to improve function in pediatric patients with cystic fibrosis, cerebral palsy and burn victims. Increases in children’s muscular strength have been attributed primarily to neurological adaptations due to the disproportionately higher increase in muscle strength than in muscle size. Although most studies using anthropometric measures have not shown significant muscle hypertrophy in children, more sensitive measures such as magnetic resonance imaging and ultrasound have suggested hypertrophy may occur. There is no minimum age for RT for children. However the training and instruction must be appropriate for children and adolescents involving a proper warm-up, cool-down and an appropriate choice of exercises. It is recommended that low-to-moderate intensity resistance should be utilized 2-3 times per week on non-consecutive days, with 1-2 sets initially, progressing to 4 sets of 8-15 repetitions for 8-12 exercises. These exercises can include more advanced movements such as Olympic style lifting, plyometrics and balance training, which can enhance strength, power, co-ordination and balance. However specific guidelines for these more advanced techniques need to be established for youth. In conclusion, a RT program that is within a child’s or adolescent’s capacity, involves gradual progression under qualified instruction and supervision with appropriately sized equipment can involve more advanced or intense RT exercises which can lead to functional (i.e. muscular strength, endurance, power, balance and co-ordination) and health benefits.

Determining the Effectiveness of the Therapeutic Recreation Specialist - Certified Training at Baycrest Health Sciences

The purpose of this study was to determine the effectiveness of the “Champion” training of the Therapeutic Recreation Specialist – Certified (TRSC) at Baycrest Health Sciences (BHS). BHS recently implemented a new model for Therapeutic Recreation Services that employs the model of champion for implementation of both best and next practices within the organization. This mixed methods study used both case study and program evaluation in order to understand whether the training that comprised of five different topics allowed the six participants to develop the skills needed to be champions. The results supported that learning did occur during the training and that the experience was positive for the participants. The overall finding from this study is that while the training was useful, the participants did not feel confident about utilizing these skills without further training; hence, this training can only be considered an introduction to the concepts presented.

The Impact of Directed Mirror Focus and Technique Cues on Psychological, Cognitive and Emotional Exercise Correlates in an Introductory Weight Training Orientation

The purpose of the study was to investigate whether teaching inactive and low active women to use mirrors for form and technique purposes could lessen the negative impact of mirrors on self-presentational concerns, affect, and self-efficacy. Eligible women (N = 82) underwent a one-on-one weight training orientation with a personal trainer. Participants were randomized into one of four experimental groups, each unique in the type of feedback (general or technique-specific) and the degree of focus on the mirror for technique reinforcement. Questionnaires assessed study outcomes pre- and post-orientation. Results indicated groups did not significantly differ on any post-condition variables, when controlling for pre-condition values (all p’s >.05). All groups showed outcome improvements following the orientation. This suggests that during a complex task, a personal trainer who emphasizes form and technique can facilitate improvements to psychological outcomes in novice exercisers, independent of the presence of mirrors or directional cues provided.

Effects of Plyometric and Resistance Training on Muscle Strength and Neuromuscular Function in Young Adolescent Soccer Players

This study examined the effect of 8-weeks of resistance (RT) and plyometric (PLYO) training on maximal strength, power and jump performance compared with no added training (CON), in young male soccer players. Forty-one 11-13 year-old soccer players were divided into three groups (RT, PLYO, CON). All participants completed 5 isometric knee extensions at 90° and 5 isokinetic knee extensions at 240°/s pre- and post-training. Peak torque (PT), peak rate of torque development (pRTD), electromechanical-day (EMD), rate of muscle activation (Q30), muscle cross-sectional area (mCSA) and jump performance were examined. Both RT and PLYO resulted in significant (p < 0.05) increases in PT, pRTD and jump performance. RT resulted in significantly greater increases in both isometric and isokinetic PT, while PLYO resulted in significantly greater increases in isometric pRTD and jump performance compared with CON (p < 0.05). Q30 increased to a greater extent in PLYO (20%) compared with RT (5%) and CON (-5%) (p = 0.1). In conclusion, 8-weeks of RT and PLYO resulted in significant improvements in muscle strength and jump performance. RT appears to be more effective at eliciting increases in maximal strength while PLYO appears to enhance explosive strength, mediated by possible increases in the rate of muscle activation.

Sector-Specific Training and Mobility in Germany

This article studies mobility patterns of German workers in light of a model of sector-specific human capital. Furthermore, I employ and describe little-used data on continuous on-the-job training occurring after apprenticeships. Results are presented describing the incidence and duration of continuous training. Continuous training is quite common, despite the high incidence of apprenticeships which precedes this part of a worker's career. Most previous studies have only distinguished between firm-specific and general human capital, usually concluding that training was general. Inconsistent with those conclusions, I show that German men are more likely to find a job within the same sector if they have received continuous training in that sector. These results are similar to those obtained for young U.S. workers, and suggest that sector-specific capital is an important feature of very different labor markets. In addition, they suggest that the observed effect of training on mobility is sensible to the state of the business cycle, indicating a more complex interaction between supply and demand that most theoretical models allow for.

Sector-Specific on-the-Job Training: Evidence from U.S. Data.

Using data from the National Longitudinal Survey of Youth (NLSY), we re-examine the effect of formal on-the-job training on mobility patterns of young American workers. By employing parametric duration models, we evaluate the economic impact of training on productive time with an employer. Confirming previous studies, we find a positive and statistically significant impact of formal on-the-job training on tenure with the employer providing the training. However, the expected net duration of the time spent in the training program is generally not significantly increased. We proceed to document and analyze intra-sectoral and cross-sectoral mobility patterns in order to infer whether training provides firm-specific, industry-specific, or general human capital. The econometric analysis rejects a sequential model of job separation in favor of a competing risks specification. We find significant evidence for the industry-specificity of training. The probability of sectoral mobility upon job separation decreases with training received in the current industry, whether with the last employer or previous employers, and employment attachment increases with on-the-job training. These results are robust to a number of variations on the base model.

Training deep convolutional architectures for vision

Les tâches de vision artificielle telles que la reconnaissance d’objets demeurent irrésolues à ce jour. Les algorithmes d’apprentissage tels que les Réseaux de Neurones Artificiels (RNA), représentent une approche prometteuse permettant d’apprendre des caractéristiques utiles pour ces tâches. Ce processus d’optimisation est néanmoins difficile. Les réseaux profonds à base de Machine de Boltzmann Restreintes (RBM) ont récemment été proposés afin de guider l’extraction de représentations intermédiaires, grâce à un algorithme d’apprentissage non-supervisé. Ce mémoire présente, par l’entremise de trois articles, des contributions à ce domaine de recherche. Le premier article traite de la RBM convolutionelle. L’usage de champs réceptifs locaux ainsi que le regroupement d’unités cachées en couches partageant les même paramètres, réduit considérablement le nombre de paramètres à apprendre et engendre des détecteurs de caractéristiques locaux et équivariant aux translations. Ceci mène à des modèles ayant une meilleure vraisemblance, comparativement aux RBMs entraînées sur des segments d’images. Le deuxième article est motivé par des découvertes récentes en neurosciences. Il analyse l’impact d’unités quadratiques sur des tâches de classification visuelles, ainsi que celui d’une nouvelle fonction d’activation. Nous observons que les RNAs à base d’unités quadratiques utilisant la fonction softsign, donnent de meilleures performances de généralisation. Le dernière article quand à lui, offre une vision critique des algorithmes populaires d’entraînement de RBMs. Nous montrons que l’algorithme de Divergence Contrastive (CD) et la CD Persistente ne sont pas robustes : tous deux nécessitent une surface d’énergie relativement plate afin que leur chaîne négative puisse mixer. La PCD à "poids rapides" contourne ce problème en perturbant légèrement le modèle, cependant, ceci génère des échantillons bruités. L’usage de chaînes tempérées dans la phase négative est une façon robuste d’adresser ces problèmes et mène à de meilleurs modèles génératifs.

Modalities of exercise training on liver fat accretion and inflammatory markers in ovariectomized rats

Les facteurs de risque des maladies cardiovasculaires, telle, que la détérioration du profil lipidique, deviennent plus prononcés après la ménopause, ce qui fait de la maladie coronarienne, l’une des principales causes de décès chez les femmes ménopausées. Une proportion importante de femmes prennent du poids après la ménopause en particulier dans la région abdominale entraînant par conséquent des perturbations métaboliques. Des données récentes suggèrent également que l’absence des œstrogènes observée à la ménopause favorise le développement de la stéatose hépatique. Cette dernière a été incriminée pour incriminée dans le développement de la résistance à l'insuline, et est de ce fait considérée comme une composante hépatique du syndrome métabolique. Il est impératif d'établir des stratégies visant à contrecarrer l'accumulation de graisse dans le foie et l’accroissement du tissu adipeux chez les femmes ménopausées, en tenant compte que l'utilisation de l'hormonothérapie substitutive est de nos jours moins soutenue. Les quatre études de la présente thèse ont été conduites pour tenter de fournir des informations sur le traitement et la prévention de l’augmentation de la masse graisseuse et de la stéatose hépatique qu’entraîne la suppression des œstrogènes, à travers les modifications du mode de vie (diète et exercice physique) chez la rate ovariectomizée (Ovx); un modèle animal de la ménopause. Dans les deux premières études nous nous sommes concentrés sur l’augmentation de la masse graisseuse et sa reprise suite à une perte de poids. Dans la première étude, nous avons montré que les rates Ovx qui ont suivi un programme de restriction alimentaire (FR) ont diminué significativement (P < 0.01) leur poids corporel, leur contenu en graisses intra-abdominales ainsi que leurs triacylglycérols (TAG) hépatiques, comparativement aux rates Ovx nourries à la diète normale. De plus, l’entraînement en résistance (RT) a prévenu la reprise de poids corporel ainsi que l’accroissement du tissu adipeux et l’accumulation de lipides dans le foie des rates Ovx, après l’arrêt du régime amaigrissant. Les résultats de la deuxième étude ont confirmé l'efficacité de la restriction alimentaire associée à l’entraînement en résistance (FR + RT) dans la réduction du poids corporel, des lipides dans le foie et le tissu adipeux chez les rates Ovx. Tenant compte des résultats de notre première étude, l’entraînement en résistance seulement a constitué un atout pour atténuer le poids corporel et la masse grasse reprise par les rates Ovx suite à un programme de perte de poids (FR + RT); bien que l'impact ait été moindre comparé au maintien seul de la restriction alimentaire. De la même manière que la supplémentation en œstrogènes, les résultats de la troisième étude indiquent que l'entraînement en endurance mené concurremment avec l’ovariectomie a significativement atténué l'accumulation de lipides dans le foie ainsi que dans le tissu adipeux. Toutefois, l’entraînement en endurance effectué avant l'ovariectomie n'a pas protégé contre l'accumulation des graisses qu’entraîne l'ovariectomie, si celui-ci est interrompu après l'ovariectomie. Enfin, pour compléter les résultats antérieurs, nous avons montré dans la quatrième étude que l’expression des gènes impliqués dans la synthèse de lipide; SREBP-1c, SCD-1, ChREBP, et ACC dans le foie a augmenté après le retrait des œstrogènes, tandis qu’une diminution (P < 0.01) des niveaux d'ARNm de PPAR-α a été observée. De plus, l'expression hépatique des gènes des cytokines pro-inflammatoires incluant IKKβ, IL-6 ainsi que le contenu protéinique de NF-кB étaient augmentés (P < 0.01) chez les rates Ovx par rapport aux rates ayant subi une Ovx simulée (Sham). Toutes ces perturbations ont été améliorées avec la supplémentation en œstrogènes seulement, ainsi qu'avec l'entraînement en endurance seulement. Dans l'ensemble, nos résultats indiquent que l'exercice physique (en résistance ou en endurance) a un impact significatif sur la réduction de l'accumulation des lipides dans le foie et dans le tissu adipeux des rates Ovx. De plus, chez les rates Ovx, l’entraînement en endurance mimerait les effets des œstrogènes sur l'expression des gènes impliqués dans l'accumulation de lipides et l’inflammation préclinique dans le foie.

Développement et validation d’un outil clinique pour l’analyse quantitative de la posture auprès de personnes atteintes d’une scoliose idiopathique

La scoliose idiopathique (SI) est une déformation tridimensionnelle (3D) de la colonne vertébrale et de la cage thoracique à potentiel évolutif pendant la croissance. Cette déformation 3D entraîne des asymétries de la posture. La correction de la posture est un des objectifs du traitement en physiothérapie chez les jeunes atteints d’une SI afin d’éviter la progression de la scoliose, de réduire les déformations morphologiques et leurs impacts sur la qualité de vie. Les outils cliniques actuels ne permettent pas de quantifier globalement les changements de la posture attribuables à la progression de la scoliose ou à l’efficacité des interventions thérapeutiques. L’objectif de cette thèse consiste donc au développement et à la validation d’un nouvel outil clinique permettant l’analyse quantitative de la posture auprès de personnes atteintes d’une SI. Ce projet vise plus spécifiquement à déterminer la fidélité et la validité des indices de posture (IP) de ce nouvel outil clinique et à vérifier leur capacité à détecter des changements entre les positions debout et assise. Suite à une recension de la littérature, 34 IP représentant l’alignement frontal et sagittal des différents segments corporels ont été sélectionnés. L’outil quantitatif clinique d’évaluation de la posture (outil 2D) construit dans ce projet consiste en un logiciel qui permet de calculer les différents IP (mesures angulaires et linéaires). L’interface graphique de cet outil est conviviale et permet de sélectionner interactivement des marqueurs sur les photographies digitales. Afin de vérifier la fidélité et la validité des IP de cet outil, la posture debout de 70 participants âgés entre 10 et 20 ans atteints d'une SI (angle de Cobb: 15º à 60º) a été évaluée à deux occasions par deux physiothérapeutes. Des marqueurs placés sur plusieurs repères anatomiques, ainsi que des points de référence anatomique (yeux, lobes des oreilles, etc.), ont permis de mesurer les IP 2D en utilisant des photographies. Ces mêmes marqueurs et points de référence ont également servi au calcul d’IP 3D obtenus par des reconstructions du tronc avec un système de topographie de surface. Les angles de Cobb frontaux et sagittaux et le déjettement C7-S1 ont été mesurés sur des radiographies. La théorie de la généralisabilité a été utilisée pour déterminer la fidélité et l’erreur standard de la mesure (ESM) des IP de l’outil 2D. Des coefficients de Pearson ont servi à déterminer la validité concomitante des IP du tronc de l’outil 2D avec les IP 3D et les mesures radiographiques correspondantes. Cinquante participants ont été également évalués en position assise « membres inférieurs allongés » pour l’étude comparative de la posture debout et assise. Des tests de t pour échantillons appariés ont été utilisés pour détecter les différences entre les positions debout et assise. Nos résultats indiquent un bon niveau de fidélité pour la majorité des IP de l’outil 2D. La corrélation entre les IP 2D et 3D est bonne pour les épaules, les omoplates, le déjettement C7-S1, les angles de taille, la scoliose thoracique et le bassin. Elle est faible à modérée pour la cyphose thoracique, la lordose lombaire et la scoliose thoraco-lombaire ou lombaire. La corrélation entre les IP 2D et les mesures radiographiques est bonne pour le déjettement C7-S1, la scoliose et la cyphose thoracique. L’outil est suffisamment discriminant pour détecter des différences entre la posture debout et assise pour dix des treize IP. Certaines recommandations spécifiques résultents de ce projet : la hauteur de la caméra devrait être ajustée en fonction de la taille des personnes; la formation des juges est importante pour maximiser la précision de la pose des marqueurs; et des marqueurs montés sur des tiges devraient faciliter l’évaluation des courbures vertébrales sagittales. En conclusion, l’outil développé dans le cadre de cette thèse possède de bonnes propriétés psychométriques et permet une évaluation globale de la posture. Cet outil devrait contribuer à l’amélioration de la pratique clinique en facilitant l’analyse de la posture debout et assise. Cet outil s’avère une alternative clinique pour suivre l’évolution de la scoliose thoracique et diminuer la fréquence des radiographies au cours du suivi de jeunes atteints d’une SI thoracique. Cet outil pourrait aussi être utile pour vérifier l’efficacité des interventions thérapeutiques sur la posture.

Estrogen withdrawal and liver fat accumulation : contribution of hepatic VLDL-TG production and effect of exercise training

L’accumulation de triglycérides (TG) dans les hépatocytes est caractéristique de la stéatose hépatique non-alcoolique (SHNA). Cette dernière se produit dans diverses conditions dont le facteur commun est le métabolisme anormal des lipides. Le processus conduisant à l'accumulation des lipides dans le foie n’a pas encore été totalement élucidé. Toutefois, des lipides s'accumulent dans le foie lorsque les mécanismes qui favorisent leur exportation (oxydation et sécrétion) sont insuffisants par rapport aux mécanismes qui favorisent leur importation ou leur biosynthèse. De nos jours il est admis que la carence en œstrogènes est associée au développement de la stéatose hépatique. Bien que les résultats des études récentes révèlent l'implication des hormones ovariennes dans l'accumulation de lipides dans le foie, les mécanismes qui sous-tendent ce phénomène doivent encore être étudiés. En conséquence, les trois études présentées dans cette thèse ont été menées sur des rates ovariectomizées (Ovx), comme modèle animal de femmes post-ménopausées, pour étudier les effets du retrait des œstrogènes sur le métabolisme des lipides dans le foie, en considérant l'entraînement physique comme étant un élément positif pouvant contrecarrer ces effets. Il a été démontré que l'entraînement physique peut réduire l'accumulation de graisses dans le foie chez les rates Ovx. Dans la première étude, nous avons montré que chez les rates Ovx nourries à la diète riche en lipides (HF), les contenus de TG hépatiques étaient élevées (P < 0.01) comparativement aux rates Sham, 5 semaines après la chirurgie. Le changement de la diète HF par la diète standard (SD) chez les rates Sham a diminué l’accumulation de lipides dans le foie. Toutefois, chez les rates Ovx, 8 semaines après le changement de la HF par la SD le niveau de TG dans le foie était maintenu aussi élevé que chez les rates nourries continuellement avec la diète HF. Lorsque les TG hépatiques mesurés à la 13e semaine ont été comparés aux valeurs correspondant au retrait initial de la diète HF effectué à la 5e semaine, les niveaux de TG hépatiques chez les animaux Ovx ont été maintenus, indépendamment du changement du régime alimentaire; tandis que chez les rats Sham le passage à la SD a réduit (P < 0.05) les TG dans le foie. Les mêmes comparaisons avec la concentration des TG plasmatiques ont révélé une relation inverse. Ces résultats suggèrent que la résorption des lipides au foie est contrée par l'absence des œstrogènes. Dans cette continuité, nous avons utilisé une approche physiologique dans notre seconde étude pour investiguer la façon dont la carence en œstrogènes entraîne l’accumulation de graisses dans le foie, en nous focalisant sur la voie de l'exportation des lipides du foie. Les résultats de cette étude ont révélé que le retrait des œstrogènes a entraîné une augmentation (P < 0.01) de l’accumulation de lipides dans le foie en concomitance avec la baisse (P < 0.01) de production de VLDL-TG et une réduction l'ARNm et de la teneur en protéines microsomales de transfert des triglycérides (MTP). Tous ces effets ont été corrigés par la supplémentation en œstrogènes chez les rates Ovx. En outre, l'entraînement physique chez les rates Ovx a entraîné une réduction (P < 0.01) de l’accumulation de lipides dans le foie ainsi qu’une diminution (P < 0.01) de production de VLDL-TG accompagnée de celle de l'expression des gènes MTP et DGAT-2 (diacylglycérol acyltransférase-2). Des études récentes suggèrent que le peptide natriurétique auriculaire (ANP) devrait être au centre des intérêts des recherches sur les métabolismes énergétiques et lipidiques. Le ANP est relâché dans le plasma par les cellules cardiaques lorsque stimulée par l’oxytocine et exerce ses fonctions en se liant à son récepteur, le guanylyl cyclase-A (GC-A). En conséquence, dans la troisième étude, nous avons étudié les effets du blocage du système ocytocine-peptide natriurétique auriculaire (OT-ANP) en utilisant un antagoniste de l’ocytocine (OTA), sur l'expression des gènes guanylyl cyclase-A et certains marqueurs de l’inflammation dans le foie de rates Ovx. Nous avons observé une diminution (P < 0.05) de l’ARNm de la GC-A chez les rates Ovx et Sham sédentaires traitées avec l’OTA, tandis qu’une augmentation (P < 0.05) de l'expression de l’ARNm de la protéine C-réactive (CRP) hépatique a été notée chez ces animaux. L’exercice physique n'a apporté aucun changement sur l'expression hépatique de ces gènes que ce soit chez les rates Ovx ou Sham traitées avec l’OTA. En résumé, pour expliquer l’observation selon laquelle l’accumulation et la résorption de lipides dans le foie dépendent des mécanismes associés à des niveaux d’œstrogènes, nos résultats suggèrent que la diminution de production de VLDL-TG induite par une déficience en œstrogènes, pourrait être un des mecanismes responsables de l’accumulation de lipides dans le foie. L’exercice physique quant à lui diminue l'infiltration de lipides dans le foie ainsi que la production de VLDL-TG indépendamment des niveaux d'œstrogènes. En outre, l'expression des récepteurs de l’ANP a diminué par l'OTA chez les rates Ovx et Sham suggérant une action indirecte de l’ocytocine (OT) au niveau du foie indépendamment de la présence ou non des estrogènes. L’axe ocytocine-peptide natriurétique auriculaire, dans des conditions physiologiques normales, protègerait le foie contre l'inflammation à travers la modulation de l’expression de la GC-A.

Understanding deep architectures and the effect of unsupervised pre-training

Cette thèse porte sur une classe d'algorithmes d'apprentissage appelés architectures profondes. Il existe des résultats qui indiquent que les représentations peu profondes et locales ne sont pas suffisantes pour la modélisation des fonctions comportant plusieurs facteurs de variation. Nous sommes particulièrement intéressés par ce genre de données car nous espérons qu'un agent intelligent sera en mesure d'apprendre à les modéliser automatiquement; l'hypothèse est que les architectures profondes sont mieux adaptées pour les modéliser. Les travaux de Hinton (2006) furent une véritable percée, car l'idée d'utiliser un algorithme d'apprentissage non-supervisé, les machines de Boltzmann restreintes, pour l'initialisation des poids d'un réseau de neurones supervisé a été cruciale pour entraîner l'architecture profonde la plus populaire, soit les réseaux de neurones artificiels avec des poids totalement connectés. Cette idée a été reprise et reproduite avec succès dans plusieurs contextes et avec une variété de modèles. Dans le cadre de cette thèse, nous considérons les architectures profondes comme des biais inductifs. Ces biais sont représentés non seulement par les modèles eux-mêmes, mais aussi par les méthodes d'entraînement qui sont souvent utilisés en conjonction avec ceux-ci. Nous désirons définir les raisons pour lesquelles cette classe de fonctions généralise bien, les situations auxquelles ces fonctions pourront être appliquées, ainsi que les descriptions qualitatives de telles fonctions. L'objectif de cette thèse est d'obtenir une meilleure compréhension du succès des architectures profondes. Dans le premier article, nous testons la concordance entre nos intuitions---que les réseaux profonds sont nécessaires pour mieux apprendre avec des données comportant plusieurs facteurs de variation---et les résultats empiriques. Le second article est une étude approfondie de la question: pourquoi l'apprentissage non-supervisé aide à mieux généraliser dans un réseau profond? Nous explorons et évaluons plusieurs hypothèses tentant d'élucider le fonctionnement de ces modèles. Finalement, le troisième article cherche à définir de façon qualitative les fonctions modélisées par un réseau profond. Ces visualisations facilitent l'interprétation des représentations et invariances modélisées par une architecture profonde.