Modélisation de l'interprétation des pianistes & applications d'auto-encodeurs sur des modèles temporels

Ce mémoire traite d'abord du problème de la modélisation de l'interprétation des pianistes à l'aide de l'apprentissage machine. Il s'occupe ensuite de présenter de nouveaux modèles temporels qui utilisent des auto-encodeurs pour améliorer l'apprentissage de séquences. Dans un premier temps, nous présentons le travail préalablement fait dans le domaine de la modélisation de l'expressivité musicale, notamment les modèles statistiques du professeur Widmer. Nous parlons ensuite de notre ensemble de données, unique au monde, qu'il a été nécessaire de créer pour accomplir notre tâche. Cet ensemble est composé de 13 pianistes différents enregistrés sur le fameux piano Bösendorfer 290SE. Enfin, nous expliquons en détail les résultats de l'apprentissage de réseaux de neurones et de réseaux de neurones récurrents. Ceux-ci sont appliqués sur les données mentionnées pour apprendre les variations expressives propres à un style de musique. Dans un deuxième temps, ce mémoire aborde la découverte de modèles statistiques expérimentaux qui impliquent l'utilisation d'auto-encodeurs sur des réseaux de neurones récurrents. Pour pouvoir tester la limite de leur capacité d'apprentissage, nous utilisons deux ensembles de données artificielles développées à l'Université de Toronto.

Apprentissage des réseaux de neurones profonds et applications en traitement automatique de la langue naturelle

En apprentissage automatique, domaine qui consiste à utiliser des données pour apprendre une solution aux problèmes que nous voulons confier à la machine, le modèle des Réseaux de Neurones Artificiels (ANN) est un outil précieux. Il a été inventé voilà maintenant près de soixante ans, et pourtant, il est encore de nos jours le sujet d'une recherche active. Récemment, avec l'apprentissage profond, il a en effet permis d'améliorer l'état de l'art dans de nombreux champs d'applications comme la vision par ordinateur, le traitement de la parole et le traitement des langues naturelles. La quantité toujours grandissante de données disponibles et les améliorations du matériel informatique ont permis de faciliter l'apprentissage de modèles à haute capacité comme les ANNs profonds. Cependant, des difficultés inhérentes à l'entraînement de tels modèles, comme les minima locaux, ont encore un impact important. L'apprentissage profond vise donc à trouver des solutions, en régularisant ou en facilitant l'optimisation. Le pré-entraînnement non-supervisé, ou la technique du ``Dropout'', en sont des exemples. Les deux premiers travaux présentés dans cette thèse suivent cette ligne de recherche. Le premier étudie les problèmes de gradients diminuants/explosants dans les architectures profondes. Il montre que des choix simples, comme la fonction d'activation ou l'initialisation des poids du réseaux, ont une grande influence. Nous proposons l'initialisation normalisée pour faciliter l'apprentissage. Le second se focalise sur le choix de la fonction d'activation et présente le rectifieur, ou unité rectificatrice linéaire. Cette étude a été la première à mettre l'accent sur les fonctions d'activations linéaires par morceaux pour les réseaux de neurones profonds en apprentissage supervisé. Aujourd'hui, ce type de fonction d'activation est une composante essentielle des réseaux de neurones profonds. Les deux derniers travaux présentés se concentrent sur les applications des ANNs en traitement des langues naturelles. Le premier aborde le sujet de l'adaptation de domaine pour l'analyse de sentiment, en utilisant des Auto-Encodeurs Débruitants. Celui-ci est encore l'état de l'art de nos jours. Le second traite de l'apprentissage de données multi-relationnelles avec un modèle à base d'énergie, pouvant être utilisé pour la tâche de désambiguation de sens.

Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.

Apprentissage de représentations sur-complètes par entraînement d’auto-encodeurs

Les avancés dans le domaine de l’intelligence artificielle, permettent à des systèmes informatiques de résoudre des tâches de plus en plus complexes liées par exemple à la vision, à la compréhension de signaux sonores ou au traitement de la langue. Parmi les modèles existants, on retrouve les Réseaux de Neurones Artificiels (RNA), dont la popularité a fait un grand bond en avant avec la découverte de Hinton et al. [22], soit l’utilisation de Machines de Boltzmann Restreintes (RBM) pour un pré-entraînement non-supervisé couche après couche, facilitant grandement l’entraînement supervisé du réseau à plusieurs couches cachées (DBN), entraînement qui s’avérait jusqu’alors très difficile à réussir. Depuis cette découverte, des chercheurs ont étudié l’efficacité de nouvelles stratégies de pré-entraînement, telles que l’empilement d’auto-encodeurs traditionnels(SAE) [5, 38], et l’empilement d’auto-encodeur débruiteur (SDAE) [44]. C’est dans ce contexte qu’a débuté la présente étude. Après un bref passage en revue des notions de base du domaine de l’apprentissage machine et des méthodes de pré-entraînement employées jusqu’à présent avec les modules RBM, AE et DAE, nous avons approfondi notre compréhension du pré-entraînement de type SDAE, exploré ses différentes propriétés et étudié des variantes de SDAE comme stratégie d’initialisation d’architecture profonde. Nous avons ainsi pu, entre autres choses, mettre en lumière l’influence du niveau de bruit, du nombre de couches et du nombre d’unités cachées sur l’erreur de généralisation du SDAE. Nous avons constaté une amélioration de la performance sur la tâche supervisée avec l’utilisation des bruits poivre et sel (PS) et gaussien (GS), bruits s’avérant mieux justifiés que celui utilisé jusqu’à présent, soit le masque à zéro (MN). De plus, nous avons démontré que la performance profitait d’une emphase imposée sur la reconstruction des données corrompues durant l’entraînement des différents DAE. Nos travaux ont aussi permis de révéler que le DAE était en mesure d’apprendre, sur des images naturelles, des filtres semblables à ceux retrouvés dans les cellules V1 du cortex visuel, soit des filtres détecteurs de bordures. Nous aurons par ailleurs pu montrer que les représentations apprises du SDAE, composées des caractéristiques ainsi extraites, s’avéraient fort utiles à l’apprentissage d’une machine à vecteurs de support (SVM) linéaire ou à noyau gaussien, améliorant grandement sa performance de généralisation. Aussi, nous aurons observé que similairement au DBN, et contrairement au SAE, le SDAE possédait une bonne capacité en tant que modèle générateur. Nous avons également ouvert la porte à de nouvelles stratégies de pré-entraînement et découvert le potentiel de l’une d’entre elles, soit l’empilement d’auto-encodeurs rebruiteurs (SRAE).

Flora e aspectos auto-ecológicos de um encrave de cerrado na chapada do Araripe, Nordeste do Brasil

This study subject to investigate the floristic composition and richness, the reproductive phenological patterns, the dispersal syndromes and life forms of species of a disjunt cerrado in semiarid climate at Araripe plateau during a one year period. We found 107 species and 41 families. Fabaceae, Myrtaceae, Poaceae, Apocynaceae, Euphorbiaceae and Malpighiaceae showed the largest number of species. For 47 of the woody species found, we studied the geographical distribution based on 27 papers of the Brazilian cerrados. Twelve species are of widespread occurence in the cerrado, and 13 are restricted to the Araripe plateau. Zoocory, autocory, and anemocory are the predominant syndromes of dispersal. The predominant life forms were phanerophytes (50.7%), hemicriptophytes (14.9%) and camephytes (13.1%). The cerrado of Araripe have lower species richness than continous cerrados, but a similar pattern of reproductive phenology, dispersal syndromes and life forms in more humid zones.

Influência da atividade física na qualidade de vida e auto-imagem de mulheres incontinentes

Our aim was to verify the influence of a physical activities proposal in the quality of life and self image of incontinent women. This study was comparative and exploratory and was developed in 16 weeks. Thirty-seven women with and without urinary incontinence (IU) participated in the study. After the study, significant improvement in general health perception (p < 0.001), UI impact (p = 0.035), physical limitations (p = 0.015), personal relations, (p = 0.048), sleep and disposition (p = 0.012) and concerned with the gravity measurements (p = 0.011) was observed. Concerning self image, alterations in appearance were not observed; however, concerning body satisfaction, the women felt less satisfied with their bodies (p = 0.007). There was a reduction in the number of regions where they felt pain (p = 0.0003) and that they did not like (p = 0.0017). In conclusion, the Physical Education professionals using a systematized and integrated physical activities program can lead the women with IU to significant improvement in the perception of their quality of life and health concerning their self image with improvement of the IU symptoms and reduction of frequency and amount of urinary loss.

Identidade social e auto conceito do dançarino em cadeira de rodas

Universidade Estadual de Campinas . Faculdade de Educação Física

Auto-eficácia docente e motivação para a realização do(a) professor(a) de Educação Física Adaptada

Universidade Estadual de Campinas . Faculdade de Educação Física

Auto-organização no comportamento de crianças no jogo

Universidade Estadual de Campinas . Faculdade de Educação Física

Analise da auto-eficacia docente de professores de educação fisica

Universidade Estadual de Campinas . Faculdade de Educação Física

A busca do auto-conhecimento atraves da consciencia corporal : uma nova tendencia

Universidade Estadual de Campinas. Faculdade de Educação Física

Vivencias corporais : proposta de trabalho de auto-conscientização

Universidade Estadual de Campinas. Faculdade de Educação Física

Validação e reprodutibilidade de uma escala de auto-eficácia para adesão ao tratamento anti-retroviral em pais ou cuidadores de crianças e adolescentes vivendo com HIV/AIDS

OBJETIVO: Validar uma escala de auto-eficácia para adesão ao tratamento anti-retroviral em crianças e adolescentes com HIV/AIDS, levando em consideração a perspectiva dos pais/responsáveis, e avaliar a sua reprodutibilidade. MÉTODOS: O estudo foi realizado no Hospital-Dia do Centro de Referência e Treinamento em DST/AIDS de São Paulo. Foram entrevistados os pais/responsáveis de 54 crianças e adolescentes de 6 meses a 20 anos que passaram em consulta de rotina pelo serviço. Os dados de auto-eficácia foram levantados pela escala de auto-eficácia para seguir prescrição anti-retroviral (AE), que foi calculada de duas maneiras: análise fatorial e fórmula já definida. A consistência interna da escala foi verificada pelo coeficiente ade Cronbach. A validade foi avaliada pela comparação das médias dos escores entre grupos de pacientes aderentes e não aderentes ao tratamento anti-retroviral (teste de Mann-Whitney) e cálculo do coeficiente de correlação de Spearman entre os escores e parâmetros clínicos. A reprodutibilidade foi verificada por meio do teste de Wilcoxon, pelo coeficiente de correlação intraclasse (CCI) e pelo gráfico de Bland-Altman. RESULTADOS: A escala de AE apresentou boa consistência interna (a= 0,87) e boa reprodutibilidade (CCI = 0,69 e CCI = 0,75). Quanto à validade, a escala de AE conseguiu discriminar pacientes aderentes e não aderentes ao tratamento anti-retroviral (p = 0,002) e apresentou correlação significativa com a contagem de CD4 (r = 0,28; p = 0,04). CONCLUSÕES: A escala de AE pode ser utilizada para avaliar a adesão à terapia anti-retroviral em crianças e adolescentes com HIV/AIDS, levando em consideração a perspectiva dos pais/cuidadores.

Comparação de estimativas para o auto-relato de condições crônicas entre inquérito domiciliar e telefônico - Campinas (SP), Brasil

OBJETIVO: O objetivo do presente estudo foi comparar as estimativas obtidas por diferentes modalidades de inquérito para condições crônicas auto-referidas em adultos residentes em Campinas (SP) no ano de 2008. MÉTODOS: Foram utilizados os dados do ISACamp, inquérito domiciliar realizado pela Faculdade de Ciências Médicas da Universidade Estadual de Campinas com apoio da Secretaria Municipal de Saúde, e do VIGITEL - Campinas (SP), inquérito telefônico realizado pelo Ministério da Saúde para Vigilância de Fatores de Risco e Proteção para Doenças Crônicas na população adulta (18 anos ou mais). Estimativas do auto-relato de hipertensão arterial, diabetes, osteoporose, asma/bronquite/enfisema, foram avaliadas e comparadas por meio do teste t de Student para duas amostras independentes. RESULTADOS: Para as estimativas globais, maior prevalência de hipertensão arterial e osteoporose foram verificadas pelo inquérito telefônico. Diabetes e asma/bronquite/enfisema não apresentaram diferenças estatísticas significantes. Na análise segundo variáveis sócio-demográficas, maior prevalência de hipertensão foi obtida pelo VIGITEL para os homens, entre as pessoas de 18 a 59 anos e nos que referiram 9 ou mais anos de estudo. Maior prevalência de osteoporose entre adultos (18 a 59 anos) foi verificada pelo VIGITEL. Em relação à asma/bronquite/enfisema nos idosos, maior prevalência foi observada pelo ISACamp. CONCLUSÃO: Exceto para hipertensão arterial, os dados obtidos do inquérito telefônico constituíram uma alternativa rápida para disponibilizar estimativas globais da prevalência das condições estudadas na população adulta residente em Campinas (SP).

Prevalência de diagnóstico auto-referido de osteoporose, Brasil, 2006

OBJETIVO: Estimar a prevalência de osteoporose auto-referida (com diagnóstico médico prévio) e de fatores de risco e proteção associados. MÉTODOS: Estudo transversal baseado em dados do sistema de Vigilância de Fatores de Risco e Proteção para Doenças Crônicas por Inquérito Telefônico (VIGITEL). Foram entrevistados 54.369 indivíduos com idade >18 anos residentes em domicílios servidos por pelo menos uma linha telefônica fixa nas capitais brasileiras e Distrito Federal em 2006. Estimativas de osteoporose segundo fatores socioeconômicos, comportamentais e índice de massa corporal foram estratificadas por sexo. Foram calculados riscos de ocorrência de osteoporose para cada variável individualmente, e em modelo multivariado, considerando-se odds ratio como proxy da razão de prevalência. RESULTADOS: A prevalência de osteoporose referida foi de 4,4%, predominantemente entre mulheres (7,0%), com idade >45 anos, estado civil não solteiro e ex-fumante. Entre homens, ter mais de 65 anos, ser casado ou viúvo e sedentário associaram-se positivamente ao desfecho. CONCLUSÕES: Dentre os fatores associados à osteoporose, destacam-se aspectos modificáveis relacionados com a prevenção da doença, como a atividade física e tabagismo.