Modélisation de l'interprétation des pianistes & applications d'auto-encodeurs sur des modèles temporels

Ce mémoire traite d'abord du problème de la modélisation de l'interprétation des pianistes à l'aide de l'apprentissage machine. Il s'occupe ensuite de présenter de nouveaux modèles temporels qui utilisent des auto-encodeurs pour améliorer l'apprentissage de séquences. Dans un premier temps, nous présentons le travail préalablement fait dans le domaine de la modélisation de l'expressivité musicale, notamment les modèles statistiques du professeur Widmer. Nous parlons ensuite de notre ensemble de données, unique au monde, qu'il a été nécessaire de créer pour accomplir notre tâche. Cet ensemble est composé de 13 pianistes différents enregistrés sur le fameux piano Bösendorfer 290SE. Enfin, nous expliquons en détail les résultats de l'apprentissage de réseaux de neurones et de réseaux de neurones récurrents. Ceux-ci sont appliqués sur les données mentionnées pour apprendre les variations expressives propres à un style de musique. Dans un deuxième temps, ce mémoire aborde la découverte de modèles statistiques expérimentaux qui impliquent l'utilisation d'auto-encodeurs sur des réseaux de neurones récurrents. Pour pouvoir tester la limite de leur capacité d'apprentissage, nous utilisons deux ensembles de données artificielles développées à l'Université de Toronto.

Apprentissage des réseaux de neurones profonds et applications en traitement automatique de la langue naturelle

En apprentissage automatique, domaine qui consiste à utiliser des données pour apprendre une solution aux problèmes que nous voulons confier à la machine, le modèle des Réseaux de Neurones Artificiels (ANN) est un outil précieux. Il a été inventé voilà maintenant près de soixante ans, et pourtant, il est encore de nos jours le sujet d'une recherche active. Récemment, avec l'apprentissage profond, il a en effet permis d'améliorer l'état de l'art dans de nombreux champs d'applications comme la vision par ordinateur, le traitement de la parole et le traitement des langues naturelles. La quantité toujours grandissante de données disponibles et les améliorations du matériel informatique ont permis de faciliter l'apprentissage de modèles à haute capacité comme les ANNs profonds. Cependant, des difficultés inhérentes à l'entraînement de tels modèles, comme les minima locaux, ont encore un impact important. L'apprentissage profond vise donc à trouver des solutions, en régularisant ou en facilitant l'optimisation. Le pré-entraînnement non-supervisé, ou la technique du ``Dropout'', en sont des exemples. Les deux premiers travaux présentés dans cette thèse suivent cette ligne de recherche. Le premier étudie les problèmes de gradients diminuants/explosants dans les architectures profondes. Il montre que des choix simples, comme la fonction d'activation ou l'initialisation des poids du réseaux, ont une grande influence. Nous proposons l'initialisation normalisée pour faciliter l'apprentissage. Le second se focalise sur le choix de la fonction d'activation et présente le rectifieur, ou unité rectificatrice linéaire. Cette étude a été la première à mettre l'accent sur les fonctions d'activations linéaires par morceaux pour les réseaux de neurones profonds en apprentissage supervisé. Aujourd'hui, ce type de fonction d'activation est une composante essentielle des réseaux de neurones profonds. Les deux derniers travaux présentés se concentrent sur les applications des ANNs en traitement des langues naturelles. Le premier aborde le sujet de l'adaptation de domaine pour l'analyse de sentiment, en utilisant des Auto-Encodeurs Débruitants. Celui-ci est encore l'état de l'art de nos jours. Le second traite de l'apprentissage de données multi-relationnelles avec un modèle à base d'énergie, pouvant être utilisé pour la tâche de désambiguation de sens.

Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.

Apprentissage de représentations sur-complètes par entraînement d’auto-encodeurs

Les avancés dans le domaine de l’intelligence artificielle, permettent à des systèmes informatiques de résoudre des tâches de plus en plus complexes liées par exemple à la vision, à la compréhension de signaux sonores ou au traitement de la langue. Parmi les modèles existants, on retrouve les Réseaux de Neurones Artificiels (RNA), dont la popularité a fait un grand bond en avant avec la découverte de Hinton et al. [22], soit l’utilisation de Machines de Boltzmann Restreintes (RBM) pour un pré-entraînement non-supervisé couche après couche, facilitant grandement l’entraînement supervisé du réseau à plusieurs couches cachées (DBN), entraînement qui s’avérait jusqu’alors très difficile à réussir. Depuis cette découverte, des chercheurs ont étudié l’efficacité de nouvelles stratégies de pré-entraînement, telles que l’empilement d’auto-encodeurs traditionnels(SAE) [5, 38], et l’empilement d’auto-encodeur débruiteur (SDAE) [44]. C’est dans ce contexte qu’a débuté la présente étude. Après un bref passage en revue des notions de base du domaine de l’apprentissage machine et des méthodes de pré-entraînement employées jusqu’à présent avec les modules RBM, AE et DAE, nous avons approfondi notre compréhension du pré-entraînement de type SDAE, exploré ses différentes propriétés et étudié des variantes de SDAE comme stratégie d’initialisation d’architecture profonde. Nous avons ainsi pu, entre autres choses, mettre en lumière l’influence du niveau de bruit, du nombre de couches et du nombre d’unités cachées sur l’erreur de généralisation du SDAE. Nous avons constaté une amélioration de la performance sur la tâche supervisée avec l’utilisation des bruits poivre et sel (PS) et gaussien (GS), bruits s’avérant mieux justifiés que celui utilisé jusqu’à présent, soit le masque à zéro (MN). De plus, nous avons démontré que la performance profitait d’une emphase imposée sur la reconstruction des données corrompues durant l’entraînement des différents DAE. Nos travaux ont aussi permis de révéler que le DAE était en mesure d’apprendre, sur des images naturelles, des filtres semblables à ceux retrouvés dans les cellules V1 du cortex visuel, soit des filtres détecteurs de bordures. Nous aurons par ailleurs pu montrer que les représentations apprises du SDAE, composées des caractéristiques ainsi extraites, s’avéraient fort utiles à l’apprentissage d’une machine à vecteurs de support (SVM) linéaire ou à noyau gaussien, améliorant grandement sa performance de généralisation. Aussi, nous aurons observé que similairement au DBN, et contrairement au SAE, le SDAE possédait une bonne capacité en tant que modèle générateur. Nous avons également ouvert la porte à de nouvelles stratégies de pré-entraînement et découvert le potentiel de l’une d’entre elles, soit l’empilement d’auto-encodeurs rebruiteurs (SRAE).

On the computation and interpretation of auto- and cross-trispectra

This paper discusses the principal domains of auto- and cross-trispectra. It is shown that the cumulant and moment based trispectra are identical except on certain planes in trifrequency space. If these planes are avoided, their principal domains can be derived by considering the regions of symmetry of the fourth order spectral moment. The fourth order averaged periodogram will then serve as an estimate for both cumulant and moment trispectra. Statistics of estimates of normalised trispectra or tricoherence are also discussed.

Socio-economic & environmental impacts of battery driven auto rickshaw at Rajshahi city in Bangladesh

This paper describes the socio-economic and environmental impacts of battery driven Auto Rickshaw at Rajshahi city in Bangladesh. Unemployment problem is one of the major problems in Bangladesh. The number of unemployed people in Bangladesh is 7 lacks. Auto Rickshaw reduces this unemployment problem near about 2%.In this thesis work various questions were asked to the Auto Rickshaw driver in the different point in the Rajshahi city. Then those data were calculated to know their socio economic condition. The average number of passenger per Auto Rickshaw was determined at various places of Rajshahi city (Talaimari mor, Hadir mor, Alupotti, Shaheb bazar zero point, Shodor Hospital mor, Fire brigade mor, CNB mor, Lakshipur mor, Bondo gate, Bornali, Panir tank, Rail gate, Rail Station, Bhodrar mor, Adorsha School mor). Air pollution is a great threat for human health. One of the major causes of the air pollution is the emission from various vehicles, which are running by the burning of the fossil fuel in different internal combustion(IC) engines. All the data’s about emission from various power plants were collected from internet. Then the amounts of emission (CO2, NOX and PM) from different power plant were calculated in terms of kg/km. The energy required by the Auto Rickshaw per km was also calculated. Then the histogram of emission from different vehicles in terms of kg/km was drawn. By analyzing the data and chart, it was found that, battery driven Auto Rickshaw increases income, social status, comfort and decreases unemployment problems.

Auto-inhibition of hydrogen gas evolution on gold in aqueous acid solution

It was demonstrated recently that dramatic changes in the redox behaviour of gold/aqueous solution interfaces may be observed following either cathodic or thermal electrode pretreatment. Further work on the cathodic pretreatment of gold in acid solution revealed that as the activity of the gold surface was increased, its performance as a substrate for hydrogen gas evolution under constant potential conditions deteriorated. The change in activity of the gold atoms at the interface, which was attributed to a hydrogen embrittlement process (the occurrence of the latter was subsequently checked by surface microscopy), was confirmed, as in earlier work, by the appearance of a substantial anodic peak at ca. 0.5 V (RHE) in a post-activation positive sweep. Changes in the catalytic activity of a metal surface reflect the fact that the structure (or topography), thermodynamic activity and electronic properties of a surface are dependent not only on pretreatment but also, in the case of the hydrogen evolution reaction, vary with time during the course of reaction. As will be reported shortly, similar (and often more dramatic) time-dependent behaviour was observed for hydrogen gas evolution on other metal electrodes.

Orchids, intersex and the auto/biographical project

Auto/biographical documentaries ask audiences to take a ‘leap of faith’, not being able to offer any real ‘proof’ of the people and events they claim to document, other than that of the film-maker’s saying this is what happened. With only memory and history seen through the distorting lens of time, ‘the authenticity of experience functions as a receding horizon of truth in which memory and testimony are articulated as modes of salvage’. Orchids: My Intersex Adventure follows a salvaging of the film-maker’s life events and experiences, being born with an intersex condition, and, via the filming and editing process, revolving around the core question: who am I? From this transformative creative documentary practice evolves a new way of embodying experience and ‘seeing’, playfully dubbed here as the ‘intersex gaze’.

(Im)moral bodies : intersex and auto/biographical documentary

In this paper I question the representation of and ethical responsibilities to young people with intersex (hermaphroditic) conditions in documentary film, and explore the creative practice challenges working with bodies with intersex, embedded in the production of a feature auto/biographical documentary entitled Orchids. Bodies with intersex conditions are often presented as abject, in need of ‘fixing’ during infancy and early childhood, undesirable, and incapable of desire. Seen through the lens of experience and memory, Orchids takes a personal coming-of-age narrative and reconfigures understandings of the (im)moral body in the light of its transformative potential. Just as practice research challenges the dominant hegemony of quantitative and qualitative research, my creative work positions itself as a nuanced performative piece, and through its distinctive distillation and celebration of a new form of discursive rupturing discovers the intersex voice.

Auto-tune, and why we shouldn't be surprised that Britney can't sing

Put Britney Spears into a YouTube search and the third auto-fill on the list is “Britney Spears without Autotune”. Auto-Tune has become the music industry equivalent of doping in the Tour de France circa 2005; we know everyone’s doing it, but we still have a sense of surprise and outrage when it becomes public. In the last week or so a video has surfaced of the pop singer Britney Spears – with examples of her vocal before and after processing. Whether or not the “before” version is actually the raw material for the “after” version is difficult to say. What’s not difficult to say is that the “before” vocal is distinctly lacking in a demonstrable ability to sing in tune.

Micro foundations of strategic capability development : a case study within the auto industry

The importance of firms’ adaptation processes is prominent in today’s business environment which is characterised by ever changing customers, technologies, and competition. Ever since Schumpeter’s (1942) classic work strategic renewal has been found crucial for firms’ adaptation to environmental change. The role of strategic renewal in firms’ adaptation processes includes development of capabilities for the purpose of sustainability of competitive advantage against environmental changes.

Self and other in communication and cognition : the role of auto-communication and intersubjectivity in autopoiesis of psychic systems

By referring to Niklas Luhmann's theory of self-referential systems, Aldo Mascareño (2008, submitted for publication) gives an account of system-environment interrelatedness, explaining how social and individual constitute each other through the process of communication and co-creation of meanings. Two possible extensions to his account are discussed. Firstly, auto-communication within the system that happens without any external reference needs to be taken into account while describing the existence and constant re-creation of psychic systems. Secondly, in order for the system and environment or two systems to communicate, an imagined and temporary intersubjectivity between the two needs to be assumed.

Support for an auto-associative model of spoken cued recall: Evidence from fMRI

Cued recall and item recognition are considered the standard episodic memory retrieval tasks. However, only the neural correlates of the latter have been studied in detail with fMRI. Using an event-related fMRI experimental design that permits spoken responses, we tested hypotheses from an auto-associative model of cued recall and item recognition [Chappell, M., & Humphreys, M. S. (1994). An auto-associative neural network for sparse representations: Analysis and application to models of recognition and cued recall. Psychological Review, 101, 103-128]. In brief, the model assumes that cues elicit a network of phonological short term memory (STM) and semantic long term memory (LTM) representations distributed throughout the neocortex as patterns of sparse activations. This information is transferred to the hippocampus which converges upon the item closest to a stored pattern and outputs a response. Word pairs were learned from a study list, with one member of the pair serving as the cue at test. Unstudied words were also intermingled at test in order to provide an analogue of yes/no recognition tasks. Compared to incorrectly rejected studied items (misses) and correctly rejected (CR) unstudied items, correctly recalled items (hits) elicited increased responses in the left hippocampus and neocortical regions including the left inferior prefrontal cortex (LIPC), left mid lateral temporal cortex and inferior parietal cortex, consistent with predictions from the model. This network was very similar to that observed in yes/no recognition studies, supporting proposals that cued recall and item recognition involve common rather than separate mechanisms.

Turning the Kaleidoscope - (E)FL Educational Experience and Inquiry as Auto/biography

This book is a study on learning, teaching/counselling, and research on the two. My quest has been to find a pedagogically-motivated way of researching learning and teaching interaction, and in particular counselling, in an autonomous language-learning environment. I have tried to develop a method that would make room for lived experience, meaning-making and narrating, because in my view these all characterise learning encounters between language learners and counsellors, and learners and their peers. Lived experience as a source of meaning, telling and co-telling becomes especially significant when we try to listen to the diverse personal and academic voices of the past as expressed in autobiographical narratives. I have aimed at researching various ALMS dialogues (Autonomous Learning Modules, University of Helsinki Language Centre English course and programme), and autobiographical narratives within them, in a way that shows respect for the participants, and that is relevant, reflective and, most importantly, self-reflexive. My interest has been in autobiographical telling in (E)FL [(English as a) foreign language], both in students first-person written texts on their language- learning histories and in the sharing of stories between learners and a counsellor. I have turned to narrative inquiry in my quest and have written the thesis as an experiential narrative. In particular, I have studied learners and counsellors in one and the same story, as characters in one narrative, in an attempt to avoid the impression that I am telling yet another separate, anecdotal story, retrospectively. Through narrative, I have shed light on the subjective dimensions of language learning and experience, and have come closer to understanding the emotional aspects of learning encounters. I have questioned and rejected a distanced and objective approach to describing learning and teaching/counselling. I have argued for a holistic and experiential approach to (E)FL encounters in which there is a need to see emotion and cognition as intertwined, and thus to appreciate learners and counsellors emotionally-charged experiences as integral to their identities. I have also argued for a way of describing such encounters as they are situated in history, time, autobiography, and the learning context. I have turned my gaze on various constellations of lived experience: the data was collected on various occasions and in various settings during one course and consists of videotaped group sessions, individual counselling sessions between students and their group counsellor, biographic narrative interviews with myself, open-ended personally-inspired reflection texts written by the students about their language-learning histories, and student logs and diaries. I do not consider data collection an unproblematic occasion, or innocent practice, and I defend the integrity of the research process. Research writing cannot be separated from narrative field work and analysing and interpreting the data. The foci in my work have turned to be the following: 1) describing ALMS encounters and specifying their narrative aspects; 2) reconceptualising learner and teacher autonomy in ALMS and in (E)FL; 2) developing (E)FL methodologically through a teacher-researcher s identity work; 4) research writing as a dialogical narrative process, and the thesis as an experiential narrative. Identity and writing as inquiry, and the deeply narrative and autobiographical nature of the (E)FL teaching/counselling/researching have come to the fore in this research. Research writing as a relational activity and its implications for situated ways of knowing and knowledge turned out to be important foci. I have also focussed on the context-bound and local teacher knowledge and ways of knowing about being a teacher, and I have argued for personal ways of knowing about, and learning and studying foreign languages. I discuss research as auto/biography: as a practising counsellor I use my own life and (E)FL experience to understand and interpret the stories of the research participants even though I was not involved in their course work. The supposedly static binaries of learner/teacher, and also learner autonomy/teacher autonomy, are thus brought into the discussion. I have highlighted the infinite variability and ever-changing nature of learning and teaching English, but the book is also of relevance to foreign language education in general.