Implicit probabilistic sequence learning: Correlated streams and sequence length matter

We investigated whether a pure perceptual stream is sufficient for probabilistic sequence learning to occur within a single session or whether correlated streams are necessary, whether learning is affected by the transition probability between sequence elements, and how the sequence length influences learning. In each of three experiments, we used six horizontally arranged stimulus displays which consisted of randomly ordered bigrams xo and ox. The probability of the next possible target location out of two was either .50/.50 or .75/.25 and was marked by an underline. In Experiment 1, a left vs. right key response was required for the x of a marked bigram in the pure perceptual learning condition and a response key press corresponding to the marked bigram location (out of 6) was required in the correlated streams condition (i.e., the ring, middle, or index finger of the left and right hand, respectively). The same probabilistic 3-element sequence was used in both conditions. Learning occurred only in the correlated streams condition. In Experiment 2, we investigated whether sequence length affected learning correlated sequences by contrasting the 3-elements sequence with a 6-elements sequence. Significant sequence learning occurred in all conditions. In Experiment 3, we removed a potential confound, that is, the sequence of hand changes. Under these conditions, learning occurred for the 3-element sequence only and transition probability did not affect the amount of learning. Together, these results indicate that correlated streams are necessary for probabilistic sequence learning within a single session and that sequence length can reduce the chances for learning to occur.

Learning and Production of Movement Sequences: Behavioral, Neurophysiological, and Modeling Perspectives

A growing wave of behavioral studies, using a wide variety of paradigms that were introduced or greatly refined in recent years, has generated a new wealth of parametric observations about serial order behavior. What was a mere trickle of neurophysiological studies has grown to a more steady stream of probes of neural sites and mechanisms underlying sequential behavior. Moreover, simulation models of serial behavior generation have begun to open a channel to link cellular dynamics with cognitive and behavioral dynamics. Here we summarize the major results from prominent sequence learning and performance tasks, namely immediate serial recall, typing, 2XN, discrete sequence production, and serial reaction time. These populate a continuum from higher to lower degrees of internal control of sequential organization. The main movement classes covered are speech and keypressing, both involving small amplitude movements that are very amenable to parametric study. A brief synopsis of classes of serial order models, vis-à-vis the detailing of major effects found in the behavioral data, leads to a focus on competitive queuing (CQ) models. Recently, the many behavioral predictive successes of CQ models have been joined by successful prediction of distinctively patterend electrophysiological recordings in prefrontal cortex, wherein parallel activation dynamics of multiple neural ensembles strikingly matches the parallel dynamics predicted by CQ theory. An extended CQ simulation model-the N-STREAMS neural network model-is then examined to highlight issues in ongoing attemptes to accomodate a broader range of behavioral and neurophysiological data within a CQ-consistent theory. Important contemporary issues such as the nature of working memory representations for sequential behavior, and the development and role of chunks in hierarchial control are prominent throughout.

Implicit learning: Below the subjective threshold?

In this review, we consider three possible criteria by which knowledge might be regarded as implicit or inaccessible: It might be implicit only in the sense that it is difficult to articulate freely, or it might be implicit according to either an objective threshold or a subjective threshold. We evaluate evidence for these criteria in relation to artificial grammar learning, the control of complex systems, and sequence learning, respectively. We argue that the convincing evidence is not yet in, but construing the implicit nature of implicit learning in terms of a subjective threshold is most likely to prove fruitful for future research. Furthermore, the subjective threshold criterion may demarcate qualitatively different types of knowledge. We argue that (1) implicit, rather than explicit, knowledge is often relatively inflexible in transfer to different domains, (2) implicit, rather than explicit, learning occurs when attention is focused on specific items and not underlying rules, and (3) implicit learning and the resulting knowledge are often relatively robust.

Interference during the implicit learning of two different motor sequences

It has been demonstrated that learning a second motor task after having learned a first task may interfere with the long-term consolidation of the first task. However, little is known about immediate changes in the representation of the motor memory in the early acquisition phase within the first minutes of the learning process. Therefore, we investigated such early interference effects with an implicit serial reaction time task in 55 healthy subjects. Each subject performed either a sequence learning task involving two different sequences, or a random control task. The results showed that learning the first sequence led to only a slight, short-lived interference effect in the early acquisition phase of the second sequence. Overall, learning of neither sequence was impaired. Furthermore, the two processes, sequence-unrelated task learning (i.e. general motor training) and the sequence learning itself did not appear to interfere with each other. In conclusion, although the long-term consolidation of a motor memory has been shown to be sensitive to other interfering memories, the present study suggests that the brain is initially able to acquire more than one new motor sequence within a short space of time without significant interference.

Exponentiated gradient algorithms for conditional random fields and max-margin Markov Networks

Log-linear and maximum-margin models are two commonly-used methods in supervised machine learning, and are frequently used in structured prediction problems. Efficient learning of parameters in these models is therefore an important problem, and becomes a key factor when learning from very large data sets. This paper describes exponentiated gradient (EG) algorithms for training such models, where EG updates are applied to the convex dual of either the log-linear or max-margin objective function; the dual in both the log-linear and max-margin cases corresponds to minimizing a convex function with simplex constraints. We study both batch and online variants of the algorithm, and provide rates of convergence for both cases. In the max-margin case, O(1/ε) EG updates are required to reach a given accuracy ε in the dual; in contrast, for log-linear models only O(log(1/ε)) updates are required. For both the max-margin and log-linear cases, our bounds suggest that the online EG algorithm requires a factor of n less computation to reach a desired accuracy than the batch EG algorithm, where n is the number of training examples. Our experiments confirm that the online algorithms are much faster than the batch algorithms in practice. We describe how the EG updates factor in a convenient way for structured prediction problems, allowing the algorithms to be efficiently applied to problems such as sequence learning or natural language parsing. We perform extensive evaluation of the algorithms, comparing them to L-BFGS and stochastic gradient descent for log-linear models, and to SVM-Struct for max-margin models. The algorithms are applied to a multi-class problem as well as to a more complex large-scale parsing task. In all these settings, the EG algorithms presented here outperform the other methods.

A sequential dual method for structural SVMs

In many real world prediction problems the output is a structured object like a sequence or a tree or a graph. Such problems range from natural language processing to compu- tational biology or computer vision and have been tackled using algorithms, referred to as structured output learning algorithms. We consider the problem of structured classifi- cation. In the last few years, large margin classifiers like sup-port vector machines (SVMs) have shown much promise for structured output learning. The related optimization prob -lem is a convex quadratic program (QP) with a large num-ber of constraints, which makes the problem intractable for large data sets. This paper proposes a fast sequential dual method (SDM) for structural SVMs. The method makes re-peated passes over the training set and optimizes the dual variables associated with one example at a time. The use of additional heuristics makes the proposed method more efficient. We present an extensive empirical evaluation of the proposed method on several sequence learning problems.Our experiments on large data sets demonstrate that the proposed method is an order of magnitude faster than state of the art methods like cutting-plane method and stochastic gradient descent method (SGD). Further, SDM reaches steady state generalization performance faster than the SGD method. The proposed SDM is thus a useful alternative for large scale structured output learning.

Étude multimodale de la consolidation d’habiletés motrices à ‎l’aide de l’IRMf et de l’EEG

La consolidation est le processus qui transforme une nouvelle trace mnésique labile en ‎une autre plus stable et plus solide. Une des tâches utilisées en laboratoire pour ‎l’exploration de la consolidation motrice dans ses dimensions comportementale et ‎cérébrale est la tâche d’apprentissage de séquences motrices. Celle-ci consiste à ‎reproduire une même série de mouvements des doigts, apprise de manière implicite ou ‎explicite, tout en mesurant l’amélioration dans l’exécution. Les études récentes ont ‎montré que, dans le cas de l’apprentissage explicite de cette tâche, la consolidation de la ‎trace mnésique associée à cette nouvelle habileté dépendrait du sommeil, et plus ‎particulièrement des fuseaux en sommeil lent. Et bien que deux types de fuseaux aient ‎été décrits (lents et rapides), le rôle de chacun d’eux dans la consolidation d’une ‎séquence motrice est encore mal exploré. En effet, seule une étude s’est intéressée à ce ‎rôle, montrant alors une implication des fuseaux rapides dans ce processus mnésique ‎suite à une nuit artificiellement altérée. D’autre part, les études utilisant l’imagerie ‎fonctionnelle (IRMf et PET scan) menées par différentes équipes dont la notre, ont ‎montré des changements au niveau de l’activité du système cortico-striatal suite à la ‎consolidation motrice. Cependant, aucune corrélation n’a été faite à ce jour entre ces ‎changements et les caractéristiques des fuseaux du sommeil survenant au cours de la nuit ‎suivant un apprentissage moteur. Les objectifs de cette thèse étaient donc: 1) de ‎déterminer, à travers des enregistrements polysomnographiques et des analyses ‎corrélationnelles, les caractéristiques des deux types de fuseaux (i.e. lents et rapides) ‎associées à la consolidation d’une séquence motrice suite à une nuit de sommeil non ‎altérée, et 2) d’explorer, à travers des analyses corrélationnelles entre les données ‎polysomnographiques et le signal BOLD (« Blood Oxygenated Level Dependent »), ‎acquis à l’aide de l’imagerie par résonance magnétique fonctionnelle (IRMf), ‎l’association entre les fuseaux du sommeil et les activations cérébrales suite à la ‎consolidation de la séquence motrice. Les résultats de notre première étude ont montré ‎une implication des fuseaux rapides, et non des fuseaux lents, dans la consolidation ‎d’une séquence motrice apprise de manière explicite après une nuit de sommeil non ‎altérée, corroborant ainsi les résultats des études antérieures utilisant des nuits de ‎sommeil altérées. En effet, les analyses statistiques ont mis en évidence une ‎augmentation significative de la densité des fuseaux rapides durant la nuit suivant ‎l’apprentissage moteur par comparaison à la nuit contrôle. De plus, cette augmentation ‎corrélait avec les gains spontanés de performance suivant la nuit. Par ailleurs, les ‎résultats de notre seconde étude ont mis en évidence des corrélations significatives entre ‎l’amplitude des fuseaux de la nuit expérimentale d’une part et les gains spontanés de ‎performance ainsi que les changements du signal BOLD au niveau du système cortico-‎striatal d’autre part. Nos résultats suggèrent donc un lien fonctionnel entre les fuseaux ‎du sommeil, les gains de performance ainsi que les changements neuronaux au niveau ‎du système cortico-striatal liés à la consolidation d’une séquence motrice explicite. Par ‎ailleurs, ils supportent l’implication des fuseaux rapides dans ce type de consolidation ; ‎ceux-ci aideraient à l’activation des circuits neuronaux impliqués dans ce processus ‎mnésique et amélioreraient par la même occasion la consolidation motrice liée au ‎sommeil.‎

Modulation du système glutamatergique pendant l’apprentissage moteur : une étude de spectroscopie par résonance magnétique fonctionnelle

La présente étude avait pour but d’explorer les modulations fonctionnelles putaminales du signal de spectroscopie par résonance magnétique (SRM) combiné du glutamate et de la glutamine (Glx), ainsi que de l’acide γ-aminobutyrique (GABA) en lien avec l’apprentissage d’une séquence motrice. Nous avons émis l’hypothèse que les concentrations de Glx seraient spécifiquement augmentées pendant et après la pratique d’une telle tâche, et ce comparativement à une condition d’exécution motrice simple conçue pour minimiser l’apprentissage. La tâche d’appuis séquentiels des doigts (« finger taping task ») utilisée est connue pour induire un apprentissage moteur évoluant en phases, avec une progression initialement rapide lors de la première session d’entraînement (phase rapide), puis lente lors de sessions subséquentes (phase lente). Cet apprentissage est également conçu comme dépendant de processus « on-line » (pendant la pratique) d’acquisition et « off-line » (entre les périodes de pratique) de consolidation de la trace mnésique de l’habilité motrice. Une grande quantité de données impliquent le système de neurotransmission glutamatergique, principalement par l’action de ses récepteurs N-Méthyl-D-aspartate (NMDAR) et métabotropiques (mGluR), dans une multitude de domaine de la mémoire. Quelques-unes de ces études suggèrent que cette relation s’applique aussi à des mémoires de type motrice ou dépendante du striatum. De plus, certains travaux chez l’animal montrent qu’une hausse des concentrations de glutamate et de glutamine peut être associée à l’acquisition et/ou consolidation d’une trace mnésique. Nos mesures de SRM à 3.0 Tesla, dont la qualité ne s’est avérée satisfaisante que pour le Glx, démontrent qu’une telle modulation des concentrations de Glx est effectivement détectable dans le putamen après la performance d’une tâche motrice. Elles ne nous permettent toutefois pas de dissocier cet effet putativement attribuable à la plasticité du putamen associée à l’apprentissage moteur de séquence, de celui de la simple activation neuronale causée par l’exécution motrice. L’interprétation de l’interaction non significative, montrant une plus grande modulation par la tâche motrice simple, mène cependant à l’hypothèse alternative que la plasticité glutamatergique détectée est potentiellement plus spécifique à la phase lente de l’apprentissage, suggérant qu’une seconde expérience ainsi orientée et utilisant une méthode de SRM plus sensible au Glx aurait donc de meilleures chances d’offrir des résultats concluants.

Le chunking perceptif de la parole : sur la nature du groupement temporel et son effet sur la mémoire immédiate

Dans de nombreux comportements qui reposent sur le rappel et la production de séquences, des groupements temporels émergent spontanément, créés par des délais ou des allongements. Ce « chunking » a été observé tant chez les humains que chez certains animaux et plusieurs auteurs l’attribuent à un processus général de chunking perceptif qui est conforme à la capacité de la mémoire à court terme. Cependant, aucune étude n’a établi comment ce chunking perceptif s’applique à la parole. Nous présentons une recension de la littérature qui fait ressortir certains problèmes critiques qui ont nui à la recherche sur cette question. C’est en revoyant ces problèmes qu’on propose une démonstration spécifique du chunking perceptif de la parole et de l’effet de ce processus sur la mémoire immédiate (ou mémoire de travail). Ces deux thèmes de notre thèse sont présentés séparément dans deux articles. Article 1 : The perceptual chunking of speech: a demonstration using ERPs Afin d’observer le chunking de la parole en temps réel, nous avons utilisé un paradigme de potentiels évoqués (PÉ) propice à susciter la Closure Positive Shift (CPS), une composante associée, entre autres, au traitement de marques de groupes prosodiques. Nos stimuli consistaient en des énoncés et des séries de syllabes sans sens comprenant des groupes intonatifs et des marques de groupements temporels qui pouvaient concorder, ou non, avec les marques de groupes intonatifs. Les analyses démontrent que la CPS est suscitée spécifiquement par les allongements marquant la fin des groupes temporels, indépendamment des autres variables. Notons que ces marques d’allongement, qui apparaissent universellement dans la langue parlée, créent le même type de chunking que celui qui émerge lors de l’apprentissage de séquences par des humains et des animaux. Nos résultats appuient donc l’idée que l’auditeur chunk la parole en groupes temporels et que ce chunking perceptif opère de façon similaire avec des comportements verbaux et non verbaux. Par ailleurs, les observations de l’Article 1 remettent en question des études où on associe la CPS au traitement de syntagmes intonatifs sans considérer les effets de marques temporels. Article 2 : Perceptual chunking and its effect on memory in speech processing:ERP and behavioral evidence Nous avons aussi observé comment le chunking perceptif d’énoncés en groupes temporels de différentes tailles influence la mémoire immédiate d’éléments entendus. Afin d’observer ces effets, nous avons utilisé des mesures comportementales et des PÉ, dont la composante N400 qui permettait d’évaluer la qualité de la trace mnésique d’éléments cibles étendus dans des groupes temporels. La modulation de l’amplitude relative de la N400 montre que les cibles présentées dans des groupes de 3 syllabes ont bénéficié d’une meilleure mise en mémoire immédiate que celles présentées dans des groupes plus longs. D’autres mesures comportementales et une analyse de la composante P300 ont aussi permis d’isoler l’effet de la position du groupe temporel (dans l’énoncé) sur les processus de mise en mémoire. Les études ci-dessus sont les premières à démontrer le chunking perceptif de la parole en temps réel et ses effets sur la mémoire immédiate d’éléments entendus. Dans l’ensemble, nos résultats suggèrent qu’un processus général de chunking perceptif favorise la mise en mémoire d’information séquentielle et une interprétation de la parole « chunk par chunk ».

Neural substrates and functional connectivity associated with sleep-dependent and independent consolidation of new motor skills

La mémoire n’est pas un processus unitaire et est souvent divisée en deux catégories majeures: la mémoire déclarative (pour les faits) et procédurale (pour les habitudes et habiletés motrices). Pour perdurer, une trace mnésique doit passer par la consolidation, un processus par lequel elle devient plus robuste et moins susceptible à l’interférence. Le sommeil est connu comme jouant un rôle clé pour permettre le processus de consolidation, particulièrement pour la mémoire déclarative. Depuis plusieurs années cependant, son rôle est aussi reconnu pour la mémoire procédurale. Il est par contre intéressant de noter que ce ne sont pas tous les types de mémoire procédurale qui requiert le sommeil afin d’être consolidée. Entre autres, le sommeil semble nécessaire pour consolider un apprentissage de séquences motrices (s’apparentant à l’apprentissage du piano), mais pas un apprentissage d’adaptation visuomotrice (tel qu’apprendre à rouler à bicyclette). Parallèlement, l’apprentissage à long terme de ces deux types d’habiletés semble également sous-tendu par des circuits neuronaux distincts; c’est-à-dire un réseau cortico-striatal et cortico-cérébelleux respectivement. Toutefois, l’implication de ces réseaux dans le processus de consolidation comme tel demeure incertain. Le but de cette thèse est donc de mieux comprendre le rôle du sommeil, en contrôlant pour le simple passage du temps, dans la consolidation de ces deux types d’apprentissage, à l’aide de l’imagerie par résonnance magnétique fonctionnelle et d’analyses de connectivité cérébrale. Nos résultats comportementaux supportent l’idée que seul l’apprentissage séquentiel requiert le sommeil pour déclencher le processus de consolidation. Nous suggérons de plus que le putamen est fortement associé à ce processus. En revanche, les performances d’un apprentissage visuomoteur s’améliorent indépendamment du sommeil et sont de plus corrélées à une plus grande activation du cervelet. Finalement, en explorant l’effet du sommeil sur la connectivité cérébrale, nos résultats démontrent qu’en fait, un système cortico-striatal semble être plus intégré suite à la consolidation. C’est-à-dire que l’interaction au sein des régions du système est plus forte lorsque la consolidation a eu lieu, après une nuit de sommeil. En opposition, le simple passage du temps semble nuire à l’intégration de ce réseau cortico-striatal. En somme, nous avons pu élargir les connaissances quant au rôle du sommeil pour la mémoire procédurale, notamment en démontrant que ce ne sont pas tous les types d’apprentissages qui requièrent le sommeil pour amorcer le processus de consolidation. D’ailleurs, nous avons également démontré que cette dissociation de l’effet du sommeil est également reflétée par l’implication de deux réseaux cérébraux distincts. À savoir, un réseau cortico-striatal et un réseau cortico-cérébelleux pour la consolidation respective de l’apprentissage de séquence et d’adaptation visuomotrice. Enfin, nous suggérons que la consolidation durant le sommeil permet de protéger et favoriser une meilleure cohésion au sein du réseau cortico-striatal associé à notre tâche; un phénomène qui, s’il est retrouvé avec d’autres types d’apprentissage, pourrait être considéré comme un nouveau marqueur de la consolidation.

Acquisition of automatic imitation is sensitive to sensorimotor contingency

The associative sequence learning model proposes that the development of the mirror system depends on the same mechanisms of associative learning that mediate Pavlovian and instrumental conditioning. To test this model, two experiments used the reduction of automatic imitation through incompatible sensorimotor training to assess whether mirror system plasticity is sensitive to contingency (i.e., the extent to which activation of one representation predicts activation of another). In Experiment 1, residual automatic imitation was measured following incompatible training in which the action stimulus was a perfect predictor of the response (contingent) or not at all predictive of the response (noncontingent). A contingency effect was observed: There was less automatic imitation indicative of more learning in the contingent group. Experiment 2 replicated this contingency effect and showed that, as predicted by associative learning theory, it can be abolished by signaling trials in which the response occurs in the absence of an action stimulus. These findings support the view that mirror system development depends on associative learning and indicate that this learning is not purely Hebbian. If this is correct, associative learning theory could be used to explain, predict, and intervene in mirror system development.

Neurocognitive control in dance perception and performance

Dance is a rich source of material for researchers interested in the integration of movement and cognition. The multiple aspects of embodied cognition involved in performing and perceiving dance have inspired scientists to use dance as a means for studying motor control, expertise, and action-perception links. The aim of this review is to present basic research on cognitive and neural processes implicated in the execution, expression, and observation of dance, and to bring into relief contemporary issues and open research questions. The review addresses six topics: 1) dancers’ exemplary motor control, in terms of postural control, equilibrium maintenance, and stabilization; 2) how dancers’ timing and on-line synchronization are influenced by attention demands and motor experience; 3) the critical roles played by sequence learning and memory; 4) how dancers make strategic use of visual and motor imagery; 5) the insights into the neural coupling between action and perception yielded through exploration of the brain architecture mediating dance observation; and 6) a neuroaesthetics perspective that sheds new light on the way audiences perceive and evaluate dance expression. Current and emerging issues are presented regarding future directions that will facilitate the ongoing dialogue between science and dance.

Brain activation during anticipation of sound sequences

Music consists of sound sequences that require integration over time. As we become familiar with music, associations between notes, melodies, and entire symphonic movements become stronger and more complex. These associations can become so tight that, for example, hearing the end of one album track can elicit a robust image of the upcoming track while anticipating it in total silence. Here, we study this predictive “anticipatory imagery” at various stages throughout learning and investigate activity changes in corresponding neural structures using functional magnetic resonance imaging. Anticipatory imagery (in silence) for highly familiar naturalistic music was accompanied by pronounced activity in rostral prefrontal cortex (PFC) and premotor areas. Examining changes in the neural bases of anticipatory imagery during two stages of learning conditional associations between simple melodies, however, demonstrates the importance of fronto-striatal connections, consistent with a role of the basal ganglia in “training” frontal cortex (Pasupathy and Miller, 2005). Another striking change in neural resources during learning was a shift between caudal PFC earlier to rostral PFC later in learning. Our findings regarding musical anticipation and sound sequence learning are highly compatible with studies of motor sequence learning, suggesting common predictive mechanisms in both domains.

Experience-dependent, asymmetric expansion of hippocampal place fields

Theories of sequence learning based on temporally asymmetric, Hebbian long-term potentiation predict that during route learning the spatial firing distributions of hippocampal neurons should enlarge in a direction opposite to the animal’s movement. On a route AB, increased synaptic drive from cells representing A would cause cells representing B to fire earlier and more robustly. These effects appeared within a few laps in rats running on closed tracks. This provides indirect evidence for Hebbian synaptic plasticity and a functional explanation for why place cells become directionally selective during route following, namely, to preserve the synaptic asymmetry necessary to encode the sequence direction.

SARASOM: a supervised architecture based on the recurrent associative SOM

We present and evaluate a novel supervised recurrent neural network architecture, the SARASOM, based on the associative self-organizing map. The performance of the SARASOM is evaluated and compared with the Elman network as well as with a hidden Markov model (HMM) in a number of prediction tasks using sequences of letters, including some experiments with a reduced lexicon of 15 words. The results were very encouraging with the SARASOM learning better and performing with better accuracy than both the Elman network and the HMM.