A PHENOMENOLOGY OF MIMETIC LEARNING AND MULTIMODAL COGNITION: INTEGRATING EXPERIENTIAL KNOWLEDGE INTO PROGRAMS IN RHETORIC, COMPOSITION, AND TECHNICAL COMMUNICATION

My dissertation emphasizes a cognitive account of multimodality that explicitly integrates experiential knowledge work into the rhetorical pedagogy that informs so many composition and technical communication programs. In these disciplines, multimodality is widely conceived in terms of what Gunther Kress calls “socialsemiotic” modes of communication shaped primarily by culture. In the cognitive and neurolinguistic theories of Vittorio Gallese and George Lakoff, however, multimodality is described as a key characteristic of our bodies’ sensory-motor systems which link perception to action and action to meaning, grounding all communicative acts in knowledge shaped through body-engaged experience. I argue that this “situated” account of cognition – which closely approximates Maurice Merleau-Ponty’s phenomenology of perception, a major framework for my study – has pedagogical precedence in the mimetic pedagogy that informed ancient Sophistic rhetorical training, and I reveal that training’s multimodal dimensions through a phenomenological exegesis of the concept mimesis. Plato’s denigration of the mimetic tradition and his elevation of conceptual contemplation through reason, out of which developed the classic Cartesian separation of mind from body, resulted in a general degradation of experiential knowledge in Western education. But with the recent introduction into college classrooms of digital technologies and multimedia communication tools, renewed emphasis is being placed on the “hands-on” nature of inventive and productive praxis, necessitating a revision of methods of instruction and assessment that have traditionally privileged the acquisition of conceptual over experiential knowledge. The model of multimodality I construct from Merleau-Ponty’s phenomenology, ancient Sophistic rhetorical pedagogy, and current neuroscientific accounts of situated cognition insists on recognizing the significant role knowledges we acquire experientially play in our reading and writing, speaking and listening, discerning and designing practices.

On Building a Memory Evolutive System for Application to Learning and Cognition Modeling

We address here aspects of the implementation of a memory evolutive system (MES), based on the model proposed by A. Ehresmann and J. Vanbremeersch (2007), by means of a simulated network of spiking neurons with time dependent plasticity. We point out the advantages and challenges of applying category theory for the representation of cognition, by using the MES architecture. Then we discuss the issues concerning the minimum requirements that an artificial neural network (ANN) should fulfill in order that it would be capable of expressing the categories and mappings between them, underlying the MES. We conclude that a pulsed ANN based on Izhikevich`s formal neuron with STDP (spike time-dependent plasticity) has sufficient dynamical properties to achieve these requirements, provided it can cope with the topological requirements. Finally, we present some perspectives of future research concerning the proposed ANN topology.

The flipped-broadcast learning system, application on Azores

On this work we suggest a teaching solution that can be implemented in Azores, an archipelago of nine islands of Portugal, based in already known system of e-learning, with a twist based on the flipped method. Structured in a cooperative way, the organization of the system allows to isolated groups of people to have access to a certain level of teaching, if they cannot have the possibility to have physical presence in school due to problems emerging from territory discontinuity. Our suggestion can be elaborate in a model that can be adapted to any level of education, and can be adapted also in cases that a cut of budget exists. We suggest the name of fb-learning: Flipped Broadcast Learning.

Robust learning in safety-related domains : machine learning methods for solving safety-related application problems

Magdeburg, Univ., Fak. für Informatik, Diss., 2009

Multimodal MRI analysis of structural and functional networks in the human brain : application to two clinical studies : driving abilities under THC intoxication and early white matter changes in FXTAS

Les approches multimodales dans l'imagerie cérébrale non invasive sont de plus en plus considérées comme un outil indispensable pour la compréhension des différents aspects de la structure et de la fonction cérébrale. Grâce aux progrès des techniques d'acquisition des images de Resonance Magnetique et aux nouveaux outils pour le traitement des données, il est désormais possible de mesurer plusieurs paramètres sensibles aux différentes caractéristiques des tissues cérébraux. Ces progrès permettent, par exemple, d'étudier les substrats anatomiques qui sont à la base des processus cognitifs ou de discerner au niveau purement structurel les phénomènes dégénératifs et développementaux. Cette thèse met en évidence l'importance de l'utilisation d'une approche multimodale pour étudier les différents aspects de la dynamique cérébrale grâce à l'application de cette approche à deux études cliniques: l'évaluation structurelle et fonctionnelle des effets aigus du cannabis fumé chez des consommateurs réguliers et occasionnels, et l'évaluation de l'intégrité de la substance grise et blanche chez des jeunes porteurs de la prémutations du gène FMR1 à risque de développer le FXTAS (Fragile-X Tremor Ataxia Syndrome). Nous avons montré que chez les fumeurs occasionnels de cannabis, même à faible concentration du principal composant psychoactif (THC) dans le sang, la performance lors d'une tâche visuo-motrice est fortement diminuée, et qu'il y a des changements dans l'activité des trois réseaux cérébraux impliqués dans les processus cognitifs: le réseau de saillance, le réseau du contrôle exécutif, et le réseau actif par défaut (Default Mode). Les sujets ne sont pas en mesure de saisir les saillances dans l'environnement et de focaliser leur attention sur la tâche. L'augmentation de la réponse hémodynamique dans le cortex cingulaire antérieur suggère une augmentation de l'activité introspective. Une investigation des ef¬fets au niveau cérébral d'une exposition prolongée au cannabis, montre des changements persistants de la substance grise dans les régions associées à la mémoire et au traitement des émotions. Le niveau d'atrophie dans ces structures corrèle avec la consommation de cannabis au cours des trois mois précédant l'étude. Dans la deuxième étude, nous démontrons des altérations structurelles des décennies avant l'apparition du syndrome FXTAS chez des sujets jeunes, asymptomatiques, et porteurs de la prémutation du gène FMR1. Les modifications trouvées peuvent être liées à deux mécanismes différents. Les altérations dans le réseau moteur du cervelet et dans la fimbria de l'hippocampe, suggèrent un effet développemental de la prémutation. Elles incluent aussi une atrophie de la substance grise du lobule VI du cervelet et l'altération des propriétés tissulaires de la substance blanche des projections afférentes correspondantes aux pédoncules cérébelleux moyens. Les lésions diffuses de la substance blanche cérébrale peu¬vent être un marquer précoce du développement de la maladie, car elles sont liées à un phénomène dégénératif qui précède l'apparition des symptômes du FXTAS. - Multimodal brain imaging is becoming a leading tool for understanding different aspects of brain structure and function. Thanks to the advances in Magnetic Resonance imaging (MRI) acquisition schemes and data processing techniques, it is now possible to measure different parameters sensitive to different tissue characteristics. This allows for example to investigate anatomical substrates underlying cognitive processing, or to disentangle, at a pure structural level degeneration and developmental processes. This thesis highlights the importance of using a multimodal approach for investigating different aspects of brain dynamics by applying this approach to two clinical studies: functional and structural assessment of the acute effects of cannabis smoking in regular and occasional users, and grey and white matter assessment in young FMR1 premutation carriers at risk of developing FXTAS. We demonstrate that in occasional smokers cannabis smoking, even at low concentration of the main psychoactive component (THC) in the blood, strongly decrease subjects' performance on a visuo-motor tracking task, and globally alters the activity of the three brain networks involved in cognitive processing: the Salience, the Control Executive, and the Default Mode networks. Subjects are unable to capture saliences in the environment and to orient attention to the task; the increase in Hemodynamic Response in the Anterior Cingulate Cortex suggests an increase in self-oriented mental activity. A further investigation on long term exposure to cannabis, shows a persistent grey matter modification in brain regions associated with memory and affective processing. The degree of atrophy in these structures also correlates with the estimation of drug use in the three months prior the participation to the study. In the second study we demonstrate structural changes in young asymptomatic premutation carriers decades before the onset of FXTAS that might be related to two different mechanisms. Alteration of the cerebellar motor network and of the hippocampal fimbria/ fornix, may reflect a potential neurodevelopmental effect of the premutation. These include grey matter atrophy in lobule VI and modification of white matter tissue property in the corresponding afferent projections through the Middle Cerebellar Peduncles. Diffuse hemispheric white matter lesions that seem to appear closer to the onset of FXTAS and be related to a neurodegenerative phenomenon may mark the imminent onset of FXTAS.

Broadening the CRM domain of application to higher educational (e-learning) environments

In this paper, we reflect about the broadening of the field of application of CRM from the business domain to a wider context of relationships in which the inclusion of non-profit making organizations seems natural. In particular, we focus on analyzing the suitability of adopting CRM processes by universities and higher educational institutions dedicated to e-learning. This is an issue that, in our opinion, has much potential but has received little attention in research so far.

The practical application of e-Portfolio at the Open University of Catalonia : assessment of competence based learning

The paper presents the results of the piloting or pilot test in a virtual classroom. This e-portfolio was carried out in the 2005-2006 academic year, with students of the Doctorate in Information Society, at the Open University of Catalonia. The electronic portfolio is a strategy for competence based assessment. This experience shows the types of e-portfolios, where students show their work without interactions, and apply the competence-based learning theories in an interactive portfolio system. The real process of learning is developed in the competency based system, the portfolio not only is a basic bio document, has become a real space for learning with competence model. The paper brings out new ideas and possibilities: the competence-based learning promotes closer relationships between universities and companies and redesigns the pedagogic act.

Laboratory projects using inquiry-based learning: an application to a practical inorganic course

This paper reports how laboratory projects (LP) coupled to inquiry-based learning (IBL) were implemented in a practical inorganic chemistry course. Several coordination compounds have been successfully synthesised by students according to the proposed topics by the LP-IBL junction, and the chemistry of a number of metals has been studied. Qualitative data were collected from written reports, oral presentations, lab-notebook reviews and personal discussions with the students through an experimental course with undergraduate second-year students at the Universidad Nacional de Colombia during the last 5 years. Positive skills production was observed by combining LP and IBL. Conceptual, practical, interpretational, constructional (questions, explanations, hypotheses), communicational, environmental and application abilities were revealed by the students throughout the experimental course.

Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Technology enhanced learning and augmented reality : an application on multimedia interactive books

Multimedia Interactive Book (miBook) reflects the development of a new concept of virtual interpretation of traditional text books and audio-visual content. By encompassing new technological approaches, using augmented reality technology, allows the final user to experience a variety of sensorial stimuli while enjoying and interacting with the content; therefore enhancing the learning process. miBook stands for a global educational intention to enable people not only to access but also to appropriate intellectually valuable contents coming from different linguistic and cultural contexts.

An experimental base to cognitive learning: its application in the education of young hearing-impaired children

This paper reviews a program of study for language development using a cognitive approach.