Movement Sonification: Effects on Motor Learning beyond Rhythmic Adjustments

Motor learning is based on motor perception and emergent perceptual-motor representations. A lot of behavioral research is related to single perceptual modalities but during last two decades the contribution of multimodal perception on motor behavior was discovered more and more. A growing number of studies indicates an enhanced impact of multimodal stimuli on motor perception, motor control and motor learning in terms of better precision and higher reliability of the related actions. Behavioral research is supported by neurophysiological data, revealing that multisensory integration supports motor control and learning. But the overwhelming part of both research lines is dedicated to basic research. Besides research in the domains of music, dance and motor rehabilitation, there is almost no evidence for enhanced effectiveness of multisensory information on learning of gross motor skills. To reduce this gap, movement sonification is used here in applied research on motor learning in sports. Based on the current knowledge on the multimodal organization of the perceptual system, we generate additional real-time movement information being suitable for integration with perceptual feedback streams of visual and proprioceptive modality. With ongoing training, synchronously processed auditory information should be initially integrated into the emerging internal models, enhancing the efficacy of motor learning. This is achieved by a direct mapping of kinematic and dynamic motion parameters to electronic sounds, resulting in continuous auditory and convergent audiovisual or audio-proprioceptive stimulus arrays. In sharp contrast to other approaches using acoustic information as error-feedback in motor learning settings, we try to generate additional movement information suitable for acceleration and enhancement of adequate sensorimotor representations and processible below the level of consciousness. In the experimental setting, participants were asked to learn a closed motor skill (technique acquisition of indoor rowing). One group was treated with visual information and two groups with audiovisual information (sonification vs. natural sounds). For all three groups learning became evident and remained stable. Participants treated with additional movement sonification showed better performance compared to both other groups. Results indicate that movement sonification enhances motor learning of a complex gross motor skill-even exceeding usually expected acoustic rhythmic effects on motor learning.

Impact de la cécité sur le système nociceptif

La vision joue un rôle très important dans la prévention du danger. La douleur a aussi pour fonction de prévenir les lésions corporelles. Nous avons donc testé l’hypothèse qu’une hypersensibilité à la douleur découlerait de la cécité en guise de compensation sensorielle. En effet, une littérature exhaustive indique qu’une plasticité intermodale s’opère chez les non-voyants, ce qui module à la hausse la sensibilité de leurs sens résiduels. De plus, plusieurs études montrent que la douleur peut être modulée par la vision et par une privation visuelle temporaire. Dans une première étude, nous avons mesuré les seuils de détection thermique et les seuils de douleur chez des aveugles de naissance et des voyants à l’aide d’une thermode qui permet de chauffer ou de refroidir la peau. Les participants ont aussi eu à quantifier la douleur perçue en réponse à des stimuli laser CO2 et à répondre à des questionnaires mesurant leur attitude face à des situations douloureuses de la vie quotidienne. Les résultats obtenus montrent que les aveugles congénitaux ont des seuils de douleur plus bas et des rapports de douleur plus élevés que leurs congénères voyants. De plus, les résultats psychométriques indiquent que les non-voyants sont plus attentifs à la douleur. Dans une deuxième étude, nous avons mesuré l’impact de l'expérience visuelle sur la perception de la douleur en répliquant la première étude dans un échantillon d’aveugles tardifs. Les résultats montrent que ces derniers sont en tous points similaires aux voyants quant à leur sensibilité à la douleur. Dans une troisième étude, nous avons testé les capacités de discrimination de température des aveugles congénitaux, car la détection de changements rapides de température est cruciale pour éviter les brûlures. Il s’est avéré que les aveugles de naissance ont une discrimination de température plus fine et qu’ils sont plus sensibles à la sommation spatiale de la chaleur. Dans une quatrième étude, nous avons examiné la contribution des fibres A∂ et C au traitement nociceptif des non-voyants, car ces récepteurs signalent la première et la deuxième douleur, respectivement. Nous avons observé que les aveugles congénitaux détectent plus facilement et répondent plus rapidement aux sensations générées par l’activation des fibres C. Dans une cinquième et dernière étude, nous avons sondé les changements potentiels qu’entrainerait la perte de vision dans la modulation descendante des intrants nociceptifs en mesurant les effets de l’appréhension d’un stimulus nocif sur la perception de la douleur. Les résultats montrent que, contrairement aux voyants, les aveugles congénitaux voient leur douleur exacerbée par l’incertitude face au danger, suggérant ainsi que la modulation centrale de la douleur est facilitée chez ces derniers. En gros, ces travaux indiquent que l’absence d’expérience visuelle, plutôt que la cécité, entraine une hausse de la sensibilité nociceptive, ce qui apporte une autre dimension au modèle d’intégration multi-sensorielle de la vision et de la douleur.

As salas snoezelen para indivíduos com autismo

Dissertação de Mestrado para obtenção do grau de Mestre em Design de Comunicação, apresentada na Universidade de Lisboa - Faculdade de Arquitectura.

Projeção mapeada interativa em discos de vinil : diálogos multissensoriais tecnológicos

Dissertação (mestrado)—Universidade de Brasília, Instituto de Artes, Programa de Pós-Graduação em Arte, 2016.

On making web accessibility more accessible: strategy and tools for social good

The world currently faces a paradox in terms of accessibility for people with disabilities. While digital technologies hold immense potential to improve their quality of life, the majority of web content still exhibits critical accessibility issues. This PhD thesis addresses this challenge by proposing two interconnected research branches. The first introduces a groundbreaking approach to improving web accessibility by rethinking how it is approached, making it more accessible itself. It involves the development of: 1. AX, a declarative framework of web components that enforces the generation of accessible markup by means of static analysis. 2. An innovative accessibility testing and evaluation methodology, which communicates test results by exploiting concepts that developers are already familiar with (visual rendering and mouse operability) to convey the accessibility of a page. This methodology is implemented through the SAHARIAN browser extension. 3. A11A, a categorized and structured collection of curated accessibility resources aimed at facilitating their intended audiences discover and use them. The second branch focuses on unleashing the full potential of digital technologies to improve accessibility in the physical world. The thesis proposes the SCAMP methodology to make scientific artifacts accessible to blind, visually impaired individuals, and the general public. It enhances the natural characteristics of objects, making them more accessible through interactive, multimodal, and multisensory experiences. Additionally, the prototype of \gls{a11yvt}, a system supporting accessible virtual tours, is presented. It provides blind and visually impaired individuals with features necessary to explore unfamiliar indoor environments, while maintaining universal design principles that makes it suitable for usage by the general public. The thesis extensively discusses the theoretical foundations, design, development, and unique characteristics of these innovative tools. Usability tests with the intended target audiences demonstrate the effectiveness of the proposed artifacts, suggesting their potential to significantly improve the current state of accessibility.