Moving with Beats and Loops: The Structure of Auditory Events and Sensorimotor Timing

Traditionally, audio-motor timing processes have been understood as motor output from an internal clock, the speed of which is set by heard sound pulses. In contrast, this paper proposes a more ecologically-grounded approach, arguing that audio-motor processes are better characterized as performed actions on the perceived structure of auditory events. This position is explored in the context of auditory sensorimotor synchronization and continuation timing. Empirical research shows that the structure of sounds as auditory events can lead to marked differences in movement timing performance. The nature of these effects is discussed in the context of perceived action-relevance of auditory event structure. It is proposed that different forms of sound invite or support different patterns of sensorimotor timing. Hence, the temporal information in looped auditory signals is more than just the interval durations between onsets: all metronomes are not created equal. The potential implications for auditory guides in motor performance enhancement are also described.

(Dis‑)Harmony in movement: effects of musical dissonance on movement timing and form

While the origins of consonance and dissonance in terms of acoustics, psychoacoustics and physiology have been debated for centuries, their plausible effects on movement synchronization have largely been ignored. The present study aims to address this by investigating whether, and if so how, consonant/dissonant pitch intervals affect the spatiotemporal properties of regular reciprocal aiming movements. We compared movements synchronized either to consonant or to dissonant sounds, and showed that they were differently influenced by the degree of consonance of the sound presented. Interestingly, the difference was present after the sound stimulus was removed. In this case, the performance measured after consonant sound exposure was found to be more stable and accurate, with a higher percentage of information/movement coupling (tau-coupling) and a higher degree of movement circularity when compared to performance measured after the exposure to dissonant sounds. We infer that the neural resonance representing consonant tones leads to finer perception/action coupling which in turn may help explain the prevailing preference for these types of tones.

Performative Book launch of "Soundweaving: Writings on improvisation" (ed. Schroeder) with colleagues from SARC

A whole day event curated by F. Schroeder for the "2014 Sounds Alive Audio Festival, Dublin", included lecture, listening rooms and performance events

Participatory Sonic Arts: towards a socially engaged art of sound in the everyday (The Som da Maré Project)

Participatory and socially engaged art practices have, for a couple of decades, emerged a myriad of aesthetic and methodological strategies across different media. These are artistic practices that have a primary interest in participation, affecting social dynamics, dialogue and at times political activism. Nato Thompson in “Living Form: Socially Engaged Art from 1991-2011” surveys these
practices, which range from theatre to urban planning, visual art to healthcare. Linked to notions such as relational aesthetics (Bourriaud, 1998), community art and public art, socially engaged art often focuses on the development of a sense of ownership by the part of participants. If an artist is working truly collaboratively with participants and addressing the reality of a particular community, the long-term effect of a project lies in the process of engagement as well as in the artwork itself. Projects by New York based artist Pablo Helguera, for example, use different media to engage with social inequalities through participative action while rejecting the notion of art for art sake.

“Socially engaged art functions by attaching itself to subjects and problems that normally belong to other disciplines, moving them temporarily into a space of ambiguity. It is this temporary snatching away of subjects into the realm of art-making that brings new insights to a particular problem or condition and in turn makes it visible to other disciplines.” (Helguera, 2011)

Socially engaged practices develop the notion of artwork about or by a community, to work of a community. In this chapter we address how socially engaged, participatory approaches can form a context for the sonic arts, arguably less explored than practices such as theatre and performance art. The use of sound is clearly present in a wide range of socially engaged work (e.g. Helguera’s “Aelia Media” enabling a nomadic radio station in Bologna or Maria Andueza “Immigrant Sounds – Res(on)Art (Stockholm)” exploring ways of sonically resonating a city, or Sue MacCauley’s “The Housing Project” addressing ways of representing the views of urban dwellers on public scape through sound art. It is nevertheless rare to encounter projects which take our experience of sound in the everyday as a trigger for community social engagement in a participatory context.
We address concepts and methodologies behind the project Som da Maré, a participatory sonic arts project in the favelas of Maré, Rio de Janeiro.

Cidade Museu

Through the concept of sonic resonance, the project Cidade Museu – Museum City explores five derelict or transitional spaces in the city of Viseu. The activation and capture of these spaces develops an audio- visual memory that reflects architectures, stories and experiences, while creating a sense of place through sounds and images.

The project brings together musicians with a background in contemporary music, electroacoustic music and improvisation and a visual artist focusing on photography and video.

Each member of the collective explores the selected spaces in order to activate them with the help of their respective instruments and through sound projection in an iterative process in which the source of activation gradually gives way to the characteristics of each space, their resonances and acoustic characteristics. The museum city (a nickname for the city of Viseu), in this performance, exposes the contrast between the grandeur and multi-faceted architecture of Viseu’s Cathedral with spaces that spread throughout the city waiting for a new future.

The performance in the Cathedral (Sé) is characterised by a trio ensemble, an eight channel sound system and video projecting audio recordings and images made in each of the five spaces. The audience is invited to explore the relations between the various buildings and their stories while being immersed in their resonances and visual projections.

The performance explores the following spaces in Viseu: the old Orfeão (music hall), an old wine cellar, a mansion home to the national road services, a house with its grounds in Rua Silva Gaio and an old slaughterhouse.

Culinary Belfast: Soundscaping Food

The Culinary Belfast project is an exploration of the city's food culture through sound. Field recordings and interviews from the kitchens of the city's top restaurants, St George's market and numerous food outlets make up a collection of sounds that tell the story of a city through food.
"Culinary Belfast :Soundscaping Food" collates some of these recordings into an 8 minute composition exploring, on one hand, the verbal articulation of food sounds by the city's chefs and food vendors and, on the other, the more abstract, close up and microscopic sound qualities of processes like chopping, frying and boiling.

Culinary Belfast is part of the Belfast Soundwalks project (www.belfastsoundwalks.org).

Museum City - Improvisation and the narratives of space

This paper provides four viewpoints on the narratives of space, allowing us to think about possible relations between sites and sounds, reflecting on how places might tell stories, or how practitioners embed themselves in a place in order to shape cultural, social and/or political narratives through the use of sound. I propose four viewpoints that investigate the relationship between sites and sounds, where narratives are shaped and made through the exploration of specific sonic activities. These are:
- sonic activism
- sonic preservation
- sonic participatory action
- sonic narrative of space

I examine each of these ideas in turn before focusing in more detail on the final viewpoint, which provides the context for discussing and analysing a recent site-specific music improvisation project, entitled ‘Museum City’, a work that aligns closely with my proposal for a ‘sonic narrative of space’.
The work ‘Museum City’ by Pedro Rebelo, Franziska Schroeder, Ricardo Jacinto and André Cepeda specifically enables me to reflect on how derelict and/or transitional spaces might be re-examined through the use of sound, particularly through means of live music improvisation. The spaces examined as part ‘Museum City’ constitute either deserted sites or sites about to undergo changes in their architectural layout, their use and sonic make-up. The practice in ‘Museum City’ was born out of a performative engagement with[in] those sites, but specifically out of an intimate listening relationship by three improvisers situated within those spaces.
The theoretical grounding for this paper is situated within a wider context of practising and cognising musical spatiality, as proposed by Georgina Born (2013), particularly her proposition for three distinct lineages that provide an understanding of space in/and music. Born’s third lineage, which links more closely with practices of sound art and challenges a Euclidean orientation of pitch and timbre space, makes way for a heightened consideration of listening and ‘the place’ of sound. This lineage is particularly crucial for my discussion, since it positions music in relation to social experiences and the everyday, which the work ‘Museum City’ endeavoured to embrace.

Sound Art and Spatial Practices: Situating Sound Installation Art Since 1958

This dissertation examines the emergence and development of sound installation art, an under-recognized tradition that has developed between music, architecture, and media art practices since the late 1950s. Unlike many musical works, which are concerned with organizing sounds in time, sound installations organize sounds in space; they thus necessitate new theoretical and analytical models that take into consideration the spatial situated-ness of sound. Existing discourses on “spatial sound” privilege technical descriptions of sound localization. By contrast, this dissertation examines the ways in which concepts of space are socially, culturally, and politically construed, and how spatially-organized sound works reflect and resist these different constructions. Using an interdisciplinary methodology of critical spatial analysis and critical studies in music, this dissertation explores such topics as: conceptions of acoustic space in postwar Western art music, architecture, and media theory; the development of sound installation art in relation to philosophies of everyday life and social space; the historical links between musical performance, conceptual art, and sound sculpture; the body as a site for sound installations; and sonicspatial strategies that confront politics of race and gender. Through these different investigations, this dissertation proposes an “ontopological” model for considering sound: a critical model of analysis and reception that privileges an understanding of sound in relation to ontologies of space and place.

Perceptual learning of acoustic noise generates memory-evoked potentials

Experience continuously imprints on the brain at all stages of life. The traces it leaves behind can produce perceptual learning [1], which drives adaptive behavior to previously encountered stimuli. Recently, it has been shown that even random noise, a type of sound devoid of acoustic structure, can trigger fast and robust perceptual learning after repeated exposure [2]. Here, by combining psychophysics, electroencephalography (EEG), and modeling, we show that the perceptual learning of noise is associated with evoked potentials, without any salient physical discontinuity or obvious acoustic landmark in the sound. Rather, the potentials appeared whenever a memory trace was observed behaviorally. Such memory-evoked potentials were characterized by early latencies and auditory topographies, consistent with a sensory origin. Furthermore, they were generated even on conditions of diverted attention. The EEG waveforms could be modeled as standard evoked responses to auditory events (N1-P2) [3], triggered by idiosyncratic perceptual features acquired through learning. Thus, we argue that the learning of noise is accompanied by the rapid formation of sharp neural selectivity to arbitrary and complex acoustic patterns, within sensory regions. Such a mechanism bridges the gap between the short-term and longer-term plasticity observed in the learning of noise [2, 4-6]. It could also be key to the processing of natural sounds within auditory cortices [7], suggesting that the neural code for sound source identification will be shaped by experience as well as by acoustics.

Fast response to human voices in autism

Individuals with autism spectrum disorders (ASD) are reported to allocate less spontaneous attention to voices. Here, we investigated how vocal sounds are processed in ASD adults, when those sounds are attended. Participants were asked to react as fast as possible to target stimuli (either voices or strings) while ignoring distracting stimuli. Response times (RTs) were measured. Results showed that, similar to neurotypical (NT) adults, ASD adults were faster to recognize voices compared to strings. Surprisingly, ASD adults had even shorter RTs for voices than the NT adults, suggesting a faster voice recognition process. To investigate the acoustic underpinnings of this effect, we created auditory chimeras that retained only the temporal or the spectral features of voices. For the NT group, no RT advantage was found for the chimeras compared to strings: both sets of features had to be present to observe an RT advantage. However, for the ASD group, shorter RTs were observed for both chimeras. These observations indicate that the previously observed attentional deficit to voices in ASD individuals could be due to a failure to combine acoustic features, even though such features may be well represented at a sensory level.

Auditory cueing in Parkinson's patients with freezing of gait. What matters most: action-relevance or cue-continuity?

Gait disturbances are a common feature of Parkinson’s disease, one of the most severe being freezing of gait. Sensory cueing is a common method used to facilitate stepping in people with Parkinson’s. Recent work has shown that, compared to walking to a metronome, Parkinson’s patients without freezing of gait (nFOG) showed reduced gait variability when imitating recorded sounds of footsteps made on gravel. However, it is not known if these benefits are realised through the continuity of the acoustic information or the action-relevance. Furthermore, no study has examined if these benefits extend to PD with freezing of gait. We prepared four different auditory cues (varying in action-relevance and acoustic continuity) and asked 19 Parkinson’s patients (10 nFOG, 9 with freezing of gait (FOG)) to step in place to each cue. Results showed a superiority of action-relevant cues (regardless of cue-continuity) for inducing reductions in Step coefficient of variation (CV). Acoustic continuity was associated with a significant reduction in Swing CV. Neither cue-continuity nor action-relevance was independently sufficient to increase the time spent stepping before freezing. However, combining both attributes in the same cue did yield significant improvements. This study demonstrates the potential of using action-sounds as sensory cues for Parkinson’s patients with freezing of gait. We suggest that the improvements shown might be considered audio-motor ‘priming’ (i.e., listening to the sounds of footsteps will engage sensorimotor circuitry relevant to the production of that same action, thus effectively bypassing the defective basal ganglia).

Do grafema ao gesto : contributos linguísticos para um sistema de síntese de base articulatória

Motivados pelo propósito central de contribuir para a construção, a longo prazo, de um sistema completo de conversão de texto para fala, baseado em síntese articulatória, desenvolvemos um modelo linguístico para o português europeu (PE), com base no sistema TADA (TAsk Dynamic Application), que visou a obtenção automática da trajectória dos articuladores a partir do texto de entrada. A concretização deste objectivo ditou o desenvolvimento de um conjunto de tarefas, nomeadamente 1) a implementação e avaliação de dois sistemas de silabificação automática e de transcrição fonética, tendo em vista a transformação do texto de entrada num formato adequado ao TADA; 2) a criação de um dicionário gestual para os sons do PE, de modo a que cada fone obtido à saída do conversor grafema-fone pudesse ter correspondência com um conjunto de gestos articulatórios adaptados para o PE; 3) a análise do fenómeno da nasalidade à luz dos princípios dinâmicos da Fonologia Articulatória (FA), com base num estudo articulatório e perceptivo. Os dois algoritmos de silabificação automática implementados e testados fizeram apelo a conhecimentos de natureza fonológica sobre a estrutura da sílaba, sendo o primeiro baseado em transdutores de estados finitos e o segundo uma implementação fiel das propostas de Mateus & d'Andrade (2000). O desempenho destes algoritmos – sobretudo do segundo – mostrou-se similar ao de outros sistemas com as mesmas potencialidades. Quanto à conversão grafema-fone, seguimos uma metodologia baseada em regras de reescrita combinada com uma técnica de aprendizagem automática. Os resultados da avaliação deste sistema motivaram a exploração posterior de outros métodos automáticos, procurando também avaliar o impacto da integração de informação silábica nos sistemas. A descrição dinâmica dos sons do PE, ancorada nos princípios teóricos e metodológicos da FA, baseou-se essencialmente na análise de dados de ressonância magnética, a partir dos quais foram realizadas todas as medições, com vista à obtenção de parâmetros articulatórios quantitativos. Foi tentada uma primeira validação das várias configurações gestuais propostas, através de um pequeno teste perceptual, que permitiu identificar os principais problemas subjacentes à proposta gestual. Este trabalho propiciou, pela primeira vez para o PE, o desenvolvimento de um primeiro sistema de conversão de texto para fala, de base articulatória. A descrição dinâmica das vogais nasais contou, quer com os dados de ressonância magnética, para caracterização dos gestos orais, quer com os dados obtidos através de articulografia electromagnética (EMA), para estudo da dinâmica do velo e da sua relação com os restantes articuladores. Para além disso, foi efectuado um teste perceptivo, usando o TADA e o SAPWindows, para avaliar a sensibilidade dos ouvintes portugueses às variações na altura do velo e alterações na coordenação intergestual. Este estudo serviu de base a uma interpretação abstracta (em termos gestuais) das vogais nasais do PE e permitiu também esclarecer aspectos cruciais relacionados com a sua produção e percepção.

Educação para a diversidade e desenvolvimento fonológico na infância

O presente trabalho analisa o papel de uma abordagem plural de sensibilização à diversidade linguística na promoção da consciência fonológica de crianças em idade pré-escolar. Para o efeito, acompanha o percurso de desenvolvimento da consciência fonológica de um grupo de vinte e uma crianças, com idades compreendidas entre os 3 e os 6 anos, que participaram num projeto de sensibilização à diversidade linguística, intitulado «Uma viagem pelo mundo das línguas e dos sons». Abraçando um paradigma misto de investigação, o estudo recorreu a procedimentos quantitativos e qualitativos de recolha e análise de dados: com o objetivo de avaliar o desenvolvimento fonológico das crianças, recolheram-se e analisaram-se estatisticamente dados provenientes de testes de consciência fonológica, que foram aplicados a um grupo experimental e a um grupo de controlo, antes e após a realização do projeto de intervenção; de forma a compreender como se processou o desenvolvimento da consciência fonológica das crianças, foram feitos registos áudio e vídeo das sete sessões do projeto que foram, posteriormente, transcritos e submetidos a uma análise de conteúdo. Os resultados da análise revelam que, ao contrário das crianças do grupo de controlo, as crianças que participaram no projeto de intervenção desenvolveram a sua consciência fonológica de forma significativa, sobretudo no que se refere às capacidades de manipulação e segmentação fonémicas. Esse desenvolvimento foi mais visível em crianças mais velhas (5-6 anos) do que em crianças mais novas (3-4 anos) e parece ter sido promovido pelas atividades de sensibilização à diversidade linguística em que as crianças participaram. Em particular, as atividades de análise e de comparação inter e intralinguística despertaram a curiosidade das crianças em relação ao objeto-língua e estimularam uma vontade para brincar com os sons e com as letras, o que possibilitou o desenvolvimento de uma consciência mais explícita das unidades do oral e a descoberta do princípio alfabético. Estes resultados atestam a importância da integração curricular de abordagens plurais na educação da infância, no âmbito de uma educação global e integrada, capaz de atender às diversidades das crianças, promover atitudes positivas face à alteridade e assegurar o desenvolvimento de competências metalinguísticas, indispensáveis para uma aprendizagem ao longo da vida e para uma participação ativa em sociedades multilingues e multiculturais.

Línguas em Timor-Leste: que gestão escolar do plurilinguismo?

O presente estudo tem por objetivo compreender, no contexto geopolítico de Timor-Leste, quais as imagens, funções e estatutos das línguas que aí circulam e, simultaneamente, percecionar de que modo a Escola gere essa pluralidade linguística. Para o efeito, tivemos em conta as representações/imagens relativamente às línguas, às suas funções e estatutos, não só dos alunos e dos diferentes atores educativos (professores, diretores de escola e formadores do 1.º e 2.º ciclo), mas também aquelas que circulam em contexto social alargado, onde incluímos os intervenientes e os responsáveis pelas políticas educativas e outros elementos da população. Foi deste modo que procurámos perceber de que forma tais representações se influenciam reciprocamente e se refletem na Escola. O estudo realizado foi de cariz etnográfico. Assim, o investigadorobservador, colocado no terreno, foi produzindo um diário do observador e recolhendo informação etnográfica, através da sua convivência com a sociedade timorense (escritos do quotidiano, questionário à polícia, observação de aula, entre outros), auscultando as “vozes” quer dos alunos (por meio de biografias linguísticas e desenhos), quer dos atores educativos (através de biografias linguísticas e entrevistas), quer ainda dos intervenientes nas políticas educativas (com recurso a entrevistas) e de alguns jovens timorenses, recorrendo de novo às entrevistas. Simultaneamente, foi feita uma recolha documental, ao longo de todo o período em que o estudo decorreu, que integrou fontes escritas (documentos oficiais, como sejam os documentos reguladores das políticas linguísticas e os manuais, fontes não oficiais, incluindo documentos vários e testemunhos e fontes estatísticas, como os Censos) e fontes não escritas (imagens e sons registados, estes posteriormente transcritos). Todos estes dados foram classificados em dados primários e secundários, em função da sua relevância para o estudo. Para a sua análise socorremo-nos da análise de conteúdo para as biografias, as entrevistas e os manuais de língua portuguesa, estes no quadro de uma abordagem para a diversidade linguística e cultural, de uma análise documental para os documentos reguladores do Sistema Educativa e outros documentos oficiais relativos às línguas e, finalmente, recorremos a uma análise biográfica (Molinié, 2011) para os desenhos realizados pelos alunos. Os resultados obtidos vieram evidenciar o multilinguismo social e escolar que se vive no país, as imagens e as funções que as línguas desempenham nestes dois contextos, o escolar e o da sociedade alargada, permitindo-nos compreender que a Escola não é apenas um microcosmos dentro da sociedade, mas um espaço de encontro, por vezes de confronto, entre diversas línguas, culturas e identidades. Ela é também espaço onde as questões do plurilinguismo são mais desafiantes na medida em que as línguas não são apenas objeto de ensino aprendizagem, mas desempenham igualmente funções importantes na aquisição dos saberes escolares, na interação social e no desenvolvimento cognitivo dos alunos. Nestes contextos, ocorrem duas situações relevantes, uma é o facto de a Escola ser um lugar onde os repertórios linguísticos plurilingues dos alunos entram em contacto com as línguas de escolarização, o português, o tétum e o malaio indonésio e outra é que saberes escolares e saberes culturais utilizam línguas diferentes, isto é, os primeiros são veiculados em tétum e português, eventualmente em malaio indonésio, mas os saberes culturais são expressos nas línguas autóctones, ameaçadas, porém, por uma crescente expansão do tétum. Contudo, estas línguas criam também espaços privados, identitários e de coesão social dentro da grande cidade que é Díli. São línguas “secretas” e “de defesa.” Por fim, referiremos a urgência para que se tomem medidas no sentido de se criar um consenso sobre a normalização do tétum, que conduza à sua aplicação em contexto educativo e ao seu desenvolvimento funcional, isto é, que leve à planificação do seu estatuto. Visa-se, com este estudo, contribuir para que os atores, acima referidos, possam «repensar» a Escola, em Timor Leste, e, em particular, no que diz respeito à gestão das línguas que nela circulam, através de uma política linguística (educativa) que beneficie o Sistema Educativo, com eventuais repercussões no âmbito do currículo, da produção de materiais e da formação de professores. Face aos resultados obtidos, ainda que consideremos este estudo como parcelar, pelo facto de ter decorrido, sobretudo, na capital timorense, permitimo-nos sugerir a necessidade de esbater fronteiras entre o espaço escolar e as realidades dos alunos, encontrando uma gestão escolar deste plurilinguismo que crie um currículo mais integrador dos saberes linguísticos dos alunos.