Sound Art and Spatial Practices: Situating Sound Installation Art Since 1958

This dissertation examines the emergence and development of sound installation art, an under-recognized tradition that has developed between music, architecture, and media art practices since the late 1950s. Unlike many musical works, which are concerned with organizing sounds in time, sound installations organize sounds in space; they thus necessitate new theoretical and analytical models that take into consideration the spatial situated-ness of sound. Existing discourses on “spatial sound” privilege technical descriptions of sound localization. By contrast, this dissertation examines the ways in which concepts of space are socially, culturally, and politically construed, and how spatially-organized sound works reflect and resist these different constructions. Using an interdisciplinary methodology of critical spatial analysis and critical studies in music, this dissertation explores such topics as: conceptions of acoustic space in postwar Western art music, architecture, and media theory; the development of sound installation art in relation to philosophies of everyday life and social space; the historical links between musical performance, conceptual art, and sound sculpture; the body as a site for sound installations; and sonicspatial strategies that confront politics of race and gender. Through these different investigations, this dissertation proposes an “ontopological” model for considering sound: a critical model of analysis and reception that privileges an understanding of sound in relation to ontologies of space and place.

Perceptual learning of acoustic noise generates memory-evoked potentials

Experience continuously imprints on the brain at all stages of life. The traces it leaves behind can produce perceptual learning [1], which drives adaptive behavior to previously encountered stimuli. Recently, it has been shown that even random noise, a type of sound devoid of acoustic structure, can trigger fast and robust perceptual learning after repeated exposure [2]. Here, by combining psychophysics, electroencephalography (EEG), and modeling, we show that the perceptual learning of noise is associated with evoked potentials, without any salient physical discontinuity or obvious acoustic landmark in the sound. Rather, the potentials appeared whenever a memory trace was observed behaviorally. Such memory-evoked potentials were characterized by early latencies and auditory topographies, consistent with a sensory origin. Furthermore, they were generated even on conditions of diverted attention. The EEG waveforms could be modeled as standard evoked responses to auditory events (N1-P2) [3], triggered by idiosyncratic perceptual features acquired through learning. Thus, we argue that the learning of noise is accompanied by the rapid formation of sharp neural selectivity to arbitrary and complex acoustic patterns, within sensory regions. Such a mechanism bridges the gap between the short-term and longer-term plasticity observed in the learning of noise [2, 4-6]. It could also be key to the processing of natural sounds within auditory cortices [7], suggesting that the neural code for sound source identification will be shaped by experience as well as by acoustics.

Fast response to human voices in autism

Individuals with autism spectrum disorders (ASD) are reported to allocate less spontaneous attention to voices. Here, we investigated how vocal sounds are processed in ASD adults, when those sounds are attended. Participants were asked to react as fast as possible to target stimuli (either voices or strings) while ignoring distracting stimuli. Response times (RTs) were measured. Results showed that, similar to neurotypical (NT) adults, ASD adults were faster to recognize voices compared to strings. Surprisingly, ASD adults had even shorter RTs for voices than the NT adults, suggesting a faster voice recognition process. To investigate the acoustic underpinnings of this effect, we created auditory chimeras that retained only the temporal or the spectral features of voices. For the NT group, no RT advantage was found for the chimeras compared to strings: both sets of features had to be present to observe an RT advantage. However, for the ASD group, shorter RTs were observed for both chimeras. These observations indicate that the previously observed attentional deficit to voices in ASD individuals could be due to a failure to combine acoustic features, even though such features may be well represented at a sensory level.

Auditory cueing in Parkinson's patients with freezing of gait. What matters most: action-relevance or cue-continuity?

Gait disturbances are a common feature of Parkinson’s disease, one of the most severe being freezing of gait. Sensory cueing is a common method used to facilitate stepping in people with Parkinson’s. Recent work has shown that, compared to walking to a metronome, Parkinson’s patients without freezing of gait (nFOG) showed reduced gait variability when imitating recorded sounds of footsteps made on gravel. However, it is not known if these benefits are realised through the continuity of the acoustic information or the action-relevance. Furthermore, no study has examined if these benefits extend to PD with freezing of gait. We prepared four different auditory cues (varying in action-relevance and acoustic continuity) and asked 19 Parkinson’s patients (10 nFOG, 9 with freezing of gait (FOG)) to step in place to each cue. Results showed a superiority of action-relevant cues (regardless of cue-continuity) for inducing reductions in Step coefficient of variation (CV). Acoustic continuity was associated with a significant reduction in Swing CV. Neither cue-continuity nor action-relevance was independently sufficient to increase the time spent stepping before freezing. However, combining both attributes in the same cue did yield significant improvements. This study demonstrates the potential of using action-sounds as sensory cues for Parkinson’s patients with freezing of gait. We suggest that the improvements shown might be considered audio-motor ‘priming’ (i.e., listening to the sounds of footsteps will engage sensorimotor circuitry relevant to the production of that same action, thus effectively bypassing the defective basal ganglia).

Um modelo para a interpretação de polifonia renascentista

O presente trabalho é uma interpretação em consort de flautas de um corpo de obras seleccionadas dos manuscritos P-BRd 964 e P-CUG mm 242. Essa interpretação assenta no conceito de que a prática deve ser uma componente fundamental do estudo filológico e que apenas através da prática se pode produzir determinada forma de conhecimento que não é passível de verbalização. A tese divide-se em 6 partes: 1. estudo e transcrição do reportório seleccionado e sua contextualização histórica, social e estilística; 2. estudo sobre a flauta de bisel no Renascimento, com ênfase na tratadística e na análise dos instrumentos originais sobreviventes; 3. resumo da teoria musical do Renascimento que diz respeito à melodia e às categorizações modais e tonais; 4. estudo da prática interpretativa que regula a execução de polifonia em consort de flautas. A quinta parte deste trabalho explica as consequências práticas da aplicação do estudo filológico e a sexta é a interpretação propriamente dita, expressa no formato de um registo discográfico.

Interacção entre estruturas intervalares e estruturas espectrais, na música instrumental/vocal

A presente tese apresenta-se num formato bipartido, sendo a primeira parte uma investigação teórica e a segunda parte um conjunto de composições originais que procuram estabelecer, directa e indirectamente, uma relação com a temática investigada. A investigação incide sobre as diferentes relações que se podem estabelecer entre estruturas intervalares e estruturas espectrais, a partir de um conjunto representativo de obras de diferentes compositores. As obras originais da segunda parte configuram um objecto final de análise e reflexão. As composições que integram a segunda parte da tese são: Inês – sete miniaturas sobre A Castro, para soprano e orquestra, sobre excertos de “Castro”, de António Ferreira; Um sino contra o tempo, para flauta, clarinete, percussão e piano; Terra, para orquestra de cordas; Dor e Amor, para voz, flauta, clarinete, percussão, harpa, piano, violino, viola e violoncelo, sobre poemas de Nuno Júdice; e Ode a Gaia, para soprano solo, coro misto e electrónica, a partir de textos de diversos autores e épocas, desde Homero a Fernando Pessoa. Esta investigação surge a partir da convicção de que é possível e enriquecedor para a composição a coexistência e o estabelecimento de uma relação entre estruturas que valorizam as qualidades dos intervalos que as constituem e estruturas de tipo espectral. Se o pensamento intervalar pode ser relacionado com princípios de estruturação ligados a toda uma tradição musical, desde a música modal, à tonal e à atonal, o pensamento espectral relaciona-se com o estudo do fenómeno sonoro e do timbre e é integrado mais tardiamente no séc. XX como um possível modelo estruturante na composição. A investigação sobre as obras seleccionadas, sobretudo de compositores que colocam o fenómeno da percepção num plano central, procura diferentes interacções entre os dois tipos de estrutura, interrogando-se sobre em que medida é que essa interacção influencia ou é mesmo determinante para o resultado musical final. São analisadas diferentes aplicações, tais como: a procura de qualidades acústicas na criação de estruturas intervalares, a criação de timbres particulares para linhas estruturantes, a manipulação tímbrica de estruturas verticais, a inter-relação de camadas intervalares e espectrais na textura musical de forma sincrónica e diacrónica, e o surgimento de material intervalar a partir de estruturas espectrais. Os principais resultados passam pela confirmação de que o pensamento intervalar é compatível com o pensamento espectral e vice-versa, podendo-se concluir que são essenciais diferentes funções para os dois tipos de estrutura na textura musical e que quer as estruturas intervalares quer as espectrais se relacionam com diferentes aspectos da percepção, tendo, assim, uma influência determinante no resultado musical final, na eficácia da escuta e na sua fruição.

Do grafema ao gesto : contributos linguísticos para um sistema de síntese de base articulatória

Motivados pelo propósito central de contribuir para a construção, a longo prazo, de um sistema completo de conversão de texto para fala, baseado em síntese articulatória, desenvolvemos um modelo linguístico para o português europeu (PE), com base no sistema TADA (TAsk Dynamic Application), que visou a obtenção automática da trajectória dos articuladores a partir do texto de entrada. A concretização deste objectivo ditou o desenvolvimento de um conjunto de tarefas, nomeadamente 1) a implementação e avaliação de dois sistemas de silabificação automática e de transcrição fonética, tendo em vista a transformação do texto de entrada num formato adequado ao TADA; 2) a criação de um dicionário gestual para os sons do PE, de modo a que cada fone obtido à saída do conversor grafema-fone pudesse ter correspondência com um conjunto de gestos articulatórios adaptados para o PE; 3) a análise do fenómeno da nasalidade à luz dos princípios dinâmicos da Fonologia Articulatória (FA), com base num estudo articulatório e perceptivo. Os dois algoritmos de silabificação automática implementados e testados fizeram apelo a conhecimentos de natureza fonológica sobre a estrutura da sílaba, sendo o primeiro baseado em transdutores de estados finitos e o segundo uma implementação fiel das propostas de Mateus & d'Andrade (2000). O desempenho destes algoritmos – sobretudo do segundo – mostrou-se similar ao de outros sistemas com as mesmas potencialidades. Quanto à conversão grafema-fone, seguimos uma metodologia baseada em regras de reescrita combinada com uma técnica de aprendizagem automática. Os resultados da avaliação deste sistema motivaram a exploração posterior de outros métodos automáticos, procurando também avaliar o impacto da integração de informação silábica nos sistemas. A descrição dinâmica dos sons do PE, ancorada nos princípios teóricos e metodológicos da FA, baseou-se essencialmente na análise de dados de ressonância magnética, a partir dos quais foram realizadas todas as medições, com vista à obtenção de parâmetros articulatórios quantitativos. Foi tentada uma primeira validação das várias configurações gestuais propostas, através de um pequeno teste perceptual, que permitiu identificar os principais problemas subjacentes à proposta gestual. Este trabalho propiciou, pela primeira vez para o PE, o desenvolvimento de um primeiro sistema de conversão de texto para fala, de base articulatória. A descrição dinâmica das vogais nasais contou, quer com os dados de ressonância magnética, para caracterização dos gestos orais, quer com os dados obtidos através de articulografia electromagnética (EMA), para estudo da dinâmica do velo e da sua relação com os restantes articuladores. Para além disso, foi efectuado um teste perceptivo, usando o TADA e o SAPWindows, para avaliar a sensibilidade dos ouvintes portugueses às variações na altura do velo e alterações na coordenação intergestual. Este estudo serviu de base a uma interpretação abstracta (em termos gestuais) das vogais nasais do PE e permitiu também esclarecer aspectos cruciais relacionados com a sua produção e percepção.

Educação para a diversidade e desenvolvimento fonológico na infância

O presente trabalho analisa o papel de uma abordagem plural de sensibilização à diversidade linguística na promoção da consciência fonológica de crianças em idade pré-escolar. Para o efeito, acompanha o percurso de desenvolvimento da consciência fonológica de um grupo de vinte e uma crianças, com idades compreendidas entre os 3 e os 6 anos, que participaram num projeto de sensibilização à diversidade linguística, intitulado «Uma viagem pelo mundo das línguas e dos sons». Abraçando um paradigma misto de investigação, o estudo recorreu a procedimentos quantitativos e qualitativos de recolha e análise de dados: com o objetivo de avaliar o desenvolvimento fonológico das crianças, recolheram-se e analisaram-se estatisticamente dados provenientes de testes de consciência fonológica, que foram aplicados a um grupo experimental e a um grupo de controlo, antes e após a realização do projeto de intervenção; de forma a compreender como se processou o desenvolvimento da consciência fonológica das crianças, foram feitos registos áudio e vídeo das sete sessões do projeto que foram, posteriormente, transcritos e submetidos a uma análise de conteúdo. Os resultados da análise revelam que, ao contrário das crianças do grupo de controlo, as crianças que participaram no projeto de intervenção desenvolveram a sua consciência fonológica de forma significativa, sobretudo no que se refere às capacidades de manipulação e segmentação fonémicas. Esse desenvolvimento foi mais visível em crianças mais velhas (5-6 anos) do que em crianças mais novas (3-4 anos) e parece ter sido promovido pelas atividades de sensibilização à diversidade linguística em que as crianças participaram. Em particular, as atividades de análise e de comparação inter e intralinguística despertaram a curiosidade das crianças em relação ao objeto-língua e estimularam uma vontade para brincar com os sons e com as letras, o que possibilitou o desenvolvimento de uma consciência mais explícita das unidades do oral e a descoberta do princípio alfabético. Estes resultados atestam a importância da integração curricular de abordagens plurais na educação da infância, no âmbito de uma educação global e integrada, capaz de atender às diversidades das crianças, promover atitudes positivas face à alteridade e assegurar o desenvolvimento de competências metalinguísticas, indispensáveis para uma aprendizagem ao longo da vida e para uma participação ativa em sociedades multilingues e multiculturais.

Línguas em Timor-Leste: que gestão escolar do plurilinguismo?

O presente estudo tem por objetivo compreender, no contexto geopolítico de Timor-Leste, quais as imagens, funções e estatutos das línguas que aí circulam e, simultaneamente, percecionar de que modo a Escola gere essa pluralidade linguística. Para o efeito, tivemos em conta as representações/imagens relativamente às línguas, às suas funções e estatutos, não só dos alunos e dos diferentes atores educativos (professores, diretores de escola e formadores do 1.º e 2.º ciclo), mas também aquelas que circulam em contexto social alargado, onde incluímos os intervenientes e os responsáveis pelas políticas educativas e outros elementos da população. Foi deste modo que procurámos perceber de que forma tais representações se influenciam reciprocamente e se refletem na Escola. O estudo realizado foi de cariz etnográfico. Assim, o investigadorobservador, colocado no terreno, foi produzindo um diário do observador e recolhendo informação etnográfica, através da sua convivência com a sociedade timorense (escritos do quotidiano, questionário à polícia, observação de aula, entre outros), auscultando as “vozes” quer dos alunos (por meio de biografias linguísticas e desenhos), quer dos atores educativos (através de biografias linguísticas e entrevistas), quer ainda dos intervenientes nas políticas educativas (com recurso a entrevistas) e de alguns jovens timorenses, recorrendo de novo às entrevistas. Simultaneamente, foi feita uma recolha documental, ao longo de todo o período em que o estudo decorreu, que integrou fontes escritas (documentos oficiais, como sejam os documentos reguladores das políticas linguísticas e os manuais, fontes não oficiais, incluindo documentos vários e testemunhos e fontes estatísticas, como os Censos) e fontes não escritas (imagens e sons registados, estes posteriormente transcritos). Todos estes dados foram classificados em dados primários e secundários, em função da sua relevância para o estudo. Para a sua análise socorremo-nos da análise de conteúdo para as biografias, as entrevistas e os manuais de língua portuguesa, estes no quadro de uma abordagem para a diversidade linguística e cultural, de uma análise documental para os documentos reguladores do Sistema Educativa e outros documentos oficiais relativos às línguas e, finalmente, recorremos a uma análise biográfica (Molinié, 2011) para os desenhos realizados pelos alunos. Os resultados obtidos vieram evidenciar o multilinguismo social e escolar que se vive no país, as imagens e as funções que as línguas desempenham nestes dois contextos, o escolar e o da sociedade alargada, permitindo-nos compreender que a Escola não é apenas um microcosmos dentro da sociedade, mas um espaço de encontro, por vezes de confronto, entre diversas línguas, culturas e identidades. Ela é também espaço onde as questões do plurilinguismo são mais desafiantes na medida em que as línguas não são apenas objeto de ensino aprendizagem, mas desempenham igualmente funções importantes na aquisição dos saberes escolares, na interação social e no desenvolvimento cognitivo dos alunos. Nestes contextos, ocorrem duas situações relevantes, uma é o facto de a Escola ser um lugar onde os repertórios linguísticos plurilingues dos alunos entram em contacto com as línguas de escolarização, o português, o tétum e o malaio indonésio e outra é que saberes escolares e saberes culturais utilizam línguas diferentes, isto é, os primeiros são veiculados em tétum e português, eventualmente em malaio indonésio, mas os saberes culturais são expressos nas línguas autóctones, ameaçadas, porém, por uma crescente expansão do tétum. Contudo, estas línguas criam também espaços privados, identitários e de coesão social dentro da grande cidade que é Díli. São línguas “secretas” e “de defesa.” Por fim, referiremos a urgência para que se tomem medidas no sentido de se criar um consenso sobre a normalização do tétum, que conduza à sua aplicação em contexto educativo e ao seu desenvolvimento funcional, isto é, que leve à planificação do seu estatuto. Visa-se, com este estudo, contribuir para que os atores, acima referidos, possam «repensar» a Escola, em Timor Leste, e, em particular, no que diz respeito à gestão das línguas que nela circulam, através de uma política linguística (educativa) que beneficie o Sistema Educativo, com eventuais repercussões no âmbito do currículo, da produção de materiais e da formação de professores. Face aos resultados obtidos, ainda que consideremos este estudo como parcelar, pelo facto de ter decorrido, sobretudo, na capital timorense, permitimo-nos sugerir a necessidade de esbater fronteiras entre o espaço escolar e as realidades dos alunos, encontrando uma gestão escolar deste plurilinguismo que crie um currículo mais integrador dos saberes linguísticos dos alunos.

Ressonância magnética em estudos de produção de fala

Estudar os mecanismos subjacentes à produção de fala é uma tarefa complexa e exigente, requerendo a obtenção de dados mediante a utilização de variadas técnicas, onde se incluem algumas modalidades imagiológicas. De entre estas, a Ressonância Magnética (RM) tem ganho algum destaque, nos últimos anos, posicionando-se como uma das mais promissoras no domínio da produção de fala. Um importante contributo deste trabalho prende-se com a otimização e implementação de protocolos (RM) e proposta de estratégias de processamento de imagem ajustados aos requisitos da produção de fala, em geral, e às especificidades dos diferentes sons. Para além disso, motivados pela escassez de dados para o Português Europeu (PE), constitui-se como objetivo a obtenção de dados articulatórios que permitam complementar informação já existente e clarificar algumas questões relativas à produção dos sons do PE (nomeadamente, consoantes laterais e vogais nasais). Assim, para as consoantes laterais foram obtidas imagens RM (2D e 3D), através de produções sustidas, com recurso a uma sequência Eco de Gradiente (EG) rápida (3D VIBE), no plano sagital, englobando todo o trato vocal. O corpus, adquirido por sete falantes, contemplou diferentes posições silábicas e contextos vocálicos. Para as vogais nasais, foram adquiridas, em três falantes, imagens em tempo real com uma sequência EG - Spoiled (TurboFLASH), nos planos sagital e coronal, obtendo-se uma resolução temporal de 72 ms (14 frames/s). Foi efetuada aquisição sincronizada das imagens com o sinal acústico mediante utilização de um microfone ótico. Para o processamento e análise de imagem foram utilizados vários algoritmos semiautomáticos. O tratamento e análise dos dados permitiu efetuar uma descrição articulatória das consoantes laterais, ancorada em dados qualitativos (e.g., visualizações 3D, comparação de contornos) e quantitativos que incluem áreas, funções de área do trato vocal, extensão e área das passagens laterais, avaliação de efeitos contextuais e posicionais, etc. No que respeita à velarização da lateral alveolar /l/, os resultados apontam para um /l/ velarizado independentemente da sua posição silábica. Relativamente ao /L/, em relação ao qual a informação disponível era escassa, foi possível verificar que a sua articulação é bastante mais anteriorizada do que tradicionalmente descrito e também mais extensa do que a da lateral alveolar. A resolução temporal de 72 ms conseguida com as aquisições de RM em tempo real, revelou-se adequada para o estudo das características dinâmicas das vogais nasais, nomeadamente, aspetos como a duração do gesto velar, gesto oral, coordenação entre gestos, etc. complementando e corroborando resultados, já existentes para o PE, obtidos com recurso a outras técnicas instrumentais. Para além disso, foram obtidos novos dados de produção relevantes para melhor compreensão da nasalidade (variação área nasal/oral no tempo, proporção nasal/oral). Neste estudo, fica patente a versatilidade e potencial da RM para o estudo da produção de fala, com contributos claros e importantes para um melhor conhecimento da articulação do Português, para a evolução de modelos de síntese de voz, de base articulatória, e para aplicação futura em áreas mais clínicas (e.g., perturbações da fala).

Interactions of cetaceans with Spanish and Portuguese fisheries in Atlantic waters : costs, benefits and implications for management

With the aim to provide new insights into operational cetacean-fishery interactions in Atlantic waters, this thesis assesses interactions of cetaceans with Spanish and Portuguese fishing vessels operating in Iberian and South West Atlantic waters. Different opportunistic research methodologies were applied, including an interview survey with fishers (mainly skippers) and onboard observations by fisheries observers and skippers, to describe different types of interactions and to identify potential hotspots for cetacean-fishery interactions and the cetacean species most involved, and to quantify the extent and the consequences of these interactions in terms of benefits and costs for cetaceans and fisheries. In addition, the suitability of different mitigation strategies was evaluated and discussed. The results of this work indicate that cetaceans interact frequently with Spanish and Portuguese fishing vessels, sometimes in a beneficial way (e.g. cetaceans indicate fish schools in purse seine fisheries), but mostly with negative consequences (depredation on catch, gear damage and cetacean bycatch). Significant economic loss and high bycatch rates are, however, only reported for certain fisheries and associated with particular cetacean species. In Galician fisheries, substantial economic loss was reported as a result of bottlenose dolphins damaging artisanal coastal gillnets, while high catch loss may arise from common dolphins scattering fish in purse seine fisheries. High cetacean bycatch mortality arises in trawl fisheries, mainly of common dolphin and particularly during trawling in water depths below 350 m, and in coastal set gillnet fisheries (mainly common and bottlenose dolphins). In large-scale bottom-set longline fisheries in South West Atlantic waters, sperm whales may significantly reduce catch rates through depredation on catch. The high diversity of cetacean-fishery interactions observed in the study area indicates that case-specific management strategies are needed to reduce negative impacts on fisheries and cetaceans. Acoustic deterrent devices (pingers) may be used to prevent small cetaceans from approaching and getting entangled in purse seines and set gillnets, although possible problems include cetacean habituation to the pinger sounds, as well as negative side effects on non-target cetaceans (habitat exclusion) and fisheries target species (reduced catch rates). For sardine and horse mackerel, target species of Iberian Atlantic fisheries, no aversive reaction to pinger sounds was detected during tank experiments conducted in the scope of this thesis. Bycatch in trawls may be reduced by the implementation of time/area restrictions of fishing activity. In addition, the avoidance of fishing areas with high cetacean abundance combined with the minimization of fishery-specific sound cues that possibly attract cetaceans, may also help to decrease interactions. In large-scale bottom-set longline fisheries, cetacean depredation on catch may be reduced by covering hooked fish with net sleeves ("umbrellas") provided that catch rates are not negatively affected by this gear modification. Trap fishing, as an alternative fishing method to bottom-set gillnetting and longlining, also has the potential to reduce cetacean bycatch and depredation, given that fish catch rates are similar to the rates obtained by bottom-set gillnets and longlines, whereas cetacean by-catch is unlikely. Economic incentives, such as the eco-certification of dolphin-safe fishing methods, should be promoted in order to create an additional source of income for fishers negatively affected by interactions with cetaceans, which, in turn, may also increase fishers’ willingness to accept and adopt mitigation measures. Although the opportunistic sampling methods applied in this work have certain restrictions concerning their reliability and precision, the results are consistent with previous studies in the same area. Moreover, they allow for the active participation of fishers that can provide important complementary ecological and technical knowledge required for cetacean management and conservation.

A Spiking Neural Network Model of the Medial Superior Olive using Spike Timing Dependent Plasticity for Sound Localisation

Sound localization can be defined as the ability to identify the position of an input sound source and is considered a powerful aspect of mammalian perception. For low frequency sounds, i.e., in the range 270 Hz-1.5 KHz, the mammalian auditory pathway achieves this by extracting the Interaural Time Difference between sound signals being received by the left and right ear. This processing is performed in a region of the brain known as the Medial Superior Olive (MSO). This paper presents a Spiking Neural Network (SNN) based model of the MSO. The network model is trained using the Spike Timing Dependent Plasticity learning rule using experimentally observed Head Related Transfer Function data in an adult domestic cat. The results presented demonstrate how the proposed SNN model is able to perform sound localization with an accuracy of 91.82% when an error tolerance of +/-10 degrees is used. For angular resolutions down to 2.5 degrees , it will be demonstrated how software based simulations of the model incur significant computation times. The paper thus also addresses preliminary implementation on a Field Programmable Gate Array based hardware platform to accelerate system performance.

Human-Centric Chronographics:Making Historical Time Memorable

A series of experiments is described, evaluating user recall of visualisations of historical chronology. Such visualisations are widely created but have not hitherto been evaluated. Users were tested on their ability to learn a sequence of historical events presented in a virtual environment (VE) fly-through visualisation, compared with the learning of equivalent material in other formats that are sequential but lack the 3D spatial aspect. Memorability is a particularly important function of visualisation in education. The measures used during evaluation are enumerated and discussed. The majority of the experiments reported compared three conditions, one using a virtual environment visualisation with a significant spatial element, one using a serial on-screen presentation in PowerPoint, and one using serial presentation on paper. Some aspects were trialled with groups having contrasting prior experience of computers, in the UK and Ukraine. Evidence suggests that a more complex environment including animations and sounds or music, intended to engage users and reinforce memorability, were in fact distracting. Findings are reported in relation to the age of the participants, suggesting that children at 11–14 years benefit less from, or are even disadvantaged by, VE visualisations when compared with 7–9 year olds or undergraduates. Finally, results suggest that VE visualisations offering a ‘landscape’ of information are more memorable than those based on a linear model. Keywords: timeline, chronographics

Sound Seam

A moving image work based on research with neurologists and audiologists, collectors and archivists. The film gives voice to the idea that every surface, in particular parts of our anatomy, is potentially inscribed with an unheard sound or echoes of voices from the past. The soundtrack’s musical composition is interlaced with a voice-over which draws on Rainer Maria Rilke’s text 'Primal Sound', where he reflects on the possibility of playing the coronal suture of a skull with a phonograph needle. The film uses microscopic photography, scanning electron microscopy, and sounds of otoacoustic emissions to uncover haunting aural bonescapes. The voiceovers too are recorded using old sound technology as a filter - writing and over-writing of wax cylinder to create unexpected scratches, glitches, loops and echoes. Exhibitions: shown as multi-channel sound/film installation AV festival (Newcastle 2010); solo exhibition at Wellcome Collection (London 2010-11); group exhibition ‘Samsung Art+ Prize’ BFI Southbank (London 2012); group exhibition ‘Transcendence’, Gertrude Contemporary, Melbourne (2014); solo exhibition as part of the International Rotterdam Film Festival (2013); group exhibition ‘The Sight of Sound’, Deutsche Bank VIP Lounge, Frieze Art Fair, NY (2012). Screenings: mini-retrospective at the Lincoln Centre, NY, as part of the New York Film Festival (2013); Jarman Award Tour screenings (2012, venues included Whitechapel Gallery, London; FACT, Liverpool; CCA, Glasgow; The Northern Charter in partnership with CIRCA projects; Nottingham Contemporary, Nottingham; Watershed, Bristol; Duke of York Cinema, Brighton), Whitechapel Gallery, London; FACT, Liverpool; CCA, Glasgow; The Northern Charter in partnership with CIRCA projects, Newcastle (special Q&A Aura Satz with Rebecca Shatwell, director of AV festival); Nottingham Contemporary, Nottingham; Watershed, Bristol; Duke of York Cinema, Brighton; Mini-retrospective at Tate Britain (London 2014); Mini-retrospective screening, DIM Cinema, The Cinematheque (Vancouver 2015); Mini-retrospective at Whitechapel Gallery (London 2016). Publications: ‘Sound Seam’ booklet with contributions by Steven Connor and Tom McCarthy (2010).

The smart vision local navigation aid for blind and visually impaired persons

The SmartVision prototype is a small, cheap and easily wearable navigation aid for blind and visually impaired persons. Its functionality addresses global navigation for guiding the user to some destiny, and local navigation for negotiating paths, sidewalks and corridors, with avoidance of static as well as moving obstacles. Local navigation applies to both in- and outdoor situations. In this article we focus on local navigation: the detection of path borders and obstacles in front of the user and just beyond the reach of the white cane, such that the user can be assisted in centering on the path and alerted to looming hazards. Using a stereo camera worn at chest height, a portable computer in a shoulder-strapped pouch or pocket and only one earphone or small speaker, the system is inconspicuous, it is no hindrence while walking with the cane, and it does not block normal surround sounds. The vision algorithms are optimised such that the system can work at a few frames per second.