Gesture interaction in music for instruments and electroacoustic sounds

Esta tese apresenta alguns aspectos em como o fenómeno do gesto musical pode ser compreendido na percepção da interação musical na música para instrumentos e sons electroacústicos. Através de exemplos de análise, classificação e categorização de diferentes relacões gestuais entre instrumentos e sons electroacústicos, pretende-se estabelecer modelos específicos de interacção que podem ser aplicados como método analítico assim como na composição musical. A pesquisa parte de uma variedade de definições sobre gesto musical na música em geral, na música contemporânea e na música electroacústica em particular, para subsequentemente incluir as relações entre dois eventos sonoros com características diferentes - o electroacústico e o instrumental. São essencialmente abordadas as relações entre gestos musicais através da análise de diversas características: altura, ritmo, timbre, dinâmica, características contrapontísticas, espectromorfológicas, semânticas e espaciais. O resultado da pesquisa teórica serviu de suporte à composição de diversas obras, onde estes aspectos são explorados sob o ponto de vista da criação musical.

Spatial hearing and sound perception in musical composition

This thesis explores the possibilities of spatial hearing in relation to sound perception, and presents three acousmatic compositions based on a musical aesthetic that emphasizes this relation in musical discourse. The first important characteristic of these compositions is the exclusive use of sine waves and other time invariant sound signals. Even though these types of sound signals present no variations in time, it is possible to perceive pitch, loudness, and tone color variations as soon as they move in space due to acoustic processes involved in spatial hearing. To emphasize the perception of such variations, this thesis proposes to divide a tone in multiple sound units and spread them in space using several loudspeakers arranged around the listener. In addition to the perception of sound attribute variations, it is also possible to create rhythm and texture variations that depend on how sound units are arranged in space. This strategy permits to overcome the so called "sound surrogacy" implicit in acousmatic music, as it is possible to establish cause-effect relations between sound movement and the perception of sound attribute, rhythm, and texture variations. Another important consequence of using sound fragmentation together with sound spatialization is the possibility to produce diffuse sound fields independently from the levels of reverberation of the room, and to create sound spaces with a certain spatial depth without using any kind of artificial sound delay or reverberation.

Interacção entre estruturas intervalares e estruturas espectrais, na música instrumental/vocal

A presente tese apresenta-se num formato bipartido, sendo a primeira parte uma investigação teórica e a segunda parte um conjunto de composições originais que procuram estabelecer, directa e indirectamente, uma relação com a temática investigada. A investigação incide sobre as diferentes relações que se podem estabelecer entre estruturas intervalares e estruturas espectrais, a partir de um conjunto representativo de obras de diferentes compositores. As obras originais da segunda parte configuram um objecto final de análise e reflexão. As composições que integram a segunda parte da tese são: Inês – sete miniaturas sobre A Castro, para soprano e orquestra, sobre excertos de “Castro”, de António Ferreira; Um sino contra o tempo, para flauta, clarinete, percussão e piano; Terra, para orquestra de cordas; Dor e Amor, para voz, flauta, clarinete, percussão, harpa, piano, violino, viola e violoncelo, sobre poemas de Nuno Júdice; e Ode a Gaia, para soprano solo, coro misto e electrónica, a partir de textos de diversos autores e épocas, desde Homero a Fernando Pessoa. Esta investigação surge a partir da convicção de que é possível e enriquecedor para a composição a coexistência e o estabelecimento de uma relação entre estruturas que valorizam as qualidades dos intervalos que as constituem e estruturas de tipo espectral. Se o pensamento intervalar pode ser relacionado com princípios de estruturação ligados a toda uma tradição musical, desde a música modal, à tonal e à atonal, o pensamento espectral relaciona-se com o estudo do fenómeno sonoro e do timbre e é integrado mais tardiamente no séc. XX como um possível modelo estruturante na composição. A investigação sobre as obras seleccionadas, sobretudo de compositores que colocam o fenómeno da percepção num plano central, procura diferentes interacções entre os dois tipos de estrutura, interrogando-se sobre em que medida é que essa interacção influencia ou é mesmo determinante para o resultado musical final. São analisadas diferentes aplicações, tais como: a procura de qualidades acústicas na criação de estruturas intervalares, a criação de timbres particulares para linhas estruturantes, a manipulação tímbrica de estruturas verticais, a inter-relação de camadas intervalares e espectrais na textura musical de forma sincrónica e diacrónica, e o surgimento de material intervalar a partir de estruturas espectrais. Os principais resultados passam pela confirmação de que o pensamento intervalar é compatível com o pensamento espectral e vice-versa, podendo-se concluir que são essenciais diferentes funções para os dois tipos de estrutura na textura musical e que quer as estruturas intervalares quer as espectrais se relacionam com diferentes aspectos da percepção, tendo, assim, uma influência determinante no resultado musical final, na eficácia da escuta e na sua fruição.

A performance do silêncio na música contemporânea para oboé

O presente estudo tem como objectivo entender todo o universo anexo à performance do silêncio na música clássica contemporânea. Numa nova perspectiva: o estudo do impacto da ansiedade num músico que se observa e que observa a sua interação com o contexto artístico que o rodeia, são estudadas todas as variáveis com influência directa no acto de percepção e gestão dos momentos de ausência de som. Tendo por base os princípios da investigação qualitativa foi criado um modelo teórico de análise na área dos estudos em performance. Este modelo foi aplicado em dois recitais realizados na Universidade de Aveiro e num concerto do Remix Ensemble da Casa da Música do Porto. O uso de ferramentas de pesquisa: O teste do Cortisol e o uso do colete Vitaljacket®, permitiu observar comportamentos fisiológicos no performer e no público nunca antes relatados. Os principais resultados desta investigação permitem aferir a elevada complexidade do fenómeno perceptivo e performativo do silêncio na música contemporânea. A pesquisa realizada permitiu observar que o silêncio na música contemporânea acontece num contexto de elevada ambiguidade semântica e que a duração dada a este num concerto, está directamente dependente do quadro fisiológico observado no performer no momento do concerto. Foi ainda possível aferir que a repetição, numa data posterior, de um mesmo programa de concerto provoca uma acentuada descida dos níveis de ansiedade no performer e essa descida altera a forma como este gere, em concerto, os momentos de silêncio. As conclusões alcançadas em sede de investigação reforçam a pertinência deste estudo. São postas à prova concepções altamente empíricas sobre a performance dos silêncios em música contemporânea. As asserções formuladas têm impacto a nível pedagógico e didático. São apontadas direcções de investigação futura no sentido da valorização do estudo da gestão dos momentos de silêncio em performance.

Grounding human vocabulary in robot perception through interaction

This thesis addresses the problem of word learning in computational agents. The motivation behind this work lies in the need to support language-based communication between service robots and their human users, as well as grounded reasoning using symbols relevant for the assigned tasks. The research focuses on the problem of grounding human vocabulary in robotic agent’s sensori-motor perception. Words have to be grounded in bodily experiences, which emphasizes the role of appropriate embodiments. On the other hand, language is a cultural product created and acquired through social interactions. This emphasizes the role of society as a source of linguistic input. Taking these aspects into account, an experimental scenario is set up where a human instructor teaches a robotic agent the names of the objects present in a visually shared environment. The agent grounds the names of these objects in visual perception. Word learning is an open-ended problem. Therefore, the learning architecture of the agent will have to be able to acquire words and categories in an openended manner. In this work, four learning architectures were designed that can be used by robotic agents for long-term and open-ended word and category acquisition. The learning methods used in these architectures are designed for incrementally scaling-up to larger sets of words and categories. A novel experimental evaluation methodology, that takes into account the openended nature of word learning, is proposed and applied. This methodology is based on the realization that a robot’s vocabulary will be limited by its discriminatory capacity which, in turn, depends on its sensors and perceptual capabilities. An extensive set of systematic experiments, in multiple experimental settings, was carried out to thoroughly evaluate the described learning approaches. The results indicate that all approaches were able to incrementally acquire new words and categories. Although some of the approaches could not scale-up to larger vocabularies, one approach was shown to learn up to 293 categories, with potential for learning many more.

Perception and software architecture for mobile robotics

When developing software for autonomous mobile robots, one has to inevitably tackle some kind of perception. Moreover, when dealing with agents that possess some level of reasoning for executing their actions, there is the need to model the environment and the robot internal state in a way that it represents the scenario in which the robot operates. Inserted in the ATRI group, part of the IEETA research unit at Aveiro University, this work uses two of the projects of the group as test bed, particularly in the scenario of robotic soccer with real robots. With the main objective of developing algorithms for sensor and information fusion that could be used e ectively on these teams, several state of the art approaches were studied, implemented and adapted to each of the robot types. Within the MSL RoboCup team CAMBADA, the main focus was the perception of ball and obstacles, with the creation of models capable of providing extended information so that the reasoning of the robot can be ever more e ective. To achieve it, several methodologies were analyzed, implemented, compared and improved. Concerning the ball, an analysis of ltering methodologies for stabilization of its position and estimation of its velocity was performed. Also, with the goal keeper in mind, work has been done to provide it with information of aerial balls. As for obstacles, a new de nition of the way they are perceived by the vision and the type of information provided was created, as well as a methodology for identifying which of the obstacles are team mates. Also, a tracking algorithm was developed, which ultimately assigned each of the obstacles a unique identi er. Associated with the improvement of the obstacles perception, a new algorithm of estimating reactive obstacle avoidance was created. In the context of the SPL RoboCup team Portuguese Team, besides the inevitable adaptation of many of the algorithms already developed for sensor and information fusion and considering that it was recently created, the objective was to create a sustainable software architecture that could be the base for future modular development. The software architecture created is based on a series of di erent processes and the means of communication among them. All processes were created or adapted for the new architecture and a base set of roles and behaviors was de ned during this work to achieve a base functional framework. In terms of perception, the main focus was to de ne a projection model and camera pose extraction that could provide information in metric coordinates. The second main objective was to adapt the CAMBADA localization algorithm to work on the NAO robots, considering all the limitations it presents when comparing to the MSL team, especially in terms of computational resources. A set of support tools were developed or improved in order to support the test and development in both teams. In general, the work developed during this thesis improved the performance of the teams during play and also the e ectiveness of the developers team when in development and test phases.