Detection and Classification of Whale Acoustic Signals

This dissertation focuses on two vital challenges in relation to whale acoustic signals: detection and classification.

In detection, we evaluated the influence of the uncertain ocean environment on the spectrogram-based detector, and derived the likelihood ratio of the proposed Short Time Fourier Transform detector. Experimental results showed that the proposed detector outperforms detectors based on the spectrogram. The proposed detector is more sensitive to environmental changes because it includes phase information.

In classification, our focus is on finding a robust and sparse representation of whale vocalizations. Because whale vocalizations can be modeled as polynomial phase signals, we can represent the whale calls by their polynomial phase coefficients. In this dissertation, we used the Weyl transform to capture chirp rate information, and used a two dimensional feature set to represent whale vocalizations globally. Experimental results showed that our Weyl feature set outperforms chirplet coefficients and MFCC (Mel Frequency Cepstral Coefficients) when applied to our collected data.

Since whale vocalizations can be represented by polynomial phase coefficients, it is plausible that the signals lie on a manifold parameterized by these coefficients. We also studied the intrinsic structure of high dimensional whale data by exploiting its geometry. Experimental results showed that nonlinear mappings such as Laplacian Eigenmap and ISOMAP outperform linear mappings such as PCA and MDS, suggesting that the whale acoustic data is nonlinear.

We also explored deep learning algorithms on whale acoustic data. We built each layer as convolutions with either a PCA filter bank (PCANet) or a DCT filter bank (DCTNet). With the DCT filter bank, each layer has different a time-frequency scale representation, and from this, one can extract different physical information. Experimental results showed that our PCANet and DCTNet achieve high classification rate on the whale vocalization data set. The word error rate of the DCTNet feature is similar to the MFSC in speech recognition tasks, suggesting that the convolutional network is able to reveal acoustic content of speech signals.

Effects of Prenatal and Early Postnatal Exposure to Aversive Stimuli on Fearfulness and Exploratory Behavior in Bobwhite Qauil Neonates (Colinus virginianus)

Neophobia, the fear of novelty, is a behavioral trait found across a number of animal species, including humans. Neophobic individuals perceive novel environments and stimuli to have aversive properties, and exhibit fearful behaviors when presented with non-familiar situations. The present study examined how early life exposure to aversive novel stimuli could reduce neophobia in bobwhite quail chicks. Experiment 1 exposed chicks to a novel auditory tone previously shown to be aversive to naïve chicks (Suarez, 2012) for 24 hours immediately after hatching, then subsequently tested them in the presence of the tone within a novel maze task. Postnatally exposed chicks demonstrated decreased fearfulness compared to naïve chicks, and behaved more similarly to chicks tested in the presence of a known attractive auditory stimulus (a bobwhite maternal assembly call vocalization). Experiment 2 exposed chicks to the novel auditory tone for 24 hours prenatally, then subsequently tested them within a novel maze task. Prenatally exposed chicks showed decreased fearfulness to a similar degree as those postnatally exposed, revealing that both prenatal and postnatal exposure methods are capable of decreasing fear of auditory stimuli. Experiment 3 exposed chicks to a novel visual stimulus for 24 hours postnatally, then subsequently tested them within a novel emergence box / T-maze apparatus. Chicks exposed to the visual stimulus showed decreased fearfulness compared to naïve chicks, thereby demonstrating the utility of this method across sense modalities. Experiment 4 assessed whether early postnatal exposure to one novel stimulus could generalize and serve to decrease fear of novelty when chicks were tested in the presence of markedly different stimuli. By combining the methods of Experiments 1 and 3, this experiment revealed that chicks exposed to one type of stimulus (auditory or visual) demonstrated decreased fear when subsequently tested in the presence of the opposite type of novel stimulus. These results suggest that experience with novel stimuli can moderate the extent to which neophobia will develop during early development.

Acoustic signalling reflects personality in a social mammal

Social interactions among individuals are often mediated through acoustic signals. If acoustic signals are consistent and related to an individual's personality, these consistent individual differences in signalling may be an important driver in social interactions. However, few studies in non-human mammals have investigated the relationship between acoustic signalling and personality. Here we show that acoustic signalling rate is repeatable and strongly related to personality in a highly social mammal, the domestic pig (Sus scrofa domestica). Furthermore, acoustic signalling varied between environments of differing quality, with males from a poor-quality environment having a reduced vocalization rate compared with females and males from an enriched environment. Such differences may be mediated by personality with pigs from a poor-quality environment having more reactive and more extreme personality scores compared with pigs from an enriched environment. Our results add to the evidence that acoustic signalling reflects personality in a non-human mammal. Signals reflecting personalities may have far reaching consequences in shaping the evolution of social behaviours as acoustic communication forms an integral part of animal societies.

Réactions des bébés au chant et à la parole : impacts sur l’attention et l’affect

Les parents à travers le monde chantent et parlent à leurs bébés. Ces deux types de vocalisations aux enfants préverbaux partagent plusieurs similarités de même que des différences, mais leurs conséquences sur les bébés demeurent méconnues. L’objectif de cette thèse était de documenter l’efficacité relative du chant et de la parole à capter l’attention des bébés sur de courtes périodes de temps (Étude 1) ainsi qu’à réguler l’affect des bébés en maintenant un état de satisfaction sur une période de temps prolongée (Étude 2). La première étude a exploré les réactions attentionnelles des bébés exposés à des enregistrements audio non familiers de chant et de parole. Lors de l’expérience 1, des bébés de 4 à 13 mois ont été exposés à de la parole joyeuse s’adressant au bébé (séquences de syllabes) et des berceuses fredonnées par la même femme. Ils ont écouté significativement plus longtemps la parole, qui contenait beaucoup plus de variabilité acoustique et d’expressivité que les berceuses. Dans l’expérience 2, des bébés d’âges comparables n’ont montré aucune écoute différentielle face à une version parlée ou chantée d’une chanson pour enfant turque, les deux versions étant exprimées de façon joyeuse / heureuse. Les bébés de l’expérience 3, ayant entendu la version chantée de la chanson turque ainsi qu’une version parlée de façon affectivement neutre ou s’adressant à l’adulte, ont écouté significativement plus longtemps la version chantée. Dans l’ensemble, la caractéristique vocale joyeuse plutôt que le mode vocal (chanté versus parlé) était le principal déterminant de l’attention du bébé, indépendamment de son âge. Dans la seconde étude, la régulation affective des bébés a été explorée selon l’exposition à des enregistrements audio non familiers de chant ou de parole. Les bébés ont été exposés à du chant ou de la parole jusqu’à ce qu’ils rencontrent un critère d’insatisfaction exprimée dans le visage. Lors de l’expérience 1, des bébés de 7 à 10 mois ont écouté des enregistrements de paroles s’adressant au bébé, de paroles s’adressant à l’adulte ou du chant dans une langue non familière (turque). Les bébés ont écouté le chant près de deux fois plus longtemps que les paroles avant de manifester de l’insatisfaction. Lors de l’expérience 2, des bébés ont été exposés à des enregistrements de paroles ou de chants issus d’interactions naturelles entre la mère et son bébé, dans une langue familière. Comme dans l’expérience 1, le chant s’adressant au bébé était considérablement plus efficace que les paroles pour retarder l’apparition du mécontentement. La construction temporelle du chant, avec notamment son rythme régulier, son tempo stable et ses répétitions, pourrait jouer un rôle important dans la régulation affective, afin de soutenir l’attention, rehausser la familiarité ou promouvoir l’écoute prédictive et l’entraînement. En somme, les études présentées dans cette thèse révèlent, pour la première fois, que le chant est un outil parental puissant, tout aussi efficace que la parole pour capter l’attention et plus efficace que la parole pour maintenir les bébés dans un état paisible. Ces découvertes soulignent l’utilité du chant dans la vie quotidienne et l’utilité potentielle du chant dans des contextes thérapeutiques variés impliquant des bébés.

Zmiany w systemach komunikacji akustycznej ptaków jako bioindykatory zmian w środowisku

Wydział Biologii

Réactions des bébés au chant et à la parole : impacts sur l’attention et l’affect

Les parents à travers le monde chantent et parlent à leurs bébés. Ces deux types de vocalisations aux enfants préverbaux partagent plusieurs similarités de même que des différences, mais leurs conséquences sur les bébés demeurent méconnues. L’objectif de cette thèse était de documenter l’efficacité relative du chant et de la parole à capter l’attention des bébés sur de courtes périodes de temps (Étude 1) ainsi qu’à réguler l’affect des bébés en maintenant un état de satisfaction sur une période de temps prolongée (Étude 2). La première étude a exploré les réactions attentionnelles des bébés exposés à des enregistrements audio non familiers de chant et de parole. Lors de l’expérience 1, des bébés de 4 à 13 mois ont été exposés à de la parole joyeuse s’adressant au bébé (séquences de syllabes) et des berceuses fredonnées par la même femme. Ils ont écouté significativement plus longtemps la parole, qui contenait beaucoup plus de variabilité acoustique et d’expressivité que les berceuses. Dans l’expérience 2, des bébés d’âges comparables n’ont montré aucune écoute différentielle face à une version parlée ou chantée d’une chanson pour enfant turque, les deux versions étant exprimées de façon joyeuse / heureuse. Les bébés de l’expérience 3, ayant entendu la version chantée de la chanson turque ainsi qu’une version parlée de façon affectivement neutre ou s’adressant à l’adulte, ont écouté significativement plus longtemps la version chantée. Dans l’ensemble, la caractéristique vocale joyeuse plutôt que le mode vocal (chanté versus parlé) était le principal déterminant de l’attention du bébé, indépendamment de son âge. Dans la seconde étude, la régulation affective des bébés a été explorée selon l’exposition à des enregistrements audio non familiers de chant ou de parole. Les bébés ont été exposés à du chant ou de la parole jusqu’à ce qu’ils rencontrent un critère d’insatisfaction exprimée dans le visage. Lors de l’expérience 1, des bébés de 7 à 10 mois ont écouté des enregistrements de paroles s’adressant au bébé, de paroles s’adressant à l’adulte ou du chant dans une langue non familière (turque). Les bébés ont écouté le chant près de deux fois plus longtemps que les paroles avant de manifester de l’insatisfaction. Lors de l’expérience 2, des bébés ont été exposés à des enregistrements de paroles ou de chants issus d’interactions naturelles entre la mère et son bébé, dans une langue familière. Comme dans l’expérience 1, le chant s’adressant au bébé était considérablement plus efficace que les paroles pour retarder l’apparition du mécontentement. La construction temporelle du chant, avec notamment son rythme régulier, son tempo stable et ses répétitions, pourrait jouer un rôle important dans la régulation affective, afin de soutenir l’attention, rehausser la familiarité ou promouvoir l’écoute prédictive et l’entraînement. En somme, les études présentées dans cette thèse révèlent, pour la première fois, que le chant est un outil parental puissant, tout aussi efficace que la parole pour capter l’attention et plus efficace que la parole pour maintenir les bébés dans un état paisible. Ces découvertes soulignent l’utilité du chant dans la vie quotidienne et l’utilité potentielle du chant dans des contextes thérapeutiques variés impliquant des bébés.

Call recognition and individual identification of fish vocalizations based on automatic speech recognition: An example with the Lusitanian toadfish

The study of acoustic communication in animals often requires not only the recognition of species specific acoustic signals but also the identification of individual subjects, all in a complex acoustic background. Moreover, when very long recordings are to be analyzed, automatic recognition and identification processes are invaluable tools to extract the relevant biological information. A pattern recognition methodology based on hidden Markov models is presented inspired by successful results obtained in the most widely known and complex acoustical communication signal: human speech. This methodology was applied here for the first time to the detection and recognition of fish acoustic signals, specifically in a stream of round-the-clock recordings of Lusitanian toadfish (Halobatrachus didactylus) in their natural estuarine habitat. The results show that this methodology is able not only to detect the mating sounds (boatwhistles) but also to identify individual male toadfish, reaching an identification rate of ca. 95%. Moreover this method also proved to be a powerful tool to assess signal durations in large data sets. However, the system failed in recognizing other sound types.

Reticence or vigilance at the nest: a cruel bind for the endangered Black-capped Vireo

Breeding birds vocalize to find mates and establish and defend territories, but these same critical communications may also attract predators or brood parasites, placing birds in a cruel bind. Although vigilant birds may better maintain social relationships with mates and neighbors through frequent vocalizations, reticent birds may reduce risk to their nests by being relatively quiet and making infrequent vocalizations. Selection for vocalization patterns that minimize brood parasitism might be particularly strong for birds that are unable to fledge both their own young and the parasite. Temporal plasticity in the frequency of vocalizations near nests, however, may allow birds to balance trade-offs and optimize nest-defense strategies. The Black-capped Vireo (Vireo atricapilla) is an endangered songbird that faces intensive brood parasitism in areas where Brown-headed Cowbirds (Molothrus ater) are present. Vireo nests that produce cowbird fledglings always fail to fledge vireo young. We recorded vocalizations at vireo nests across three nesting stages (building, laying, and early incubation) and three periods of the day (morning, midday, and evening) and compared vocalization frequency with eventual depredation or parasitism fate as well as local cowbird density to test two hypotheses. The predator-attraction hypothesis predicts that predators will be attracted by frequent vocalizations, whereas cowbirds will parasitize nests with relatively quiet parents and less predation risk; thus, vireos will experience trade-offs between reticence and vigilance in mediating specific risks. The parasite-assessment hypothesis predicts that vireos will become more secretive as local cowbird densities increase. Vireo vocalization response to nest predation and parasitism risk interacted with nest stage, and we found little evidence of risk mediation through vocalizations except during the building stage. Vireos, however, did benefit overall by optimizing temporal patterns in vocalizations. Vireo nests were less likely to be depredated or parasitized if males vocalized most during laying and least during the middle of the day. Birds vocalized more during the midday and less during the laying period when local cowbird densities were higher, however, perhaps demonstrating limited plasticity in social communication.

Proposal and Validation of a Scale of Composite Measure Reactivity Score to Characterize the Reactivity in Horses During Handling

This study aimed to identify the parameters related to the expression of the reactivity in horses during handling and based on that proposed and validated a scale of composite measure reactivity score to characterize horse's reactivity. To this end, the first stage (S1) proposed the scale and the second (S2) validated it. In S1, 364 Lusitano horses were evaluated, 188 were adult breeding mares (4–12 years old), and 176 were foals (males/females, aged from 2 months to 2 years). During hooves trimming, vermifuge application, palpation scores were assigned to behaviors of movement, ears and eyes position, breathing, vocalization, and urination. A response parameter called reactivity was attributed to each animal, ranging from score 1 (nonreactive/calm) to score 4 (very reactive/aggressive). The verification of the possible parameters (age, behavior), which explains the response parameter (reactivity), was taken using ordinal proportional odds model. Movement, breathing, ears and eyes position, vocalization, and age appear to explain the reactivity of horses during handling (P < .01). Therefore, based on these parameters, it was possible to propose two scales of composite measure reactivity score: one to characterize the mares and another the foals. On S2, the proposed scale was validated by the simultaneous application of Forced Human Approach Test, another commonly used test to evaluate the reactivity in horses, with a correlation of 0.97 (P < .05). The assessment of the reactivity of horses during handling by a composite measure reactivity score scale is valid, and easy to apply, without disrupting daily routine and override the impact of individual differences.