Streaming audio e video nei sistemi Peer-To-Peer TV: il caso Sopcast P2PTV

La tesi si propone di affrontare il tema del Live Streaming in sistemi P2P con particolare riferimento a Sopcast, un applicativo di P2PTV. Viene fatto un ricorso storico riguardo alla nascita dello streaming e al suo sviluppo, vengono descritte le caratteristiche, il protocollo di comunicazione e i modelli più diffusi per il live streaming P2P. Inoltre si tratterà come viene garantita la qualità del servizio e valutate le performance di un servizio P2PTV.

Composizione musicale e streaming peer-to-peer con web audio e webrtc

La tesi descrive lo sviluppo di un'applicazione web per comporre musica tramite la tecnica del "live looping" che fornisce anche la possibilità di effettuare lo streaming di ciò che si crea in tempo reale e in maniera peer-to-peer. L'applicazione in oggetto (chiamata WebLooper) fa uso di due tecnologie web emergenti in ambito multimediale: Web Audio e WebRTC, attualmente in attesa di diventare standard W3C.

Modello matematico dell'integrazione audio-visiva e del suo sviluppo in un ambiente multisensoriale

L'integrazione multisensoriale è la capacità da parte del sistema nervoso centrale di integrare informazioni provenienti da diverse sorgenti sensoriali. In particolare, l'integrazione audio-visiva avviene anche nelle cortecce visive e acustiche, in principio ritenute puramente unisensoriali. L'integrazione audio-visiva non è un'abilità innata, ma si sviluppa progressivamente nel tempo sulla base dell'esperienza. In questa Tesi viene presentato un modello matematico di rete neurale in grado di simulare lo sviluppo in un ambiente multisensoriale dei neuroni delle cortecce primarie visive e uditive nei primi mesi di vita di un neonato, e gli effetti dell'integrazione audio-visiva successivi a tale addestramento. In particolare il modello vuole mostrare, a partire da una condizione basale in cui i neuroni visivi e acustici non sono in grado di discriminare spazialmente la posizione degli input esterni e in cui non sussiste alcuna correlazione tra le due aree corticali primarie visive e uditive, come l'addestramento migliori la precisione della percezione spaziale degli stimoli esterni e come si stabiliscano tra le due aree in esame dei collegamenti stabili a lungo termine. Terminato l'addestramento, si verifica se la rete sia in grado di riprodurre gli effetti di integrazione audio-visiva nella corteccia primaria, quali la "cattura" dello stimolo acustico da parte di quello visivo (ventriloquismo) e il rafforzamento della risposta neurale allo stimolo acustico se contemporaneamente accompagnato da uno stimolo visivo nella stessa posizione spaziale (enhancement). Il modello potrebbe essere utilizzato in futuro anche per simulare altri fenomeni illusori come il fenomeno offline del ventriloquismo e il ventriloquismo a livello temporale.

Effetti audio digitali lineari per strumenti elettrici a corda

L’obbiettivo di questa tesi è quello di studiare le tecnologie e i metodi necessari alla simulazione degli effetti audio lineari, normalmente utilizzati per strumenti a corda elettrici, ed implementarla sullo smartphone. I vantaggi di questa idea sono evidenti nella versatilità e nella comodità di utilizzo, rispetto ai classici dispositivi impiegati dai musicisti (come gli effetti a pedali). Per fare ciò è necessaria la conoscenza delle tecniche di rappresentazione digitale di un segnale, come la trasformata di Fourier, il processo di campionamento e la trasformata Z, esposte nel Capitolo 1. Il Capitolo 2 continua l’introduzione trattando dei metodi utilizzati per creare effetti audio lineari tramite lo studio dei filtri FIR e IIR. Nel capitolo 3 sarà disponibile una classificazione degli effetti più utilizzati, seguiti dal procedimento di sviluppo di due sistemi: un equalizzatore a 10 bande e un delay, che saranno implementati nello smartphone. L’ultimo Capitolo, il quarto, spiega come è sviluppato il progetto, perché iOS è l’unico sistema operativo che permetta di farlo, ed indica le principali classi che necessitano di essere utilizzate.

Fenomeni di interazione audio-visiva in soggetti sani e in soggetti autistici: analisi mediante rete neurale

Negli ultimi anni, studi scientifici hanno evidenziato come il nostro sistema nervoso abbia la capacità di combinare e integrare informazioni di diversa natura sensoriale. Una interazione ampiamente studiata è quella audiovisiva. Oggetto principale di questa tesi è un esempio di interazione audiovisiva, ovvero un fenomeno illusorio visivo indotto dal suono che prende il nome “sound-induced flash illusion”: quando una coppia flash+beep è preceduta o seguita - ad una distanza temporale detta Stimulus Onset Asynchorny (SOA) - da un secondo beep, i soggetti spesso riportano la percezione di aver visto due flash. Il fenomeno illusorio tende a svanire al crescere dell’SOA, e si definisce “finestra temporale d’integrazione” l’intervallo di valori di SOA all’interno del quale si verifica l’illusione. Il fenomeno illusorio è presente anche nei soggetti autistici; questi, rispetto ai soggetti sani, presentano una maggiore propensione nel riportare l’illusione e una finestra temporale d’integrazione di durata maggiore. Obiettivo di questo lavoro è stato approfondire questi fenomeni di interazione mediante l’utilizzo di un modello di rete neurale precedentemente sviluppato dal gruppo di Bioingegneria dell’Università di Bologna. Tale modello era in grado di simulare il fenomeno illusorio, ma presentava il limite di non considerare l’intera finestra temporale in cui tale fenomeno si verifica. Un’analisi di sensitività del modello ha individuato quali variazioni dei parametri potessero spiegare l’illusione in un ampio intervallo temporale e interpretare le differenze tra soggetti sani e soggetti autistici. I risultati delle simulazioni hanno evidenziato un soddisfacente accordo con i dati di letteratura. Le analisi svolte possono contribuire a chiarire i meccanismi alla base del fenomeno illusorio e della finestra temporale in cui esso ha luogo e a fare luce sulle possibili alterazioni nelle singole aree cerebrali e nella interazione tra esse che possono interpretare le differenze osservate nei soggetti autistici rispetto ai sani.

Elaborazione di segnali audio per la localizzazione di sorgenti

In questo lavoro viene trattata l'elaborazione di segnali audio per la localizzazione di sorgenti sonore. Di certo gli elementi che concorrono maggiormente nella localizzazione del suono sono le nostre orecchie: esse sono separate dalla testa, che funge da ostacolo acustico. E' importante distinguere se la sorgente si trova davanti agli occhi dell'ascoltatore, ossia nel piano interaurale, o se altrimenti occupa una posizione più o meno laterale. In tali due casi i segnali audio raggiungeranno in modo diverso le due orecchie: avremo rispettivamente che essi, in un caso, raggiungeranno le due orecchie contemporaneamente; nell'altro una delle due orecchie riceverà un segnale ritardato ed attenuato. Tale elaborato si propone di ricreare uno scenario di classe virtuale in cui, attraverso l'utilizzo di MATLAB, vengono riprodotti i vari segnali cercando di fornire la sensazione di un ascolto reale, andando ad operare su di essi.

Implementazione di algoritmi di localizzazione di sorgenti audio

Questo progetto è stato ideato con lo scopo di implementare e simulare un algoritmo di stima della posizione di una sorgente sonora. E' stato scelto di utilizzare MATLAB come strumento di sviluppo. Tutti i dispositivi hardware utilizzati sono compatibili, interfacciabili tra loro ed ampiamente descritti all'interno di questo elaborato.

Investigating human audio-visual object perception with a combination of hypothesis-generating and hypothesis-testing fMRI analysis tools

Primate multisensory object perception involves distributed brain regions. To investigate the network character of these regions of the human brain, we applied data-driven group spatial independent component analysis (ICA) to a functional magnetic resonance imaging (fMRI) data set acquired during a passive audio-visual (AV) experiment with common object stimuli. We labeled three group-level independent component (IC) maps as auditory (A), visual (V), and AV, based on their spatial layouts and activation time courses. The overlap between these IC maps served as definition of a distributed network of multisensory candidate regions including superior temporal, ventral occipito-temporal, posterior parietal and prefrontal regions. During an independent second fMRI experiment, we explicitly tested their involvement in AV integration. Activations in nine out of these twelve regions met the max-criterion (A < AV > V) for multisensory integration. Comparison of this approach with a general linear model-based region-of-interest definition revealed its complementary value for multisensory neuroimaging. In conclusion, we estimated functional networks of uni- and multisensory functional connectivity from one dataset and validated their functional roles in an independent dataset. These findings demonstrate the particular value of ICA for multisensory neuroimaging research and using independent datasets to test hypotheses generated from a data-driven analysis.

Semi-Automated Creation of Converged iTV Services: From Macromedia Director Simulations to Services Ready for Broadcast

While sound and video may capture viewers' attention, interaction can captivate them. This has not been available prior to the advent of Digital Television. In fact, what lies at the heart of the Digital Television revolution is this new type of interactive content, offered in the form of interactive Television (iTV) services. On top of that, the new world of converged networks has created a demand for a new type of converged services on a range of mobile terminals (Tablet PCs, PDAs and mobile phones). This paper aims at presenting a new approach to service creation that allows for the semi-automatic translation of simulations and rapid prototypes created in the accessible desktop multimedia authoring package Macromedia Director into services ready for broadcast. This is achieved by a series of tools that de-skill and speed-up the process of creating digital TV user interfaces (UI) and applications for mobile terminals. The benefits of rapid prototyping are essential for the production of these new types of services, and are therefore discussed in the first section of this paper. In the following sections, an overview of the operation of content, service, creation and management sub-systems is presented, which illustrates why these tools compose an important and integral part of a system responsible of creating, delivering and managing converged broadcast and telecommunications services. The next section examines a number of metadata languages candidates for describing the iTV services user interface and the schema language adopted in this project. A detailed description of the operation of the two tools is provided to offer an insight of how they can be used to de-skill and speed-up the process of creating digital TV user interfaces and applications for mobile terminals. Finally, representative broadcast oriented and telecommunication oriented converged service components are also introduced, demonstrating how these tools have been used to generate different types of services.

3-D Audio in Mobile Communication Devices: Methods for Mobile Head-Tracking

Future generations of mobile communication devices will serve more and more as multimedia platforms capable of reproducing high quality audio. In order to achieve a 3-D sound perception the reproduction quality of audio via headphones can be significantly increased by applying binaural technology. To be independent of individual head-related transfer functions (HRTFs) and to guarantee a good performance for all listeners, an adaptation of the synthesized sound field to the listener's head movements is required. In this article several methods of head-tracking for mobile communication devices are presented and compared. A system for testing the identified methods is set up and experiments are performed to evaluate the prosand cons of each method. The implementation of such a device in a 3-D audio system is described and applications making use of such a system are identified and discussed.