Automatic musical instrument recognition for multimedia indexing

Trabalho apresentado no âmbito do Mestrado em Engenharia Informática, como requisito parcial para obtenção do grau de Mestre em Engenharia Informática

Unsupervised automatic music genre classification

Trabalho apresentado no âmbito do Mestrado em Engenharia Informática, como requisito parcial para obtenção do grau de Mestre em Engenharia Informática

Organization and Security of the Audio and Video Archive for Unique Bulgarian Bells

AMS Subj. Classification: H.3.7 Digital Libraries, K.6.5 Security and Protection

A multimedia indexing and retrieval framework for multimedia database systems

The main challenges of multimedia data retrieval lie in the effective mapping between low-level features and high-level concepts, and in the individual users' subjective perceptions of multimedia content. ^ The objectives of this dissertation are to develop an integrated multimedia indexing and retrieval framework with the aim to bridge the gap between semantic concepts and low-level features. To achieve this goal, a set of core techniques have been developed, including image segmentation, content-based image retrieval, object tracking, video indexing, and video event detection. These core techniques are integrated in a systematic way to enable the semantic search for images/videos, and can be tailored to solve the problems in other multimedia related domains. In image retrieval, two new methods of bridging the semantic gap are proposed: (1) for general content-based image retrieval, a stochastic mechanism is utilized to enable the long-term learning of high-level concepts from a set of training data, such as user access frequencies and access patterns of images. (2) In addition to whole-image retrieval, a novel multiple instance learning framework is proposed for object-based image retrieval, by which a user is allowed to more effectively search for images that contain multiple objects of interest. An enhanced image segmentation algorithm is developed to extract the object information from images. This segmentation algorithm is further used in video indexing and retrieval, by which a robust video shot/scene segmentation method is developed based on low-level visual feature comparison, object tracking, and audio analysis. Based on shot boundaries, a novel data mining framework is further proposed to detect events in soccer videos, while fully utilizing the multi-modality features and object information obtained through video shot/scene detection. ^ Another contribution of this dissertation is the potential of the above techniques to be tailored and applied to other multimedia applications. This is demonstrated by their utilization in traffic video surveillance applications. The enhanced image segmentation algorithm, coupled with an adaptive background learning algorithm, improves the performance of vehicle identification. A sophisticated object tracking algorithm is proposed to track individual vehicles, while the spatial and temporal relationships of vehicle objects are modeled by an abstract semantic model. ^

Capturing and indexing rehearsals: the design and usage of a digital archive of performing arts

Preserving the cultural heritage of the performing arts raises difficult and sensitive issues, as each performance is unique by nature and the juxtaposition between the performers and the audience cannot be easily recorded. In this paper, we report on an experimental research project to preserve another aspect of the performing arts—the history of their rehearsals. We have specifically designed non-intrusive video recording and on-site documentation techniques to make this process transparent to the creative crew, and have developed a complete workflow to publish the recorded video data and their corresponding meta-data online as Open Data using state-of-the-art audio and video processing to maximize non-linear navigation and hypervideo linking. The resulting open archive is made publicly available to researchers and amateurs alike and offers a unique account of the inner workings of the worlds of theater and opera.

Capturing and indexing rehearsals: the design and usage of a digital archive of performing arts

Preserving the cultural heritage of the performing arts raises difficult and sensitive issues, as each performance is unique by nature and the juxtaposition between the performers and the audience cannot be easily recorded. In this paper, we report on an experimental research project to preserve another aspect of the performing arts—the history of their rehearsals. We have specifically designed non-intrusive video recording and on-site documentation techniques to make this process transparent to the creative crew, and have developed a complete workflow to publish the recorded video data and their corresponding meta-data online as Open Data using state-of-the-art audio and video processing to maximize non-linear navigation and hypervideo linking. The resulting open archive is made publicly available to researchers and amateurs alike and offers a unique account of the inner workings of the worlds of theater and opera.

Metodo de sincronização de cameras de video utilizando a banda de audio

Universidade Estadual de Campinas . Faculdade de Educação Física

Medidas de audição de pais de indivíduos com deficiência auditiva de herança autossômica recessiva

TEMA: avaliação audiológica de pais de indivíduos com perda auditiva de herança autossômica recessiva. OBJETIVO: estudar o perfil audiológico de pais de indivíduos com perda auditiva, de herança autossômica recessiva, inferida pela história familial ou por testes moleculares que detectaram mutação no gene GJB2, responsável por codificar a Conexina 26. MÉTODO: 36 indivíduos entre 30 e 60 anos foram avaliados e divididos em dois grupos: grupo controle, sem queixas auditivas e sem história familiar de deficiência auditiva, e grupo de estudos composto por pais heterozigotos em relação a genes de surdez de herança autossômica recessiva inespecífica ou portadores heterozigotos de mutação no gene da Conexina 26. Todos foram submetidos à audiometria tonal liminar (0,25kHz a 8), audiometria de altas freqüências (9kHz a 20) e emissões otoacústicas produtos de distorção (EOAPD). RESULTADOS: houve diferenças significativas na amplitude das EOAPD nas freqüências 1001 e 1501Hz entre os grupos, sendo maior a amplitude no grupo controle. Não houve diferença significativa entre os grupos para os limiares tonais de 0,25 a 20KHz. CONCLUSÃO: as EOAPD foram mais eficazes, em comparação com a audiometria tonal liminar, para detectar diferenças auditivas entre os grupos. Mais pesquisas são necessárias para verificar a confiabilidade destes dados.

Fatores relacionados à autopercepção da audição entre idosos do município de São Paulo - Projeto SABE

Este artigo relata a influência de fatores sociodemográficos e de saúde na autopercepção da audição entre os idosos do projeto " Saúde, Bem-Estar e Envelhecimento" (Projeto SABE) no município de São Paulo. O estudo incluiu 2.143 indivíduos de 60 anos e mais. Um modelo de regressão logística ordinal, considerando o desenho da amostra, foi usado na análise multivariável. O aumento da idade; o sexo masculino; morar acompanhado; relatar tontura; memória regular/ ruim e saúde regular ou ruim aumentaram a chance de autopercepção ruim da audição. O conhecimento da autopercepção da audição e dos seus fatores relacionados é importante para avaliar a qualidade de vida dos idosos e a necessidade de reabilitação auditiva

The Use of Latent Semantic Indexing to Mitigate OCR Effects of Related Document Images

Due to both the widespread and multipurpose use of document images and the current availability of a high number of document images repositories, robust information retrieval mechanisms and systems have been increasingly demanded. This paper presents an approach to support the automatic generation of relationships among document images by exploiting Latent Semantic Indexing (LSI) and Optical Character Recognition (OCR). We developed the LinkDI (Linking of Document Images) service, which extracts and indexes document images content, computes its latent semantics, and defines relationships among images as hyperlinks. LinkDI was experimented with document images repositories, and its performance was evaluated by comparing the quality of the relationships created among textual documents as well as among their respective document images. Considering those same document images, we ran further experiments in order to compare the performance of LinkDI when it exploits or not the LSI technique. Experimental results showed that LSI can mitigate the effects of usual OCR misrecognition, which reinforces the feasibility of LinkDI relating OCR output with high degradation.

P300: avaliação eletrofisiológica da audição em crianças sem e com repetência escolar

OBJETIVO: Esta pesquisa foi realizada com o objetivo de comparar os valores da latência do P300 em crianças de 8 a 13 anos de idade, do sexo feminino e do sexo masculino, sem e com repetência escolar. FORMA DE ESTUDO: Estudo clínico com coorte transversal. MATERIAL E MÉTODO: Foram examinadas 60 crianças sem repetência e 43 crianças com repetência escolar. Todas as crianças foram submetidas à anamnese, audiometria tonal liminar, curva timpanométrica, reflexos auditivos contralaterais e o P300. RESULTADOS E CONCLUSÕES: Ao final desta pesquisa, concluiu-se que as crianças do grupo sem repetência escolar apresentaram valor da média aritmética da latência do P300 menor (332,25 ms), comparando-se ao grupo de crianças com repetência escolar (413,23 ms). As crianças do sexo feminino sem repetência escolar apresentaram valor da média aritmética da latência do P300 menor (328,37 ms), comparando-se às crianças do sexo masculino do mesmo grupo (337,68 ms). No grupo de crianças com repetência escolar, as crianças do sexo feminino também apresentaram valor da média aritmética da latência do P300 menor (387,50 ms), comparando-se às crianças do sexo masculino (423,19 ms). Finalmente, observou-se que os valores das médias aritméticas da latência do P300 apresentaram-se menores nas crianças do sexo feminino (328,37 ms) e do sexo masculino (337,68 ms) sem repetência escolar, comparando-se com os valores das médias aritméticas da latência do P300 nas crianças do sexo feminino (387,50 ms) e do sexo masculino (423,19 ms) com repetência escolar.

Preservação da audição em pacientes submetidos à cirurgia do shwannoma vestibular por acesso retrolabiríntico

A preservação da audição tem se tornado um objetivo na moderna cirurgia do schwannoma vestibular. OBJETIVO: O nosso estudo visa a analisar a audição pós-operatória de pacientes submetidos à cirurgia por acesso retrolabiríntico pressigmoideo. FORMA DE ESTUDO: Estudo de coorte contemporânea transversal. CASUÍSTICA E MÉTODO: Estudamos prospectivamente a audição de 41 pacientes submetidos à cirurgia para exérese de schwannomas vestibulares por acesso retrolabiríntico pressigmoideo entre 1994 e 2004 no Hospital das Clínicas da Universidade de São Paulo. Todos ospacientes apresentavam tumores unilaterais menores que 1.5 cm de diâmetro. Os seguintes parâmetros foram analisados em nosso protocolo: 1- remoção completa do tumor, 2- complicações e dificuldades intra-operatórias, 3- complicações pós-operatórios e 4- avaliação da audição após 90 dias da cirurgia. RESULTADOS: Total exposição do meato acústico interno com conseqüente remoção completa do tumor foi possível na maioria dos casos. Em apenas seis pacientes modificamos o acesso para um translabiríntico clássico no decorrer da cirurgia pela necessidade de ampliar o acesso ao fundo do meato. A audição foi preservada nos mesmos níveis anteriores à cirurgia em 34.1% dos casos. Nesta série nenhuma complicação severa ocorreu. CONCLUSÃO: O acesso retrolabiríntico pressigmoideo é seguro em relação ao nervo facial, possibilita a preservação da audição e apresenta pouca morbidade. Tem a grande vantagem de ser facilmente transformado em translabiríntico clássico quando maior exposição for necessária.

Fatores clínicos, etiológicos e evolutivos da audição na surdez súbita

Existem várias terapias preconizadas para o tratamento da surdez súbita, algumas apresentam riscos significativos necessitando inclusive de internação hospitalar. OBJETIVO: Este estudo prospectivo analisa aspectos clínicos, etiológicos e evolutivos nos casos de surdez súbita (SS) em pacientes tratados ambulatorialmente com medicação oral. FORMA DE ESTUDO: clínico com coorte transversal. MATERIAL E MÉTODO: 40 pacientes com perda súbita da audição submeteram inicialmente a avaliação clínica otorrinolaringológica, testes audiométricos, análise hematológica e ressonância magnética. Confirmado o diagnóstico de SS, todos os pacientes receberam inicialmente prednisona e pentoxifilina sendo acompanhados por pelo menos um ano. RESULTADO: 45% (n=18) apresentaram normalização dos limiares auditivos, 40% (n=16) apresentaram melhoras auditivas, 15% (n=6) mantiveram os mesmos limiares iniciais. Nove casos (22,5%) apresentaram manifestações clínicas que justificaram a perda auditiva (infecção viral, fatores imunomediados, alterações vasculares e outros), três (7,5%) apresentaram tumores na região do ângulo ponto-cerebelar. A evolução auditiva nestes 12 casos com etiologia presumida não apresentou diferença estatística significante em relação aos 28 casos sem etiologia definida. O tratamento clínico instituído nos primeiros sete dias de instalação da perda auditiva, nos pacientes que obtiveram melhora, foi o único parâmetro estatisticamente significante dos fatores prognóstico avaliado. CONCLUSÃO: A pesquisa exaustiva etiológica deve ser realizada em qualquer caso de perda auditiva neurossensorial aguda. A presença de 7,5% de tumores localizados na região do ângulo ponto-cerebelar nos casos de SS juntamente com outras causas tratáveis justifica a investigação clínica nestes pacientes. Nossos pacientes apresentaram uma boa melhora auditiva em 67,5% dos casos, independentemente da etiologia. O início da terapia nos primeiros sete dias de instalação da perda auditiva foi o único fator de melhora significante dos limiares auditivos.