Learning and using taxonomies for visual and olfactory classification

Humans are able of distinguishing more than 5000 visual categories even in complex environments using a variety of different visual systems all working in tandem. We seem to be capable of distinguishing thousands of different odors as well. In the machine learning community, many commonly used multi-class classifiers do not scale well to such large numbers of categories. This thesis demonstrates a method of automatically creating application-specific taxonomies to aid in scaling classification algorithms to more than 100 cate- gories using both visual and olfactory data. The visual data consists of images collected online and pollen slides scanned under a microscope. The olfactory data was acquired by constructing a small portable sniffing apparatus which draws air over 10 carbon black polymer composite sensors. We investigate performance when classifying 256 visual categories, 8 or more species of pollen and 130 olfactory categories sampled from common household items and a standardized scratch-and-sniff test. Taxonomies are employed in a divide-and-conquer classification framework which improves classification time while allowing the end user to trade performance for specificity as needed. Before classification can even take place, the pollen counter and electronic nose must filter out a high volume of background “clutter” to detect the categories of interest. In the case of pollen this is done with an efficient cascade of classifiers that rule out most non-pollen before invoking slower multi-class classifiers. In the case of the electronic nose, much of the extraneous noise encountered in outdoor environments can be filtered using a sniffing strategy which preferentially samples the visensor response at frequencies that are relatively immune to background contributions from ambient water vapor. This combination of efficient background rejection with scalable classification algorithms is tested in detail for three separate projects: 1) the Caltech-256 Image Dataset, 2) the Caltech Automated Pollen Identification and Counting System (CAPICS) and 3) a portable electronic nose specially constructed for outdoor use.

Octopamine neurons mediate flight-induced modulation of visual processing in Drosophila melanogaster

Activity-dependent modulation of sensory systems has been documented in many organisms, and is likely to be essential for appropriate processing of information during different behavioral states. However, the mechanisms underlying these phenomena, and often their functional consequences, remain poorly characterized. I investigated the role of octopamine neurons in the flight-dependent modulation observed in visual interneurons in the fruit fly Drosophila melanogaster. The vertical system (VS) cells exhibit a boost in their response to visual motion during flight compared to quiescence. Pharmacological application of octopamine evokes responses in quiescent flies that mimic those observed during flight, and octopamine neurons that project to the optic lobes increase in activity during flight. Using genetic tools to manipulate the activity of octopamine neurons, I find that they are both necessary and sufficient for the flight-induced visual boost. This work provides the first evidence that endogenous release of octopamine is involved in state-dependent modulation of visual interneurons in flies. Further, I investigated the role of a single pair of octopamine neurons that project to the optic lobes, and found no evidence that chemical synaptic transmission via these neurons is necessary for the flight boost. However, I found some evidence that activation of these neurons may contribute to the flight boost. Wind stimuli alone are sufficient to generate transient increases in the VS cell response to motion vision, but result in no increase in baseline membrane potential. These results suggest that the flight boost originates not from a central command signal during flight, but from mechanosensory stimuli relayed via the octopamine system. Lastly, in an attempt to understand the functional consequences of the flight boost observed in visual interneurons, we measured the effect of inactivating octopamine neurons in freely flying flies. We found that flies whose octopamine neurons we silenced accelerate less than wild-type flies, consistent with the hypothesis that the flight boost we observe in VS cells is indicative of a gain control mechanism mediated by octopamine neurons. Together, this work serves as the basis for a mechanistic and functional understanding of octopaminergic modulation of vision in flying flies.

Social saliency : visual psychophysics and single-neuron recordings in humans

My thesis studies how people pay attention to other people and the environment. How does the brain figure out what is important and what are the neural mechanisms underlying attention? What is special about salient social cues compared to salient non-social cues? In Chapter I, I review social cues that attract attention, with an emphasis on the neurobiology of these social cues. I also review neurological and psychiatric links: the relationship between saliency, the amygdala and autism. The first empirical chapter then begins by noting that people constantly move in the environment. In Chapter II, I study the spatial cues that attract attention during locomotion using a cued speeded discrimination task. I found that when the motion was expansive, attention was attracted towards the singular point of the optic flow (the focus of expansion, FOE) in a sustained fashion. The more ecologically valid the motion features became (e.g., temporal expansion of each object, spatial depth structure implied by distribution of the size of the objects), the stronger the attentional effects. However, compared to inanimate objects and cues, people preferentially attend to animals and faces, a process in which the amygdala is thought to play an important role. To directly compare social cues and non-social cues in the same experiment and investigate the neural structures processing social cues, in Chapter III, I employ a change detection task and test four rare patients with bilateral amygdala lesions. All four amygdala patients showed a normal pattern of reliably faster and more accurate detection of animate stimuli, suggesting that advantageous processing of social cues can be preserved even without the amygdala, a key structure of the “social brain”. People not only attend to faces, but also pay attention to others’ facial emotions and analyze faces in great detail. Humans have a dedicated system for processing faces and the amygdala has long been associated with a key role in recognizing facial emotions. In Chapter IV, I study the neural mechanisms of emotion perception and find that single neurons in the human amygdala are selective for subjective judgment of others’ emotions. Lastly, people typically pay special attention to faces and people, but people with autism spectrum disorders (ASD) might not. To further study social attention and explore possible deficits of social attention in autism, in Chapter V, I employ a visual search task and show that people with ASD have reduced attention, especially social attention, to target-congruent objects in the search array. This deficit cannot be explained by low-level visual properties of the stimuli and is independent of the amygdala, but it is dependent on task demands. Overall, through visual psychophysics with concurrent eye-tracking, my thesis found and analyzed socially salient cues and compared social vs. non-social cues and healthy vs. clinical populations. Neural mechanisms underlying social saliency were elucidated through electrophysiology and lesion studies. I finally propose further research questions based on the findings in my thesis and introduce my follow-up studies and preliminary results beyond the scope of this thesis in the very last section, Future Directions.

Diagnosis of colorectal cancer using Raman spectroscopy of laser-trapped single living epithelial cells

A single-cell diagnostic technique for epithelial cancers is developed by utilizing laser trapping and Raman spectroscopy to differentiate cancerous and normal epithelial cells. Single-cell suspensions were prepared from surgically removed human colorectal tissues following standard primary culture protocols and examined in a near-infrared laser-trapping Raman spectroscopy system, where living epithelial cells were investigated one by one. A diagnostic model was built on the spectral data obtained from 8 patients and validated by the data from 2 new patients. Our technique has potential applications from epithelial cancer diagnosis to the study of cell dynamics of carcinogenesis. (c) 2006 Optical Society of America.

Reprodutibilidade de um índice para diagnóstico e avaliação da atividade de lesões de cárie dentária na dentição decídua

O objetivo do presente estudo clínico é verificar a reprodutibilidade intra e interexaminadores de um critério de diagnóstico de cárie dentária (Nyvad et al. 1999) aplicado na dentição decídua, e avaliar o tempo médio necessário para a realização do exame clínico utilizando o referido critério. O mesmo é baseado na combinação de métodos visuais e táteis e propõe a diferenciação entre lesões ativas e inativas, tanto para lesões cavitadas quanto para não cavitadas. A amostra total consistiu de 80 crianças de três a sete anos de idade, de ambos os sexos, estudantes do Centro Educacional Terra Santa (Petrópolis/ RJ). Os responsáveis assinaram um termo de consentimento livre e esclarecido e o trabalho foi aprovado pelo Comitê de Ética em Pesquisa do HUPE-UERJ. Os exames foram realizados após escovação supervisionada, em consultório odontológico sob iluminação artificial, após 3-5s de secagem com ar comprimido, por dois examinadores treinados pelas autoras do índice e calibrados. As concordâncias intra e interexaminadores foram avaliadas pelo percentual de concordância (%) e pelo teste kappa (k), considerando a superfície dentária como unidade de análise e os seguintes pontos de corte: 1) hígida versus cariada; 2) ativa versus inativa; 3) descontinuidade versus hígida; e 4) cavitada versus hígida. O % e o valor de k para confiabilidade interexaminadores para cada ponto de corte foram: 1) % = 0,97 e k = 0,82 (IC: 0,80 - 0,85); 2) % = 0,98 e k = 0,80 (IC: 0,76 - 0,83); 3) % = 0,99 e k = 0,90 (IC: 0,88 - 0,93); 4) % = 99,0 e k = 0,95 (IC: 0,92 - 0,97). O % e o valor de k para confiabilidade intraexaminador para cada ponto de corte foram: 1) % = 0,98 e k = 0,86 (IC: 0,84 - 0,86); 2) % = 0,99 e k = 0,86 (IC: 0,83 - 0,89); 3) % = 0,99 e k = 0,94 (IC: 0,92 - 0,96); 4) % = 0,99 e k = 0,98 (IC: 0,96 - 0,99). O maior % de discordância (65,3% - 158/242) concentrou-se na diferenciação entre supefícies hígidas e lesões não cavitadas: 33,5% (81/242) entre superfície hígida e lesão não cavitada inativa; 26,0% (63/242), entre superfície hígida e lesão não cavitada ativa; e 5,8% (14/242), entre lesão não cavitada ativa e lesão não cavitada inativa. O tempo necessário para realização do exame clínico foi em média 226,5s (128,53). Conclui-se que o índice apresentou reprodutibilidade variando de substancial à quase perfeita e um tempo de exame viável, mostrando-se consistente e reproduzível para a realização de estudos clínicos de cárie dentária na dentição decídua.

Visual pattern recognition network: Its training algorithm and its optoelectronic architecture

A visual pattern recognition network and its training algorithm are proposed. The network constructed of a one-layer morphology network and a two-layer modified Hamming net. This visual network can implement invariant pattern recognition with respect to image translation and size projection. After supervised learning takes place, the visual network extracts image features and classifies patterns much the same as living beings do. Moreover we set up its optoelectronic architecture for real-time pattern recognition. (C) 1996 Optical Society of America

Região Serrana do Estado do Rio de Janeiro e a expansão dos riscos ambientais, ações preventivas e catástrofes: o caso de Petrópolis

O município de Petrópolis, palco de recorrente de problemas ambientais envolvendo movimentos de massa concentrados historicamente na sua área mais urbanizada, os distritos Sede e Cascatinha, vive nas últimas décadas um crescimento populacional que se orienta basicamente para antigas áreas rurais de Itaipava, Pedro do Rio e Posse. O objetivo geral da pesquisa é investigar como este crescimento vem ocorrendo, analisando as características geológico-geomorfológicas dos novos espaços ocupados, os fatores predisponentes às novas condições de risco envolvendo os movimentos de massa e as inundações. Assim, foi elaborado um panorama sócio-evolutivo do processo de ocupação do solo em Petrópolis, considerando especialmente a dinâmica demográfica registrada nos distritos através dos censos demográficos a partir da década de 1940. Utilizando o geoprocessamento como ferramenta e a classificação visual de segmentação de OrtofotosCarta IBGE na escala 1: 25.000, foram produzidos mapas de uso do solo para o município e distritos detalhando a área ocupada. Com o fim de atender ao diagnóstico das situações de risco foi realizado o levantamento da situação atual da ocorrência dos movimentos de massa e inundações no município, comparando levantamentos anteriores e verificando a distribuição das ocorrências e a população atingida. Por fim, a avaliação da execução da política de desenvolvimento e expansão urbana definida no Plano Diretor de Petrópolis e na Lei de Uso, Parcelamento e Ocupação do Solo, analisando o zoneamento e seus usos (rural, rururbano, urbano e zona de proteção especial) resultando no entendimento de como os aspectos normativos vem sendo tratados, naquilo que são respeitados e naquilo que não são cumpridos na dinâmica da ocupação do espaço, levantando as ações de prevenção, ou não, dos problemas ambientais. Contudo, a definição dos objetivos do trabalho teve dois momentos. O primeiro com a análise da expansão urbana construindo novas condições de risco e o segundo momento, lamentavelmente, aquele no qual as evidências ganharam contorno de realidade com o ocorrido em dezembro de 2010 e em janeiro de 2011, principalmente quando inundações bruscas associadas aos deslizamentos de terra nas encostas atingiram áreas de Petrópolis e de outros municípios da região Serrana do Estado do Rio de Janeiro, certamente, a maior tragédia ambiental ocorrida no Centro-Sul do país até então. Com mais de 900 mortos, centenas de desaparecidos e milhares de desabrigados e desalojados, os eventos suplantaram os objetivos do trabalho, colocando novas questões, ao mesmo tempo em que a realidade demonstrou a coerência e pertinência daqueles objetivos com os problemas apresentados. Assim, dentre os objetivos passou a constar também a verificação in loco das conseqüências de movimentos de massa e inundações nas áreas apontadas anteriormente, como foi o caso do vale do Rio Santo Antônio em Itaipava. O trabalho, assim, se pautou por indicar a necessidade ter-se maior atenção às novas áreas de ocupação no município, considerando a natureza do território, contribuindo como um subsídio na prevenção ao risco.

O ser negro à vista: construção verbo-visual do negro na propaganda impressa

Esta tese destina-se a desenvolver estudo semiótico de propagandas impressas em que a pessoa negra é posta em presença. Investiga-se como a propaganda veiculada em revista, mediante seleção e combinação sígnicas, efetiva a construção da imagem verbo-visual do negro, tendo em vista o produto anunciado e os projetos comunicativos do enunciador e, assim, como finda por ratificar ou (re)elaborar significados sociais acerca desse sujeito. Pautando-se na Semiótica de Charles Sanders Peirce e tendo por suporte, fundamentalmente, a Teoria da Iconicidade Verbal de Simões (2009), a pesquisa aborda todos os signos verbais e não verbais em diálogo, como dotados de potencial icônico, não só revelador dos projetos de texto, como também ativador de interpretações/leituras e, ainda, delineador de sentidos, posteriormente cristalizados e convertidos em significados imanentes aos signos e aos objetos reportados. Por ter, como material constitutivo do corpus, textos elaborados em linguagem mista, a pesquisa propõe a aplicação da Teoria da Iconicidade Verbal ao universo dos signos lato sensu. O debate apresenta o texto de propaganda como excelente material, não só para implementar os estudos de História e Cultura Afro-brasileiras, como prevê a Lei 10.639/03, como também para subsidiar o ensino de língua portuguesa, com ênfase para os estudos sobre leitura e produção textual, para que se forme sujeito dotado de habilidades que lhe permitam reconhecer no verbal e no não verbal a revelação e a geração de sentidos sociais