Development of a hand-gesture recognition system for human-computer interaction

The aim of this Master Thesis is the analysis, design and development of a robust and reliable Human-Computer Interaction interface, based on visual hand-gesture recognition. The implementation of the required functions is oriented to the simulation of a classical hardware interaction device: the mouse, by recognizing a specific hand-gesture vocabulary in color video sequences. For this purpose, a prototype of a hand-gesture recognition system has been designed and implemented, which is composed of three stages: detection, tracking and recognition. This system is based on machine learning methods and pattern recognition techniques, which have been integrated together with other image processing approaches to get a high recognition accuracy and a low computational cost. Regarding pattern recongition techniques, several algorithms and strategies have been designed and implemented, which are applicable to color images and video sequences. The design of these algorithms has the purpose of extracting spatial and spatio-temporal features from static and dynamic hand gestures, in order to identify them in a robust and reliable way. Finally, a visual database containing the necessary vocabulary of gestures for interacting with the computer has been created.

Migration of vesicular stomatitis virus glycoprotein to the nucleus of infected cells.

A new means of direct visualization of the early events of viral infection by selective fluorescence labeling of viral proteins coupled with digital imaging microscopy is reported. The early phases of viral infection have great importance for understanding viral replication and pathogenesis. Vesicular stomatitis virus, the best-studied rhabdovirus, is composed of an RNA genome of negative sense, five viral proteins, and membrane lipids derived from the host cell. The glycoprotein of vesicular stomatitis virus was labeled with fluorescein isothiocyanate, and the labeled virus was incubated with baby hamster kidney cells. After initiation of infection, the fluorescence of the labeled glycoprotein was first seen inside the cells in endocytic vesicles. The fluorescence progressively migrated to the nucleus of infected cells. After 1 h of infection, the virus glycoprotein was concentrated in the nucleus and could be recovered intact in a preparation of purified nuclei. These results suggest that uncoating of the viral RNA occurs close to the nuclear membrane, which would precede transcription of the leader RNA that enters the nucleus to shut off cellular RNA synthesis and DNA replication.

An apical permeability barrier to NH3/NH4+ in isolated, perfused colonic crypts.

Fermentation of nonabsorbed nutrients in the colon generates high concentrations of NH3/NH4+ in the colonic lumen. NH3 is a small, lipophilic neutral weak base that readily permeates almost all cell membranes, whereas its conjugate weak acid NH4+ generally crosses membranes much more slowly. It is not known how colonocytes maintain intracellular pH in the unusual acid-base environment of the colon, where permeant acid-base products of fermentation exist in high concentration. To address this issue, we hand dissected and perfused single, isolated crypts from rabbit proximal colon, adapting techniques from renal-tubule microperfusion. Crypt perfusion permits control of solutions at the apical (luminal) and basolateral (serosal) surfaces of crypt cells. We assessed apical- vs. basolateral-membrane transport of NH3/NH4+ by using fluorescent dyes and digital imaging to monitor intracellular pH of microvacuolated crypt cells as well as luminal pH. We found that, although the basolateral membranes have normal NH3/NH4+ permeability properties, there is no evidence for transport of either NH3 or NH4+ across the apical borders of these crypt cells. Disaggregating luminal mucus did not increase the transport of NH3/NH4+ across the apical border. We conclude that, compared to the basolateral membrane, the apical border of crypt colonocytes has a very low permeability-area product for NH3/NH4+. This barrier may represent an important adaptation for the survival of crypt cells in the environment of the colon.

Peptide mimicry of the meningococcal group C capsular polysaccharide.

Sequence analysis of the variable regions of the heavy and light chains of the anti-idiotypic antibody 6F9, which mimics the meningococcal group C capsular polysaccharide (MCP), was performed. The immunogenic site on 6F9 responsible for inducing an anti-MCP antibody response was determined by means of sequence and computer model analysis of these data. Complementarity-determining region 3 (CDR3) was found to be unique in that the sequence tract YRY was exposed on the surface. A synthetic peptide spanning the CDR3 domain was synthesized and complexed to proteosomes (meningococcal group B outer membrane protein). Immunizations of BALB/c mice with the peptide-proteosome complex resulted in a significant anti-MCP antibody response. Immunized mice were protected against infection with a lethal dose of Neisseria meningitidis serogroup C.

Expression cloning of dSR-CI, a class C macrophage-specific scavenger receptor from Drosophila melanogaster.

Mammalian class A macrophage-specific scavenger receptors (SR-A) exhibit unusually broad binding specificity for a wide variety of polyanionic ligands. The properties of these receptors suggest that they may be involved in atherosclerosis and host defense. We have previously observed a similar receptor activity in Drosophila melanogaster embryonic macrophages and in the Drosophila macrophage-like Schneider L2 cell line. Expression cloning was used to isolate from L2 cells a cDNA that encodes a third class (class C) of scavenger receptor, Drosophila SR-CI (dSR-CI). dSR-CI expression was restricted to macrophages/hemocytes during embryonic development. When expressed in mammalian cells, dSR-CI exhibited high affinity and saturable binding of 125I-labeled acetylated low density lipoprotein and mediated its chloroquine-dependent, presumably lysosomal, degradation. Although the broad polyanionic ligand-binding specificity of dSR-CI was similar to that of SR-A, their predicted protein sequences are not similar. dSR-CI is a 609-residue type I integral membrane protein containing several well-known sequence motifs, including two complement control protein (CCP) domains and somatomedin B, MAM, and mucin-like domains. Macrophage scavenger receptors apparently mediate important, well-conserved functions and may be pattern-recognition receptors that arose early in the evolution of host-defense mechanisms. Genetic and physiologic analysis of dSR-CI function in Drosophila should provide further insights into the roles played by scavenger receptors in host defense and development.

Investigação de mecanismos genéticos e epigenéticos em distúrbios do crescimento humano

Parcela considerável de pacientes com distúrbios de crescimento não têm a causa de seus quadros clínicos estabelecida, incluindo aproximadamente 50% dos pacientes com diagnóstico clínico de síndrome de Silver−Russell (SRS) e 10-20% dos pacientes com síndrome de Beckwith-Wiedemann (BWS). O objetivo deste estudo foi investigar as causas genéticas e epigenéticas de distúrbios de crescimento, de etiologia desconhecida, numa contribuição para o entendimento de mecanismos que regulam o crescimento. O estudo compreendeu: (1) a investigação de microdesequilíbrios cromossômicos, por aCGH; (2) a análise do perfil de expressão alelo-específica de genes sujeitos a imprinting (IG), por pirossequenciamento (PSQ) ou sequenciamento de Sanger; (3) a investigação do padrão de metilação global em pacientes com restrição de crescimento, utilizando microarray de metilação. A casuística constituiu-se de 41 pacientes não aparentados, com distúrbios de crescimento, de etiologia desconhecida: (1) 25, com hipótese diagnóstica de SRS; (2) seis, com restrição de crescimento intrauterino e peso ao nascimento abaixo do 10º percentil, associados a outros sinais clínicos; (3) sete, com hipótese diagnóstica de BWS; e (4) três, com macrossomia pré-natal ou pós-natal, associada a outros sinais. A investigação de microdesequilíbrios cromossômicos foi realizada em 40 pacientes. Foram detectadas 58 variantes raras em 30/40 pacientes (75%): 40 foram consideradas provavelmente benignas (18 pacientes, 45%), 12, com efeito patogênico desconhecido (11 pacientes, 27,5%), duas, provavelmente patogênicas (um paciente, 2,5%) e quatro, patogênicas (três pacientes, 7,5%). Essas frequências são comparáveis àquelas descritas em estudos que investigaram CNV em grupos de pacientes com distúrbios de crescimento e outras alterações congênitas, incluindo SRS, e mostram a importância da investigação de microdesequilíbrios cromossômicos nesses pacientes. A diversidade dos microdesequilíbrios cromossômicos identificados é reflexo da heterogeneidade clínica das casuísticas. Neste estudo, muitos dos pacientes com hipótese diagnóstica de SRS e BWS apresentavam sinais clínicos atípicos, explicando a ausência neles das alterações (epi)genéticas que causam essas síndromes. A identificação de CNV características de outras síndromes reflete a sobreposição de sinais clínicos com BWS e SRS. A análise do perfil de expressão alelo-específica de IG foi realizada em um subgrupo de 18 pacientes com restrição de crescimento. Trinta IG com função em proliferação celular, crescimento fetal ou neurodesenvolvimento foram inicialmente selecionados. Após seleção de SNP transcritos com alta frequência na população, genotipagem de pacientes, genitores e indivíduos controle, determinação da expressão dos IG em sangue periférico e seu padrão de expressão (mono ou bialélico), 13 IG, expressos no sangue, tiveram a expressão alelo-específica avaliada, sete deles por PSQ e seis por sequenciamento de Sanger. Alterações no perfil de expressão de dois genes, de expressão normalmente paterna, foram detectadas em 4/18 pacientes (22%). Este estudo é o primeiro a utilizar pirossequenciamento e sequenciamento de Sanger na avaliação do perfil de expressão alelo-específica de IG, em pacientes com restrição de crescimento. Apesar de terem limitações, ambas as técnicas mostraram-se robustas e revelaram alterações de expressão alélica interessantes; entretanto, a relação dessas alterações com o quadro clínico dos pacientes permanece por esclarecer. A investigação da metilação global do DNA foi realizada em subgrupo de 21 pacientes com restrição de crescimento e em 24 indivíduos controle. Dois tipos de análise foram realizados: (1) análise diferencial de grupo e (2) análise diferencial individual. Na primeira análise, em que foi comparado o padrão de metilação do grupo de pacientes com quadro clínico sugestivo de SRS (n=16) com o do grupo controle (n=24), não houve indicação de hipo ou hipermetilação global no grupo SRS. Na segunda análise, foi comparado o padrão de metilação de cada um dos 21 pacientes com restrição de crescimento e dos 24 indivíduos controle, com o padrão de metilação do grupo controle. O número médio de CpG hipermetilados e de segmentos diferencialmente metilados (SDM) foi significativamente maior nos pacientes. Foram identificados 82 SDM hipermetilados, estando 57 associados a gene(s) (69,5%), em 16 pacientes, e 51 SDM hipometilados, 41 deles associados a gene(s) (80,4%), em 10 pacientes. A análise de ontologia genética dos 61 genes associados aos SDM hipo ou hipermetilados nos pacientes destacou genes que atuam no desenvolvimento e na morfogênese do sistema esquelético e de órgãos fetais, e na regulação da transcrição gênica e de processos metabólicos. Alterações de metilação em genes que atuam em processos de proliferação e diferenciação celulares e crescimento foram identificadas em 9/20 dos pacientes (45%), sugerindo implicação clínica. Não foi detectada alteração epigenética comum aos pacientes com diagnóstico clínico de SRS, explicável provavelmente pela heterogeneidade clínica. A investigação de metilação global, utilizando microarray, produziu novos dados que podem contribuir para a compreensão de mecanismos moleculares que influenciam o crescimento pré- e pós-natal. Na translocação aparentemente equilibrada - t(5;6)(q35.2;p22.3)dn, detectada em paciente com suspeita clínica de SRS, a interrupção de um gene, pela quebra no cromossomo 6, pode ser a causa do quadro clínico; alternativamente, a translocação pode ter impactado a regulação de genes de desenvolvimento localizados próximos aos pontos de quebra. A análise de expressão em sangue periférico mostrou que os níveis de cDNA do gene, interrompido pelo ponto de quebra da translocação, estavam reduzidos à metade. Além de sinais típicos da SRS, a paciente apresentava algumas características clínicas sugestivas de displasia cleidocraniana. Assim, a translocação t(5;6) pode ter alterado a interação de genes de desenvolvimento e seus elementos reguladores, levando à desregulação de sua expressão espaço-temporal, e resultando num fenótipo atípico, com características sobrepostas de mais de uma síndrome genética

A methodology for improving computed individual regressions predictions.

This research proposes a methodology to improve computed individual prediction values provided by an existing regression model without having to change either its parameters or its architecture. In other words, we are interested in achieving more accurate results by adjusting the calculated regression prediction values, without modifying or rebuilding the original regression model. Our proposition is to adjust the regression prediction values using individual reliability estimates that indicate if a single regression prediction is likely to produce an error considered critical by the user of the regression. The proposed method was tested in three sets of experiments using three different types of data. The first set of experiments worked with synthetically produced data, the second with cross sectional data from the public data source UCI Machine Learning Repository and the third with time series data from ISO-NE (Independent System Operator in New England). The experiments with synthetic data were performed to verify how the method behaves in controlled situations. In this case, the outcomes of the experiments produced superior results with respect to predictions improvement for artificially produced cleaner datasets with progressive worsening with the addition of increased random elements. The experiments with real data extracted from UCI and ISO-NE were done to investigate the applicability of the methodology in the real world. The proposed method was able to improve regression prediction values by about 95% of the experiments with real data.

Aplicação de técnicas inteligentes com análise no domínio do tempo para reconhecimento de defeitos em motores de indução trifásicos

Os motores de indução trifásicos são os principais elementos de conversão de energia elétrica em mecânica motriz aplicados em vários setores produtivos. Identificar um defeito no motor em operação pode fornecer, antes que ele falhe, maior segurança no processo de tomada de decisão sobre a manutenção da máquina, redução de custos e aumento de disponibilidade. Nesta tese são apresentas inicialmente uma revisão bibliográfica e a metodologia geral para a reprodução dos defeitos nos motores e a aplicação da técnica de discretização dos sinais de correntes e tensões no domínio do tempo. É também desenvolvido um estudo comparativo entre métodos de classificação de padrões para a identificação de defeitos nestas máquinas, tais como: Naive Bayes, k-Nearest Neighbor, Support Vector Machine (Sequential Minimal Optimization), Rede Neural Artificial (Perceptron Multicamadas), Repeated Incremental Pruning to Produce Error Reduction e C4.5 Decision Tree. Também aplicou-se o conceito de Sistemas Multiagentes (SMA) para suportar a utilização de múltiplos métodos concorrentes de forma distribuída para reconhecimento de padrões de defeitos em rolamentos defeituosos, quebras nas barras da gaiola de esquilo do rotor e curto-circuito entre as bobinas do enrolamento do estator de motores de indução trifásicos. Complementarmente, algumas estratégias para a definição da severidade dos defeitos supracitados em motores foram exploradas, fazendo inclusive uma averiguação da influência do desequilíbrio de tensão na alimentação da máquina para a determinação destas anomalias. Os dados experimentais foram adquiridos por meio de uma bancada experimental em laboratório com motores de potência de 1 e 2 cv acionados diretamente na rede elétrica, operando em várias condições de desequilíbrio das tensões e variações da carga mecânica aplicada ao eixo do motor.

Uma nova arquitetura para Internet das Coisas com análise e reconhecimento de padrões e processamento com Big Data.

A Internet das Coisas é um novo paradigma de comunicação que estende o mundo virtual (Internet) para o mundo real com a interface e interação entre objetos. Ela possuirá um grande número de dispositivos heteregôneos interconectados, que deverá gerar um grande volume de dados. Um dos importantes desafios para seu desenvolvimento é se guardar e processar esse grande volume de dados em aceitáveis intervalos de tempo. Esta pesquisa endereça esse desafio, com a introdução de serviços de análise e reconhecimento de padrões nas camadas inferiores do modelo de para Internet das Coisas, que procura reduzir o processamento nas camadas superiores. Na pesquisa foram analisados os modelos de referência para Internet das Coisas e plataformas para desenvolvimento de aplicações nesse contexto. A nova arquitetura de implementada estende o LinkSmart Middeware pela introdução de um módulo para reconhecimento de padrões, implementa algoritmos para estimação de valores, detecção de outliers e descoberta de grupos nos dados brutos, oriundos de origens de dados. O novo módulo foi integrado à plataforma para Big Data Hadoop e usa as implementações algorítmicas do framework Mahout. Este trabalho destaca a importância da comunicação cross layer integrada à essa nova arquitetura. Nos experimentos desenvolvidos na pesquisa foram utilizadas bases de dados reais, provenientes do projeto Smart Santander, de modo a validar da nova arquitetura de IoT integrada aos serviços de análise e reconhecimento de padrões e a comunicação cross-layer.

Representation of 2D objects with a topology preserving network

Comunicación presentada en el 2nd International Workshop on Pattern Recognition in Information Systems, Alicante, April, 2002.

Image processing for safety assessment in Civil Engineering

Behaviour analysis of construction safety systems is of fundamental importance to avoid accidental injuries. Traditionally, measurements of dynamic actions in Civil Engineering have been done through accelerometers, but high-speed cameras and image processing techniques can play an important role in this area. Here, we propose using morphological image filtering and Hough transform on high-speed video sequence as tools for dynamic measurements on that field. The presented method is applied to obtain the trajectory and acceleration of a cylindrical ballast falling from a building and trapped by a thread net. Results show that safety recommendations given in construction codes can be potentially dangerous for workers.

In vitro differentiation of murine hematopoietic progenitor cells toward the myeloid lineage occurs in response to Staphylococcus aureus and yeast species

We have studied the effect of inactivated microbial stimuli (Candida albicans, Candida glabrata, Saccharomyces boulardii, and Staphylococcus aureus) on the in vitro differentiation of lineage negative (Lin−) hematopoietic progenitor mouse cells. Purified Lin− progenitors were co-cultured for 7 days with the stimuli, and cell differentiation was determined by flow cytometry analysis. All the stimuli assayed caused differentiation toward the myeloid lineage. S. boulardii and particularly C. glabrata were the stimuli that induced in a minor extent differentiation of Lin− cells, as the major population of differentiated cells corresponded to monocytes, whereas C. albicans and S. aureus induced differentiation beyond monocytes: to monocyte-derived dendritic cells and macrophages, respectively. Interestingly, signaling through TLR2 by its pure ligand Pam3CSK4 directed differentiation of Lin− cells almost exclusively to macrophages. These data support the notion that hematopoiesis can be modulated in response to microbial stimuli in a pathogen-dependent manner, being determined by the pathogen-associated molecular patterns and the pattern-recognition receptors involved, in order to generate the populations of mature cells required to deal with the pathogen.

Corneal Biomechanics, Retinal Nerve Fiber Layer, and Optic Disc in Children

Purpose: To evaluate the possible associations between corneal biomechanical parameters, optic disc morphology, and retinal nerve fiber layer (RNFL) thickness in healthy white Spanish children. Methods: This cross-sectional study included 100 myopic children and 99 emmetropic children as a control group, ranging in age from 6 to 17 years. The Ocular Response Analyzer was used to measure corneal hysteresis (CH) and corneal resistance factor. The optic disc morphology and RNFL thickness were assessed using posterior segment optical coherence tomography (Cirrus HD-OCT). The axial length was measured using an IOLMaster, whereas the central corneal thickness was measured by anterior segment optical coherence tomography (Visante OCT). Results: The mean (±SD) age and spherical equivalent were 12.11 (±2.76) years and −3.32 (±2.32) diopters for the myopic group and 11.88 (±2.97) years and +0.34 (±0.41) diopters for the emmetropic group. In a multivariable mixed-model analysis in myopic children, the average RNFL thickness and rim area correlated positively with CH (p = 0.007 and p = 0.001, respectively), whereas the average cup-to-disc area ratio correlated negatively with CH (p = 0.01). We did not observe correlation between RNFL thickness and axial length (p = 0.05). Corneal resistance factor was only positively correlated with the rim area (p = 0.001). The central corneal thickness did not correlate with the optic nerve parameters or with RNFL thickness. These associations were not found in the emmetropic group (p > 0.05 for all). Conclusions: The corneal biomechanics characterized with the Ocular Response Analyzer system are correlated with the optic disc profile and RNFL thickness in myopic children. Low CH values may indicate a reduction in the viscous dampening properties of the cornea and the sclera, especially in myopic children.

Method for targetless tracking subpixel in-plane movements

We present a targetless motion tracking method for detecting planar movements with subpixel accuracy. This method is based on the computation and tracking of the intersection of two nonparallel straight-line segments in the image of a moving object in a scene. The method is simple and easy to implement because no complex structures have to be detected. It has been tested and validated using a lab experiment consisting of a vibrating object that was recorded with a high-speed camera working at 1000 fps. We managed to track displacements with an accuracy of hundredths of pixel or even of thousandths of pixel in the case of tracking harmonic vibrations. The method is widely applicable because it can be used for distance measuring amplitude and frequency of vibrations with a vision system.

Realistic limits for subpixel movement detection

Object tracking with subpixel accuracy is of fundamental importance in many fields since it provides optimal performance at relatively low cost. Although there are many theoretical proposals that lead to resolution increments of several orders of magnitude, in practice this resolution is limited by the imaging systems. In this paper we propose and demonstrate through simple numerical models a realistic limit for subpixel accuracy. The final result is that maximum achievable resolution enhancement is connected with the dynamic range of the image, i.e., the detection limit is 1/2∧(nr.bits). The results here presented may aid in proper design of superresolution experiments in microscopy, surveillance, defense, and other fields.