Automatic 2D Hand Tracking in Video Sequences

In gesture and sign language video sequences, hand motion tends to be rapid, and hands frequently appear in front of each other or in front of the face. Thus, hand location is often ambiguous, and naive color-based hand tracking is insufficient. To improve tracking accuracy, some methods employ a prediction-update framework, but such methods require careful initialization of model parameters, and tend to drift and lose track in extended sequences. In this paper, a temporal filtering framework for hand tracking is proposed that can initialize and reset itself without human intervention. In each frame, simple features like color and motion residue are exploited to identify multiple candidate hand locations. The temporal filter then uses the Viterbi algorithm to select among the candidates from frame to frame. The resulting tracking system can automatically identify video trajectories of unambiguous hand motion, and detect frames where tracking becomes ambiguous because of occlusions or overlaps. Experiments on video sequences of several hundred frames in duration demonstrate the system's ability to track hands robustly, to detect and handle tracking ambiguities, and to extract the trajectories of unambiguous hand motion.

Spatiotemporal Gesture Segmentation

Spotting patterns of interest in an input signal is a very useful task in many different fields including medicine, bioinformatics, economics, speech recognition and computer vision. Example instances of this problem include spotting an object of interest in an image (e.g., a tumor), a pattern of interest in a time-varying signal (e.g., audio analysis), or an object of interest moving in a specific way (e.g., a human's body gesture). Traditional spotting methods, which are based on Dynamic Time Warping or hidden Markov models, use some variant of dynamic programming to register the pattern and the input while accounting for temporal variation between them. At the same time, those methods often suffer from several shortcomings: they may give meaningless solutions when input observations are unreliable or ambiguous, they require a high complexity search across the whole input signal, and they may give incorrect solutions if some patterns appear as smaller parts within other patterns. In this thesis, we develop a framework that addresses these three problems, and evaluate the framework's performance in spotting and recognizing hand gestures in video. The first contribution is a spatiotemporal matching algorithm that extends the dynamic programming formulation to accommodate multiple candidate hand detections in every video frame. The algorithm finds the best alignment between the gesture model and the input, and simultaneously locates the best candidate hand detection in every frame. This allows for a gesture to be recognized even when the hand location is highly ambiguous. The second contribution is a pruning method that uses model-specific classifiers to reject dynamic programming hypotheses with a poor match between the input and model. Pruning improves the efficiency of the spatiotemporal matching algorithm, and in some cases may improve the recognition accuracy. The pruning classifiers are learned from training data, and cross-validation is used to reduce the chance of overpruning. The third contribution is a subgesture reasoning process that models the fact that some gesture models can falsely match parts of other, longer gestures. By integrating subgesture reasoning the spotting algorithm can avoid the premature detection of a subgesture when the longer gesture is actually being performed. Subgesture relations between pairs of gestures are automatically learned from training data. The performance of the approach is evaluated on two challenging video datasets: hand-signed digits gestured by users wearing short sleeved shirts, in front of a cluttered background, and American Sign Language (ASL) utterances gestured by ASL native signers. The experiments demonstrate that the proposed method is more accurate and efficient than competing approaches. The proposed approach can be generally applied to alignment or search problems with multiple input observations, that use dynamic programming to find a solution.

Constraint-based Mining of Frequent Arrangements of Temporal Intervals

The problem of discovering frequent arrangements of temporal intervals is studied. It is assumed that the database consists of sequences of events, where an event occurs during a time-interval. The goal is to mine temporal arrangements of event intervals that appear frequently in the database. The motivation of this work is the observation that in practice most events are not instantaneous but occur over a period of time and different events may occur concurrently. Thus, there are many practical applications that require mining such temporal correlations between intervals including the linguistic analysis of annotated data from American Sign Language as well as network and biological data. Two efficient methods to find frequent arrangements of temporal intervals are described; the first one is tree-based and uses depth first search to mine the set of frequent arrangements, whereas the second one is prefix-based. The above methods apply efficient pruning techniques that include a set of constraints consisting of regular expressions and gap constraints that add user-controlled focus into the mining process. Moreover, based on the extracted patterns a standard method for mining association rules is employed that applies different interestingness measures to evaluate the significance of the discovered patterns and rules. The performance of the proposed algorithms is evaluated and compared with other approaches on real (American Sign Language annotations and network data) and large synthetic datasets.

Factores afectivos e desempenho cognitivo na aprendizagem linguística

Neste trabalho foram cumpridos dois estudos intencionalmente diferenciados para avaliar factores afectivos e desempenho cognitivo no contexto de comportamento verbal em Língua segunda. No primeiro estudo foram descritos, analisados e discutidos os resultados que confirmam a influência da motivação, ansiedade e estilos de aprendizagem, em condição de aquisição de nova língua e de adaptação à cultura dominante. Essa influência é discutida na relação com variados factores e atendendo à diferenciação do valor de predição de cada um dos factores mencionados. A associação do factor idade ao factor cultural revelou-se a principal fonte diferenciadora das autoavaliações observadas. No segundo estudo, com a aplicação da bateria de testes em formato electrónico, foi possível averiguar os resultados e discutir as suas implicações ao nível do desempenho dos sujeitos, corroborando e refutando pressupostos teóricos de modelos que versam nesta área de estudo. O desempenho observado tem sérias implicações na reflexão pedagógica e práctica escolar, uma vez que, de forma geral, os sujeitos mais novos exibiram um desempenho medíocre quando comparado com a performance muito positiva dos participantes mais velhos, gerando conflito em relação aos pressupostos práticos implicados na teoria do período sensível para desenvolvimento de linguagem. Por outro lado, as duas amostras (nativos e imigrantes) revelam desempenhos muito próximos o que não destaca, como seria de esperar, o grupo nativo que deveria evidenciar vantagem devido ao conhecimento mais elevado relativamente ao léxico e gramática do Português, como Língua Materna. A relação entre motivação favorável, fraco índice de ansiedade linguística, e bom desempenho cognitivo não se revela linear e taxativa e devem ser revistos os princípios de modelos teóricos que advogam a consonância clássica entre determinados factores afectivos (motivação e estilos de aprendizagem) e cognitivos, no contexto da competência e performance verbais. Considerando os materiais desenvolvidos e observando os resultados obtidos, este estudo viabiliza o acesso a uma nova oportunidade de avaliação, em estilo de diagnose, dirigida aos alunos aprendentes de Português Língua Segunda, com experiência migratória.

Interação intercultural telecolaborativa em português língua não materna

No âmbito do tema Multimédia em Educação, optámos por analisar uma sequência pedagógica em Português Língua Não Materna, contextualizada em interações interculturais telecolaborativas, mediadas pela plataforma Adobe Connect Pro. Para o efeito, foram transcritas as gravações dessas interações, submetidas a análise de conteúdo com o software de abordagem qualitativa webQDA, tendo em conta as seguintes dimensões: (i) dimensão operacional das literacias digitais online; (ii) atitude perante as tecnologias online; (iii) negociação de sentido, (iii) enunciados não relacionados com o projeto; (iv) atividades reflexivas sobre a língua por parte dos aprendentes; (v) enunciados dos participantes falantes nativos em interação com os aprendentes. Após a análise e discussão de resultados, é possível afirmar que a realização de interações interculturais telecolaborativas contribui para a reformulação de conhecimentos (Lankshear e Knobel, 2006) em termos de: competência tecnológica e literacia online; perceção de como as limitações técnicas podem condicionar a realização de um projeto; tomada de consciência do desenvolvimento (e vantagens) de uma atitude 2.0; aprofundamento da competência na língua-alvo e do conhecimento de realidades culturais através da comunicação com falantes nativos. Ainda assim, reconhecemos a pertinência e urgência do desenvolvimento de um trabalho com acuidade na área da formação intercultural telecolaborativa quer no âmbito da formação de professores (inicial e contínua) quer com os alunos durante as aulas de língua.

Método de ensino de português para falantes de russo: proposta de materiais didáticos bilingues

Após breve observação da história do desenvolvimento das relações entre Portugal e a Rússia e da situação atual do ensino do português Língua Estrangeira, na Federação Russa, incluindo os programas, metodologias, estratégias, materiais didáticos feitos na Rússia, procede-se a uma análise das dificuldades que têm os falantes de russo, as causas e fontes das complicações mais recorrentes tendo em conta os erros mais típicos dos falantes de russo na aprendizagem de língua portuguesa. Centraremos o nosso trabalho na produção de uma sequência didática que corresponda às necessidades do destinatário que tem como língua nativa o russo.

Leitura e sentido - estratégias para a compreensão de leitura em português (Língua materna) e em espanhol (Língua estrangeira)

Ler é um processo complexo que surge da necessidade de integrar os conhecimentos prévios do leitor com a informação presente num texto, e em estreita relação com os seus condicionantes pessoais, culturais e sociais. Trata-se, portanto de um processo interativo e dinâmico que se traduz na apropriação dos textos pelo leitor a partir da compreensão do significado e da (re)construção dos sentidos. Embora para um leitor eficiente possa constituir uma atividade que se desenvolve de forma automática e quase inconsciente, a leitura e a compreensão de leitura são processos que carecem de uma aprendizagem. Assim, consideramos que um dos aspetos mais relevantes no processo de ensino/aprendizagem é a consciencialização dos alunos relativamente à sua evolução pessoal e o desenvolvimento por parte do professor de estratégias diversificadas e flexíveis que visem a consecução dos objetivos propostos para a compreensão durante a leitura. Neste relatório, apresentamos o trabalho realizado no ano letivo 2013-2014 no Agrupamento de Escolas Gil Paes de Torres Novas no âmbito da Prática de Ensino Supervisionada. O principal objetivo da nossa intervenção pedagógica foi o de trabalhar didaticamente a leitura em língua materna (Português) e em língua estrangeira (Espanhol) em contexto escolar, destacando não só a importância das estratégias de leitura, mas também o ensino explícito das mesmas para uma melhor compreensão da leitura de acordo com os níveis de proficiência propostos.

Texto Literário e Gramática: Uma Relação Indissociável no Ensino-Aprendizagem do Português Língua Materna e do Espanhol Língua

Este trabalho tem como objetivo central dar conta das atividades realizadas no âmbito da prática de ensino supervisionada em Português Língua Materna e Espanhol Língua Estrangeira. A prática pedagógica alicerçou-se na indissociabilidade entre a literatura e a gramática. Defende-se que o texto literário deve ser entendido como uma várias manifestações da língua, criada num contexto comunicativo particular em que são empregues determinadas estruturas linguísticas, mediante os objetivos comunicativos de quem o produz. Esta orientação pragmática e funcional do ensino-aprendizagem das línguas faz do aluno um agente atuante no processo de comunicação e, por isso, é da maior importância que apreenda e consolide os mecanismos linguísticos que façam dele um falante eficaz e socialmente integrado

A Educação Estética e as Técnicas Teatrais no Ensino e Aprendizagem do Português Língua Materna e do Francês Língua Estrangeira

O nosso trabalho consiste numa reflexão teórica sobre a aplicação prática da educação estética e das técnicas de teatro no ensino e aprendizagem das línguas e das literaturas. Pretendemos estabelecer relações entre a educação estética e o ensino, visando uma aproximação, em termos didáticos, entre a cultura, as artes e a educação literária e linguística, mas também conduzir a aprendizagem no sentido da observação atenta e refletida para o desenvolvimento do pensamento crítico e autónomo através da ação. A relação da imagem com o texto, tendo em vista a interpretação dramática, é uma forma de consolidar conhecimentos da obra literária inserida num contexto artístico mais amplo, e essa relação, para a realização de jogos dramáticos, serve a concretização em imagem viva, que é a do ator ou intérprete. Mas, acima de tudo, ela visa a formação integral e desenvolve a criatividade. A contemplação e o ato de criar só são possíveis se o aluno usufruir de uma educação estética, que fomenta em grande escala o gosto pelo texto inserido numa determinada cultura e na época em que se produziu. Nesta proposta, incluímos o exercício e a interiorização do conhecimento linguístico através das técnicas teatrais, enquanto práticas intrínsecas ao teatro, numa atitude comunicativa que implica interpretar e compreender, e que fomenta a autonomia do indivíduo. Pretendemos estimular o conhecimento integrado do aluno, associando a estética e as artes à aprendizagem das línguas, como meios impulsionadores da criatividade, da reinvenção e do fazer.

Réorganisation fonctionnelle et structurale des cortex auditifs, visuels et associatifs chez les sourds profonds congénitaux ou prélinguaux

En raison de l’utilisation d’un mode de communication totalement différent de celui des entendants, le langage des signes, et de l’absence quasi-totale d’afférences en provenance du système auditif, il y a de fortes chances que d’importantes modifications fonctionnelles et structurales s’effectuent dans le cerveau des individus sourds profonds. Les études antérieures suggèrent que cette réorganisation risque d’avoir des répercussions plus importantes sur les structures corticales situées le long de la voie visuelle dorsale qu’à l’intérieur de celles situées à l’intérieur de la voie ventrale. L’hypothèse proposée par Ungerleider et Mishkin (1982) quant à la présence de deux voies visuelles dans les régions occipitales, même si elle demeure largement acceptée dans la communauté scientifique, s’en trouve aussi relativement contestée. Une voie se projetant du cortex strié vers les régions pariétales postérieures, est impliquée dans la vision spatiale, et l’autre se projetant vers les régions du cortex temporal inférieur, est responsable de la reconnaissance de la forme. Goodale et Milner (1992) ont par la suite proposé que la voie dorsale, en plus de son implication dans le traitement de l’information visuo-spatiale, joue un rôle dans les ajustements sensori-moteurs nécessaires afin de guider les actions. Dans ce contexte, il est tout à fait plausible de considérer qu’un groupe de personne utilisant un langage sensori-moteur comme le langage des signes dans la vie de tous les jours, s’expose à une réorganisation cérébrale ciblant effectivement la voie dorsale. L’objectif de la première étude est d’explorer ces deux voies visuelles et plus particulièrement, la voie dorsale, chez des individus entendants par l’utilisation de deux stimuli de mouvement dont les caractéristiques physiques sont très similaires, mais qui évoquent un traitement relativement différent dans les régions corticales visuelles. Pour ce faire, un stimulus de forme définie par le mouvement et un stimulus de mouvement global ont été utilisés. Nos résultats indiquent que les voies dorsale et ventrale procèdent au traitement d’une forme définie par le mouvement, tandis que seule la voie dorsale est activée lors d’une tâche de mouvement global dont les caractéristiques psychophysiques sont relativement semblables. Nous avons utilisé, subséquemment, ces mêmes stimulations activant les voies dorsales et ventrales afin de vérifier quels pourraient être les différences fonctionnelles dans les régions visuelles et auditives chez des individus sourds profonds. Plusieurs études présentent la réorganisation corticale dans les régions visuelles et auditives en réponse à l’absence d’une modalité sensorielle. Cependant, l’implication spécifique des voies visuelles dorsale et ventrale demeure peu étudiée à ce jour, malgré plusieurs résultats proposant une implication plus importante de la voie dorsale dans la réorganisation visuelle chez les sourds. Suite à l’utilisation de l’imagerie cérébrale fonctionnelle pour investiguer ces questions, nos résultats ont été à l’encontre de cette hypothèse suggérant une réorganisation ciblant particulièrement la voie dorsale. Nos résultats indiquent plutôt une réorganisation non-spécifique au type de stimulation utilisé. En effet, le gyrus temporal supérieur est activé chez les sourds suite à la présentation de toutes nos stimulations visuelles, peu importe leur degré de complexité. Le groupe de participants sourds montre aussi une activation du cortex associatif postérieur, possiblement recruté pour traiter l’information visuelle en raison de l’absence de compétition en provenance des régions temporales auditives. Ces résultats ajoutent aux données déjà recueillies sur les modifications fonctionnelles qui peuvent survenir dans tout le cerveau des personnes sourdes, cependant les corrélats anatomiques de la surdité demeurent méconnus chez cette population. Une troisième étude se propose donc d’examiner les modifications structurales pouvant survenir dans le cerveau des personnes sourdes profondes congénitales ou prélinguales. Nos résultats montrent que plusieurs régions cérébrales semblent être différentes entre le groupe de participants sourds et celui des entendants. Nos analyses ont montré des augmentations de volume, allant jusqu’à 20%, dans les lobes frontaux, incluant l’aire de Broca et d’autres régions adjacentes impliqués dans le contrôle moteur et la production du langage. Les lobes temporaux semblent aussi présenter des différences morphométriques même si ces dernières ne sont pas significatives. Enfin, des différences de volume sont également recensées dans les parties du corps calleux contenant les axones permettant la communication entre les régions temporales et occipitales des deux hémisphères.

Design and Development of a Frame Based MT System for English-to-ISL

This paper presents the design and development of a frame based approach for speech to sign language machine translation system in the domain of railways and banking. This work aims to utilize the capability of Artificial intelligence for the improvement of physically challenged, deaf-mute people. Our work concentrates on the sign language used by the deaf community of Indian subcontinent which is called Indian Sign Language (ISL). Input to the system is the clerk’s speech and the output of this system is a 3D virtual human character playing the signs for the uttered phrases. The system builds up 3D animation from pre-recorded motion capture data. Our work proposes to build a Malayalam to ISL

Projecte col-laboratiu en l'àmbit de la sordesa i les llengües de signes

El treball que presentem descriu l'experiència de treball col-laboratiu entre professorat -alumnat i alumne-alumne en l'àmbit de la sordesa i les llengües de signes en una assignatura del màster "Comunitat Sorda, Educació i Llengües de Signes", impartit en la Facultat de Formació del Professorat de la Universitat de Barcelona. El projecte consisteix en l'elaboració d'entrades relatives a l'àmbit de les llengües de signes per a ser incorporades en un diccionari de termes lingüístics. Describim les característiques del projecte i les eines tecnològiques per al treball col-laboratiu emprades al llarg del procés

Backtracks: a devised performance

Backtracks aimed to investigate critical relationships between audio-visual technologies and live performance, emphasising technologies producing sound, contrasted with non-amplified bodily sound. Drawing on methodologies for studying avant garde theatre, live performance and the performing body, it was informed by work in critical and cultural theory by, for example, Steven Connor and Jonathan Rée, on the body's experience and interpretation of sound. The performance explored how shifting national boundaries, mobile workforces, complex family relationships, cultural pluralities and possibilities for bodily transformation have compelled a re-evaluation of what it means to feel 'at home' in modernity. Using montages of live and mediated images, disrupted narratives and sound, it evoked destablised identities which characterise contemporary lived experience, and enacted the displacement of certainties provided by family and nation, community and locality, body and selfhood. Homer's Odyssey framed the performance: elements could be traced in the mise-en-scène; in the physical presence of Athene, the narrator and Penelope weaving mementoes from the past into her loom; and in voice-overs from Homer's work. The performance drew on personal experiences and improvisations, structured around notions of journey. It presented incomplete narratives, memories, repressed anxieties and dreams through different combinations of sounds, music, mediated images, movement, voice and bodily sound. The theme of travel was intensified by performers carrying suitcases and umbrellas, by soundtracks incorporating travel effects, and by the distorted video images of forms of transport playing across 'screens' which proliferated across the space (sails, umbrellas, the loom, actors' bodies). The performance experimented with giving sound and silence performative dimensions, including presenting sound in visual and imagistic ways, for example by using signs from deaf sign language. Through-composed soundtracks of live and recorded song, music, voice-over, and noise exploited the viscerality of sound and disrupted cognitive interpretation by phenomenological, somatic experience, thereby displacing the impulse for closure/destination/home.

COMMUNICATION AND INFORMATION BARRIERS TO HEALTH ASSISTANCE FOR DEAF PATIENTS

IN BRAZIL, recent regulations require changes in private and public health systems to make special services available to deaf patients. in the present article, the researchers analyze the perceptions of 25 sign language using patients regarding this assistance. The researchers found communication difficulties between these patients and health services staff, as well as a culture clash and a harmful inability among the service providers to distinguish among the roles of companions, caretakers, and professional translator/interpreters. Thus, it became common for the patients to experience prejudice in the course of treatment and information exchange, damage to their autonomy, limits on their access to services, and reduced efficacy of therapy. The researchers conclude that many issues must be dealt with if such barriers to health access are to be overcome, in particular the worrying degree of exclusion of deaf patients from health care systems.

Concordância nominal de número na fala infantil : análise variacionista

Este trabalho tem como proposta investigar aspectos relacionados à concordância nominal de número na fala de crianças monolíngües no português do Brasil. O parâmetro analítico segue as descrições sobre o fenômeno na fala adulta, sob o arcabouço da Sociolingüística Quantitativa. Dessa forma, a investigação que aqui se apresenta estrutura-se tanto em aspectos lingüísticos quanto sociais. Nosso objetivo é observar, se tal como na fala adulta, a concordância nominal de número caracteriza-se como uma regra variável na fala infantil. Nossa análise organiza-se em dois momentos. O primeiro, denominado análise atomística, focaliza as motivações estruturais do sistema lingüístico condicionantes da presença da marca formal de plural em cada constituinte sintagmático. A segunda parte, denominada análise não atomística, analisa o sintagma nominal como um todo e averigua os condicionamentos extralingüísticos no que diz respeito à produção de SNs plurais padrão e não-padrão na fala da criança, nos termos estipulados pela norma gramatical. Para tal propósito, tomamos para análise quatro coletas transversais de crianças, recobrindo um período etário dos quatro aos oito anos de idade. De modo geral, os resultados encontrados sugerem um comportamento verbal semelhante ao dos adultos, embora muitos dos fatores discutidos não tenham significância estatística, conforme a análise realizada com o pacote de programas estatístico VARBRUL.