Narrativas em Libras: análise de processos cognitivos

Palavras ou expressões produzidas em línguas de sinais são conhecidas como sinais. Línguas de sinais são produzidas especificamente em forma visual e o significado dos sinais pode ser compreendido por meio da relação com recursos visuais, do usuário com o mundo e com o corpo. Este estudo, com base na Linguística Cognitiva, propõe-se a analisar essas relações em sinais da Língua Brasileira de Sinais (Libras), produzidos por dez surdos ao narrarem a história em quadrinhos Não chora que eu dou um jeito da Turma da Mônica. Os processos cognitivos foram analisados à luz da gramática cognitiva (LANGACKER, 2008), da corporificação (LAKOFF; JOHNSON, 1980), da metonímia conceptual (LAKOFF; JOHNSON, 2003; EVANS; GREEN, 2006; KÖVECSES, 2010), da categorização (CROFT; CRUSE, 2004; Rosch apud FERRARI, 2011), da iconicidade cognitiva (WILCOX, 2000; QUADROS, 2004; WILCOX, 2004) e da mescla em espaço real (FAUCONNIER; TURNER, 1996, 2003; LIDDELL, 2003; SHAFFER, 2012; DUDIS apud SHAFFER, 2012). Constatou-se que alguns sinais produzidos apresentaram conceptualização de base icônica. A partir dessa fundamentação, postulou-se que esses sinais poderiam receber a seguinte categorização: icônicos (BOLA e CAIXA); icônico metonímicos (INES e CASA); icônico metonímico corporificados (MONICA e CHORAR). Por meio dessa classificação, propôs-se também a categorização de nomes e verbos pessoais. Outro processo cognitivo investigado foi a mescla em espaço real, constatada em seis das dez narrativas, como um recurso cognitivo acionado para expor ao interlocutor a troca de turnos dos participantes da narração. Tendo em vista que esses sinais foram encontrados em narrativas, analisam-se etapas da narrativa (LABOV apud FIGUEIREDO, 2009) e a estrutura das histórias em quadrinhos (SILVA, 2001; SOUZA, 2013). Verificou-se que não houve narrativa com todas as etapas de Labov. Assim, por meio de uma investigação inicial, esta pesquisa fornece questionamentos acerca dos processos cognitivos acionados na produção de sinais da Libras nas narrativas pesquisadas

LIBRAS e português no letramento de surdos e ouvintes: a experiência do Sarau Bilíngue

O presente estudo investiga os posicionamentos e a agência de participantes de um Sarau Bilíngue. O Sarau é uma proposta didática / pedagógica, desenvolvida no Curso Bilíngue de Pedagogia do Instituto Nacional de Educação de Surdos INES e visa integrar surdos e ouvintes, de forma lúdica, proporcionando práticas de letramento que envolvem dramatizações, traduções e adaptações de textos da língua portuguesa para LIBRAS, contribuindo para o acesso à literatura e à música, o rompimento de barreiras e a quebra de preconceitos mediada pela arte. O estudo tem caráter interdisciplinar e de cunho etnográfico, dialogando com os campos da Sociologia, Ciências Sociais, Fonoaudiologia, Educação, Surdez e localizando-se na área da Linguística Aplicada. É realizado a partir de uma entrevista de grupo, analisada qualitativa e interpretativamente. A análise é desenvolvida à luz dos conceitos de posicionamento (DAVID e HARRÉ,1999), agência (AHEARN, 2001) e construções identitárias (HALL, 2006; CASTELLS, 1999) sinalizados por pistas lexicais. A análise mostra os posicionamentos, agência e construções identitárias emergentes durante a entrevista e como contribuem para a construção do letramento (GEE, 1990; KLEIMAN, 2005) dos participantes a partir de sua participação em um Sarau Bilíngue

Processos cognitivos subjacentes às interpretações em Libras da música Aquarela

Este estudo tem o objetivo de analisar processos cognitivos na Língua Brasileira de Sinais (Libras), presentes em duas interpretações da música Aquarela. Os processos cognitivos foram investigados à luz da corporificação, da metáfora conceptual (LAKOFF; JOHNSON, 2002), da metonímia conceptual (LAKOFF; JOHNSON, 2003; EVANS; GREEN, 2006; KÖVECSES, 2010) e da iconicidade cognitiva (WILCOX, 2000; QUADROS, 2004; WILCOX, 2004). Além desses processos de construção de sentidos, analisam-se os esquemas imagéticos (EVANS; GREEN, 2006; GIBBS; COLSTON apud GEERAERTS, 2006) que lhes fundamentam. A partir dessa fundamentação, foram encontrados nas intepretações sinais categorizados icônico-metonímicos, icônico-metonímico-corporificados, de acordo com Nunes (2014), e icônicos-corporificados. Verificaram-se os esquemas imagéticos subjacentes aos sinais e classificadores. Considerando-se que esses sinais e classificadores estão presentes em interpretações de uma música, analisam-se também procedimentos e técnicas utilizados em traduções e interpretações em Libras. A partir da análise, constatou-se, entre os processos cognitivos subjacentes às interpretações da música, que as principais metáforas conceptuais subjacentes à letra de Aquarela em português mantêm-se nas interpretações em Libras. Contudo, na versão em Libras, uma nova metáfora foi postulada. Assim, buscou-se, com esta pesquisa, fornecer questionamentos sobre processos cognitivos em sinais e classificadores em interpretações na Libras

Os desafios da inclusão de surdos no contexto escolar e a aquisição da Língua Portuguesa na proposta de Educação Bilíngue

A aquisição de Língua Portuguesa pelo aluno surdo na proposta educacional bilíngue se constitui como objeto desta dissertação. Na presente pesquisa pretendemos mergulhar no universo educacional bilíngue: Língua de Sinais como primeira língua (L1) e Língua Portuguesa como segunda língua (L2) e observar como se dá o ensino de Língua Portuguesa para o aluno surdo com idade de cinco anos e 11 meses a oito anos, filhos de pais ouvintes, matriculados em turmas dos anos iniciais do ensino fundamental, em três ambientes educacionais no município do Rio de janeiro. As visitas aconteceram numa escola especial, em duas escolas públicas inclusivas e numa escola particular inclusiva. O universo da pesquisa abrangeu seis profissionais: duas professoras de turma comum, dois professores de atendimento educacional especializado (AEE), um instrutor surdo e uma professora de classe especial. Também participaram 12 crianças com as características supra citadas, sendo que 10 delas fazem uso de aparelho auditivo: quatro com uso de implante coclear (IC), seis usam aparelho de amplificação sonora individual (Aasi), e dois não usam nenhum aparelho auditivo. Destes 12 alunos, dez são acompanhados por atendimento fonoaudiológico na própria escola, e dois não fazem nenhum tipo de atendimento. Em relação às aulas na sala de recursos multifuncional (SRM), oito deles participam das aulas na própria unidade escolar; um deles frequenta aulas na SRM de uma escola próxima a sua residência, e três não frequentam sala de recursos por serem de classe especial. Para responder à pergunta principal do estudo: Como se dá o ensino da Língua Portuguesa para a criança surda na proposta educacional bilíngue? foi necessário conhecer os professores e demais profissionais envolvidos no processo educacional da criança surda afim de verificar as suas necessidades, potencialidades, interesses e limitações. Outro elemento fundamental na proposta do estudo foi priorizar os momentos de ensino de Língua Portuguesa, o que exigiu planejamento prévio da pesquisadora e dos profissionais envolvidos. A pesquisa foi desenvolvida em espaços educacionais observados e filmados durante uma hora, sem intervenção, no período de junho de 2013 a dezembro de 2014. Foi utilizada análise qualitativa dos resultados com a categorização das atividades. Durante o desenvolvimento do estudo foram realizadas filmagens das atividades pedagógicas para ensino de Língua Portuguesa e anotações de campo, bem como as entrevistas com os profissionais, e orientações aos familiares com informações sobre a importância da participação no estudo. Com base nas entrevistas, filmagens, observações e anotações de campo foram levantadas as principais atividades realizadas e categorias foram formuladas a respeito da comunicação destes alunos e do tipo de atividades para o ensino da Língua Portuguesa. Os resultados demonstraram que a participação no estudo levou os profissionais envolvidos a refletirem sobre o tema, reverem as suas atuações e as suas crenças. O estudo conclui que a educação bilíngue é um caminho promissor para as crianças com surdez desenvolverem plenamente suas habilidades e potencialidades, e cresçam independentes e conscientes dos seus direitos e deveres. Sujeitos participantes e ativos na sociedade a qual pertencem

Periodic Motion Detection and Estimation via Space-Time Sampling

A novel technique to detect and localize periodic movements in video is presented. The distinctive feature of the technique is that it requires neither feature tracking nor object segmentation. Intensity patterns along linear sample paths in space-time are used in estimation of period of object motion in a given sequence of frames. Sample paths are obtained by connecting (in space-time) sample points from regions of high motion magnitude in the first and last frames. Oscillations in intensity values are induced at time instants when an object intersects the sample path. The locations of peaks in intensity are determined by parameters of both cyclic object motion and orientation of the sample path with respect to object motion. The information about peaks is used in a least squares framework to obtain an initial estimate of these parameters. The estimate is further refined using the full intensity profile. The best estimate for the period of cyclic object motion is obtained by looking for consensus among estimates from many sample paths. The proposed technique is evaluated with synthetic videos where ground-truth is known, and with American Sign Language videos where the goal is to detect periodic hand motions.

Automatic 2D Hand Tracking in Video Sequences

In gesture and sign language video sequences, hand motion tends to be rapid, and hands frequently appear in front of each other or in front of the face. Thus, hand location is often ambiguous, and naive color-based hand tracking is insufficient. To improve tracking accuracy, some methods employ a prediction-update framework, but such methods require careful initialization of model parameters, and tend to drift and lose track in extended sequences. In this paper, a temporal filtering framework for hand tracking is proposed that can initialize and reset itself without human intervention. In each frame, simple features like color and motion residue are exploited to identify multiple candidate hand locations. The temporal filter then uses the Viterbi algorithm to select among the candidates from frame to frame. The resulting tracking system can automatically identify video trajectories of unambiguous hand motion, and detect frames where tracking becomes ambiguous because of occlusions or overlaps. Experiments on video sequences of several hundred frames in duration demonstrate the system's ability to track hands robustly, to detect and handle tracking ambiguities, and to extract the trajectories of unambiguous hand motion.

Spatiotemporal Gesture Segmentation

Spotting patterns of interest in an input signal is a very useful task in many different fields including medicine, bioinformatics, economics, speech recognition and computer vision. Example instances of this problem include spotting an object of interest in an image (e.g., a tumor), a pattern of interest in a time-varying signal (e.g., audio analysis), or an object of interest moving in a specific way (e.g., a human's body gesture). Traditional spotting methods, which are based on Dynamic Time Warping or hidden Markov models, use some variant of dynamic programming to register the pattern and the input while accounting for temporal variation between them. At the same time, those methods often suffer from several shortcomings: they may give meaningless solutions when input observations are unreliable or ambiguous, they require a high complexity search across the whole input signal, and they may give incorrect solutions if some patterns appear as smaller parts within other patterns. In this thesis, we develop a framework that addresses these three problems, and evaluate the framework's performance in spotting and recognizing hand gestures in video. The first contribution is a spatiotemporal matching algorithm that extends the dynamic programming formulation to accommodate multiple candidate hand detections in every video frame. The algorithm finds the best alignment between the gesture model and the input, and simultaneously locates the best candidate hand detection in every frame. This allows for a gesture to be recognized even when the hand location is highly ambiguous. The second contribution is a pruning method that uses model-specific classifiers to reject dynamic programming hypotheses with a poor match between the input and model. Pruning improves the efficiency of the spatiotemporal matching algorithm, and in some cases may improve the recognition accuracy. The pruning classifiers are learned from training data, and cross-validation is used to reduce the chance of overpruning. The third contribution is a subgesture reasoning process that models the fact that some gesture models can falsely match parts of other, longer gestures. By integrating subgesture reasoning the spotting algorithm can avoid the premature detection of a subgesture when the longer gesture is actually being performed. Subgesture relations between pairs of gestures are automatically learned from training data. The performance of the approach is evaluated on two challenging video datasets: hand-signed digits gestured by users wearing short sleeved shirts, in front of a cluttered background, and American Sign Language (ASL) utterances gestured by ASL native signers. The experiments demonstrate that the proposed method is more accurate and efficient than competing approaches. The proposed approach can be generally applied to alignment or search problems with multiple input observations, that use dynamic programming to find a solution.

Constraint-based Mining of Frequent Arrangements of Temporal Intervals

The problem of discovering frequent arrangements of temporal intervals is studied. It is assumed that the database consists of sequences of events, where an event occurs during a time-interval. The goal is to mine temporal arrangements of event intervals that appear frequently in the database. The motivation of this work is the observation that in practice most events are not instantaneous but occur over a period of time and different events may occur concurrently. Thus, there are many practical applications that require mining such temporal correlations between intervals including the linguistic analysis of annotated data from American Sign Language as well as network and biological data. Two efficient methods to find frequent arrangements of temporal intervals are described; the first one is tree-based and uses depth first search to mine the set of frequent arrangements, whereas the second one is prefix-based. The above methods apply efficient pruning techniques that include a set of constraints consisting of regular expressions and gap constraints that add user-controlled focus into the mining process. Moreover, based on the extracted patterns a standard method for mining association rules is employed that applies different interestingness measures to evaluate the significance of the discovered patterns and rules. The performance of the proposed algorithms is evaluated and compared with other approaches on real (American Sign Language annotations and network data) and large synthetic datasets.

Do gesto á voz : um estudo de caso sobre a inclusão de estudantes surdos do ensino secundário recorrente noturno

Tese de doutoramento, Educação (Supervisão e Orientação da Prática Profissional), Universidade de Lisboa, Faculdade de Psicologia, 2015

Reconhecimento de língua gestual

Trabalho Final de Mestrado para obtenção do grau de Mestre em Engenharia Informática e Computadores

Réorganisation fonctionnelle et structurale des cortex auditifs, visuels et associatifs chez les sourds profonds congénitaux ou prélinguaux

En raison de l’utilisation d’un mode de communication totalement différent de celui des entendants, le langage des signes, et de l’absence quasi-totale d’afférences en provenance du système auditif, il y a de fortes chances que d’importantes modifications fonctionnelles et structurales s’effectuent dans le cerveau des individus sourds profonds. Les études antérieures suggèrent que cette réorganisation risque d’avoir des répercussions plus importantes sur les structures corticales situées le long de la voie visuelle dorsale qu’à l’intérieur de celles situées à l’intérieur de la voie ventrale. L’hypothèse proposée par Ungerleider et Mishkin (1982) quant à la présence de deux voies visuelles dans les régions occipitales, même si elle demeure largement acceptée dans la communauté scientifique, s’en trouve aussi relativement contestée. Une voie se projetant du cortex strié vers les régions pariétales postérieures, est impliquée dans la vision spatiale, et l’autre se projetant vers les régions du cortex temporal inférieur, est responsable de la reconnaissance de la forme. Goodale et Milner (1992) ont par la suite proposé que la voie dorsale, en plus de son implication dans le traitement de l’information visuo-spatiale, joue un rôle dans les ajustements sensori-moteurs nécessaires afin de guider les actions. Dans ce contexte, il est tout à fait plausible de considérer qu’un groupe de personne utilisant un langage sensori-moteur comme le langage des signes dans la vie de tous les jours, s’expose à une réorganisation cérébrale ciblant effectivement la voie dorsale. L’objectif de la première étude est d’explorer ces deux voies visuelles et plus particulièrement, la voie dorsale, chez des individus entendants par l’utilisation de deux stimuli de mouvement dont les caractéristiques physiques sont très similaires, mais qui évoquent un traitement relativement différent dans les régions corticales visuelles. Pour ce faire, un stimulus de forme définie par le mouvement et un stimulus de mouvement global ont été utilisés. Nos résultats indiquent que les voies dorsale et ventrale procèdent au traitement d’une forme définie par le mouvement, tandis que seule la voie dorsale est activée lors d’une tâche de mouvement global dont les caractéristiques psychophysiques sont relativement semblables. Nous avons utilisé, subséquemment, ces mêmes stimulations activant les voies dorsales et ventrales afin de vérifier quels pourraient être les différences fonctionnelles dans les régions visuelles et auditives chez des individus sourds profonds. Plusieurs études présentent la réorganisation corticale dans les régions visuelles et auditives en réponse à l’absence d’une modalité sensorielle. Cependant, l’implication spécifique des voies visuelles dorsale et ventrale demeure peu étudiée à ce jour, malgré plusieurs résultats proposant une implication plus importante de la voie dorsale dans la réorganisation visuelle chez les sourds. Suite à l’utilisation de l’imagerie cérébrale fonctionnelle pour investiguer ces questions, nos résultats ont été à l’encontre de cette hypothèse suggérant une réorganisation ciblant particulièrement la voie dorsale. Nos résultats indiquent plutôt une réorganisation non-spécifique au type de stimulation utilisé. En effet, le gyrus temporal supérieur est activé chez les sourds suite à la présentation de toutes nos stimulations visuelles, peu importe leur degré de complexité. Le groupe de participants sourds montre aussi une activation du cortex associatif postérieur, possiblement recruté pour traiter l’information visuelle en raison de l’absence de compétition en provenance des régions temporales auditives. Ces résultats ajoutent aux données déjà recueillies sur les modifications fonctionnelles qui peuvent survenir dans tout le cerveau des personnes sourdes, cependant les corrélats anatomiques de la surdité demeurent méconnus chez cette population. Une troisième étude se propose donc d’examiner les modifications structurales pouvant survenir dans le cerveau des personnes sourdes profondes congénitales ou prélinguales. Nos résultats montrent que plusieurs régions cérébrales semblent être différentes entre le groupe de participants sourds et celui des entendants. Nos analyses ont montré des augmentations de volume, allant jusqu’à 20%, dans les lobes frontaux, incluant l’aire de Broca et d’autres régions adjacentes impliqués dans le contrôle moteur et la production du langage. Les lobes temporaux semblent aussi présenter des différences morphométriques même si ces dernières ne sont pas significatives. Enfin, des différences de volume sont également recensées dans les parties du corps calleux contenant les axones permettant la communication entre les régions temporales et occipitales des deux hémisphères.

Design and Development of a Frame Based MT System for English-to-ISL

This paper presents the design and development of a frame based approach for speech to sign language machine translation system in the domain of railways and banking. This work aims to utilize the capability of Artificial intelligence for the improvement of physically challenged, deaf-mute people. Our work concentrates on the sign language used by the deaf community of Indian subcontinent which is called Indian Sign Language (ISL). Input to the system is the clerk’s speech and the output of this system is a 3D virtual human character playing the signs for the uttered phrases. The system builds up 3D animation from pre-recorded motion capture data. Our work proposes to build a Malayalam to ISL

Projecte col-laboratiu en l'àmbit de la sordesa i les llengües de signes

El treball que presentem descriu l'experiència de treball col-laboratiu entre professorat -alumnat i alumne-alumne en l'àmbit de la sordesa i les llengües de signes en una assignatura del màster "Comunitat Sorda, Educació i Llengües de Signes", impartit en la Facultat de Formació del Professorat de la Universitat de Barcelona. El projecte consisteix en l'elaboració d'entrades relatives a l'àmbit de les llengües de signes per a ser incorporades en un diccionari de termes lingüístics. Describim les característiques del projecte i les eines tecnològiques per al treball col-laboratiu emprades al llarg del procés

A narrativa em crianças surdas : papel da Língua Gestual Portuguesa

A presente pesquisa tem como Questão Central a avaliação da estrutura da narrativa por um grupo de seis crianças surdas profundas utilizando a Língua Gestual Portuguesa (LGP). Neste estudo questionou-se se se encontrariam diferenças na produção da narrativa entre crianças que adquiriram a LGP precocemente e as que tiveram o primeiro contato com a língua materna tardiamente. Colocou-se a hipótese geral que a língua natural das crianças surdas portuguesas é a LGP e as que tiveram um acesso precoce à sua língua apresentam um melhor desempenho na narração de uma história. Para verificar esta hipótese, foi aplicada uma prova que consistia no conto de uma história, a partir de uma sequência de imagens, em LGP a todos as crianças desta investigação. Releva-se a importância de um precoce ambiente comunicativo para que a criança surda adquira um desenvolvimento global semelhante aos seus pares ouvintes. Salienta-se ainda que a influência dos pais, dos educadores e dos professores é fundamental para que a criança surda possa desenvolver a sua língua natural, a LGP e a aprendizagem da segunda língua. Os resultados obtidos confirmaram as hipóteses colocadas, ou seja, as crianças que adquiriram precocemente a LGP apresentaram um maior desenvolvimento na estrutura da narrativa.

Signwriting : um sistema de escrita das línguas gestuais : aplicação à língua gestual portuguesa

A língua gestual (LG) é a língua natural da pessoa surda, sendo utilizada como forma de expressão e comunicação da comunidade surda de um determinado país. Porém, é de todo impossível escrever estas línguas através de um alfabeto comum como o da Língua Portuguesa (LP). Em 1974, na Dinamarca, Valerie Sutton criou o SignWriting (SW), um sistema de escrita das línguas gestuais, contrariando assim a ideia de que as línguas espaço-visuais não poderiam ter uma representação gráfica. Para o surgimento deste sistema foram fundamentais os estudos pioneiros de William Stokoe que reconheceram o estatuto linguístico das línguas gestuais, atribuindo-lhes propriedades inerentes a uma língua, como por exemplo a arbitrariedade e convencionalidade. Neste trabalho apresentamos o SW, sistema de escrita das línguas gestuais já utilizado noutros países, e questionamos se é exequível e profícua a sua adaptação à língua gestual portuguesa (LGP). Nesse sentido, concretizamos a escrita da LGP com base em áreas vocabulares distintas e presentes no programa curricular do ensino da LGP. Por último, efetivamos tal proposta através de um modelo de ação de formação em SW.