Dokumentation och beskrivning som språkplanering : perspektiv från arbete med tre tecknade minoritetsspråk

Language Documentation and Description as Language Planning Working with Three Signed Minority Languages Sign languages are minority languages that typically have a low status in society. Language planning has traditionally been controlled from outside the sign-language community. Even though signed languages lack a written form, dictionaries have played an important role in language description and as tools in foreign language learning. The background to the present study on sign language documentation and description as language planning is empirical research in three dictionary projects in Finland-Swedish Sign Language, Albanian Sign Language, and Kosovar Sign Language. The study consists of an introductory article and five detailed studies which address language planning from different perspectives. The theoretical basis of the study is sociocultural linguistics. The research methods used were participant observation, interviews, focus group discussions, and document analysis. The primary research questions are the following: (1) What is the role of dictionary and lexicographic work in language planning, in research on undocumented signed language, and in relation to the language community as such? (2) What factors are particular challenges in the documentation of a sign language and should therefore be given special attention during lexicographic work? (3) Is a conventional dictionary a valid tool for describing an undocumented sign language? The results indicate that lexicographic work has a central part to play in language documentation, both as part of basic research on undocumented sign languages and for status planning. Existing dictionary work has contributed new knowledge about the languages and the language communities. The lexicographic work adds to the linguistic advocacy work done by the community itself with the aim of vitalizing the language, empowering the community, receiving governmental recognition for the language, and improving the linguistic (human) rights of the language users. The history of signed languages as low status languages has consequences for language planning and lexicography. One challenge that the study discusses is the relationship between the sign-language community and the hearing sign linguist. In order to make it possible for the community itself to take the lead in a language planning process, raising linguistic awareness within the community is crucial. The results give rise to questions of whether lexicographic work is of more importance for status planning than for corpus planning. A conventional dictionary as a tool for describing an undocumented sign language is criticised. The study discusses differences between signed and spoken/written languages that are challenging for lexicographic presentations. Alternative electronic lexicographic approaches including both lexicon and grammar are also discussed. Keywords: sign language, Finland-Swedish Sign Language, Albanian Sign Language, Kosovar Sign Language, language documentation and description, language planning, lexicography

Os desafios da inclusão de surdos no contexto escolar e a aquisição da Língua Portuguesa na proposta de Educação Bilíngue

A aquisição de Língua Portuguesa pelo aluno surdo na proposta educacional bilíngue se constitui como objeto desta dissertação. Na presente pesquisa pretendemos mergulhar no universo educacional bilíngue: Língua de Sinais como primeira língua (L1) e Língua Portuguesa como segunda língua (L2) e observar como se dá o ensino de Língua Portuguesa para o aluno surdo com idade de cinco anos e 11 meses a oito anos, filhos de pais ouvintes, matriculados em turmas dos anos iniciais do ensino fundamental, em três ambientes educacionais no município do Rio de janeiro. As visitas aconteceram numa escola especial, em duas escolas públicas inclusivas e numa escola particular inclusiva. O universo da pesquisa abrangeu seis profissionais: duas professoras de turma comum, dois professores de atendimento educacional especializado (AEE), um instrutor surdo e uma professora de classe especial. Também participaram 12 crianças com as características supra citadas, sendo que 10 delas fazem uso de aparelho auditivo: quatro com uso de implante coclear (IC), seis usam aparelho de amplificação sonora individual (Aasi), e dois não usam nenhum aparelho auditivo. Destes 12 alunos, dez são acompanhados por atendimento fonoaudiológico na própria escola, e dois não fazem nenhum tipo de atendimento. Em relação às aulas na sala de recursos multifuncional (SRM), oito deles participam das aulas na própria unidade escolar; um deles frequenta aulas na SRM de uma escola próxima a sua residência, e três não frequentam sala de recursos por serem de classe especial. Para responder à pergunta principal do estudo: Como se dá o ensino da Língua Portuguesa para a criança surda na proposta educacional bilíngue? foi necessário conhecer os professores e demais profissionais envolvidos no processo educacional da criança surda afim de verificar as suas necessidades, potencialidades, interesses e limitações. Outro elemento fundamental na proposta do estudo foi priorizar os momentos de ensino de Língua Portuguesa, o que exigiu planejamento prévio da pesquisadora e dos profissionais envolvidos. A pesquisa foi desenvolvida em espaços educacionais observados e filmados durante uma hora, sem intervenção, no período de junho de 2013 a dezembro de 2014. Foi utilizada análise qualitativa dos resultados com a categorização das atividades. Durante o desenvolvimento do estudo foram realizadas filmagens das atividades pedagógicas para ensino de Língua Portuguesa e anotações de campo, bem como as entrevistas com os profissionais, e orientações aos familiares com informações sobre a importância da participação no estudo. Com base nas entrevistas, filmagens, observações e anotações de campo foram levantadas as principais atividades realizadas e categorias foram formuladas a respeito da comunicação destes alunos e do tipo de atividades para o ensino da Língua Portuguesa. Os resultados demonstraram que a participação no estudo levou os profissionais envolvidos a refletirem sobre o tema, reverem as suas atuações e as suas crenças. O estudo conclui que a educação bilíngue é um caminho promissor para as crianças com surdez desenvolverem plenamente suas habilidades e potencialidades, e cresçam independentes e conscientes dos seus direitos e deveres. Sujeitos participantes e ativos na sociedade a qual pertencem

Exploiting Phonological Constraints for Handshape Inference in ASL Video

Handshape is a key articulatory parameter in sign language, and thus handshape recognition from signing video is essential for sign recognition and retrieval. Handshape transitions within monomorphemic lexical signs (the largest class of signs in signed languages) are governed by phonological rules. For example, such transitions normally involve either closing or opening of the hand (i.e., to exclusively use either folding or unfolding of the palm and one or more fingers). Furthermore, akin to allophonic variations in spoken languages, both inter- and intra- signer variations in the production of specific handshapes are observed. We propose a Bayesian network formulation to exploit handshape co-occurrence constraints, also utilizing information about allophonic variations to aid in handshape recognition. We propose a fast non-rigid image alignment method to gain improved robustness to handshape appearance variations during computation of observation likelihoods in the Bayesian network. We evaluate our handshape recognition approach on a large dataset of monomorphemic lexical signs. We demonstrate that leveraging linguistic constraints on handshapes results in improved handshape recognition accuracy. As part of the overall project, we are collecting and preparing for dissemination a large corpus (three thousand signs from three native signers) of American Sign Language (ASL) video. The video have been annotated using SignStream® [Neidle et al.] with labels for linguistic information such as glosses, morphological properties and variations, and start/end handshapes associated with each ASL sign.

Periodic Motion Detection and Estimation via Space-Time Sampling

A novel technique to detect and localize periodic movements in video is presented. The distinctive feature of the technique is that it requires neither feature tracking nor object segmentation. Intensity patterns along linear sample paths in space-time are used in estimation of period of object motion in a given sequence of frames. Sample paths are obtained by connecting (in space-time) sample points from regions of high motion magnitude in the first and last frames. Oscillations in intensity values are induced at time instants when an object intersects the sample path. The locations of peaks in intensity are determined by parameters of both cyclic object motion and orientation of the sample path with respect to object motion. The information about peaks is used in a least squares framework to obtain an initial estimate of these parameters. The estimate is further refined using the full intensity profile. The best estimate for the period of cyclic object motion is obtained by looking for consensus among estimates from many sample paths. The proposed technique is evaluated with synthetic videos where ground-truth is known, and with American Sign Language videos where the goal is to detect periodic hand motions.

Automatic 2D Hand Tracking in Video Sequences

In gesture and sign language video sequences, hand motion tends to be rapid, and hands frequently appear in front of each other or in front of the face. Thus, hand location is often ambiguous, and naive color-based hand tracking is insufficient. To improve tracking accuracy, some methods employ a prediction-update framework, but such methods require careful initialization of model parameters, and tend to drift and lose track in extended sequences. In this paper, a temporal filtering framework for hand tracking is proposed that can initialize and reset itself without human intervention. In each frame, simple features like color and motion residue are exploited to identify multiple candidate hand locations. The temporal filter then uses the Viterbi algorithm to select among the candidates from frame to frame. The resulting tracking system can automatically identify video trajectories of unambiguous hand motion, and detect frames where tracking becomes ambiguous because of occlusions or overlaps. Experiments on video sequences of several hundred frames in duration demonstrate the system's ability to track hands robustly, to detect and handle tracking ambiguities, and to extract the trajectories of unambiguous hand motion.

Spatiotemporal Gesture Segmentation

Spotting patterns of interest in an input signal is a very useful task in many different fields including medicine, bioinformatics, economics, speech recognition and computer vision. Example instances of this problem include spotting an object of interest in an image (e.g., a tumor), a pattern of interest in a time-varying signal (e.g., audio analysis), or an object of interest moving in a specific way (e.g., a human's body gesture). Traditional spotting methods, which are based on Dynamic Time Warping or hidden Markov models, use some variant of dynamic programming to register the pattern and the input while accounting for temporal variation between them. At the same time, those methods often suffer from several shortcomings: they may give meaningless solutions when input observations are unreliable or ambiguous, they require a high complexity search across the whole input signal, and they may give incorrect solutions if some patterns appear as smaller parts within other patterns. In this thesis, we develop a framework that addresses these three problems, and evaluate the framework's performance in spotting and recognizing hand gestures in video. The first contribution is a spatiotemporal matching algorithm that extends the dynamic programming formulation to accommodate multiple candidate hand detections in every video frame. The algorithm finds the best alignment between the gesture model and the input, and simultaneously locates the best candidate hand detection in every frame. This allows for a gesture to be recognized even when the hand location is highly ambiguous. The second contribution is a pruning method that uses model-specific classifiers to reject dynamic programming hypotheses with a poor match between the input and model. Pruning improves the efficiency of the spatiotemporal matching algorithm, and in some cases may improve the recognition accuracy. The pruning classifiers are learned from training data, and cross-validation is used to reduce the chance of overpruning. The third contribution is a subgesture reasoning process that models the fact that some gesture models can falsely match parts of other, longer gestures. By integrating subgesture reasoning the spotting algorithm can avoid the premature detection of a subgesture when the longer gesture is actually being performed. Subgesture relations between pairs of gestures are automatically learned from training data. The performance of the approach is evaluated on two challenging video datasets: hand-signed digits gestured by users wearing short sleeved shirts, in front of a cluttered background, and American Sign Language (ASL) utterances gestured by ASL native signers. The experiments demonstrate that the proposed method is more accurate and efficient than competing approaches. The proposed approach can be generally applied to alignment or search problems with multiple input observations, that use dynamic programming to find a solution.

Constraint-based Mining of Frequent Arrangements of Temporal Intervals

The problem of discovering frequent arrangements of temporal intervals is studied. It is assumed that the database consists of sequences of events, where an event occurs during a time-interval. The goal is to mine temporal arrangements of event intervals that appear frequently in the database. The motivation of this work is the observation that in practice most events are not instantaneous but occur over a period of time and different events may occur concurrently. Thus, there are many practical applications that require mining such temporal correlations between intervals including the linguistic analysis of annotated data from American Sign Language as well as network and biological data. Two efficient methods to find frequent arrangements of temporal intervals are described; the first one is tree-based and uses depth first search to mine the set of frequent arrangements, whereas the second one is prefix-based. The above methods apply efficient pruning techniques that include a set of constraints consisting of regular expressions and gap constraints that add user-controlled focus into the mining process. Moreover, based on the extracted patterns a standard method for mining association rules is employed that applies different interestingness measures to evaluate the significance of the discovered patterns and rules. The performance of the proposed algorithms is evaluated and compared with other approaches on real (American Sign Language annotations and network data) and large synthetic datasets.

Do gesto á voz : um estudo de caso sobre a inclusão de estudantes surdos do ensino secundário recorrente noturno

Tese de doutoramento, Educação (Supervisão e Orientação da Prática Profissional), Universidade de Lisboa, Faculdade de Psicologia, 2015

Reconhecimento de língua gestual

Trabalho Final de Mestrado para obtenção do grau de Mestre em Engenharia Informática e Computadores

Réorganisation fonctionnelle et structurale des cortex auditifs, visuels et associatifs chez les sourds profonds congénitaux ou prélinguaux

En raison de l’utilisation d’un mode de communication totalement différent de celui des entendants, le langage des signes, et de l’absence quasi-totale d’afférences en provenance du système auditif, il y a de fortes chances que d’importantes modifications fonctionnelles et structurales s’effectuent dans le cerveau des individus sourds profonds. Les études antérieures suggèrent que cette réorganisation risque d’avoir des répercussions plus importantes sur les structures corticales situées le long de la voie visuelle dorsale qu’à l’intérieur de celles situées à l’intérieur de la voie ventrale. L’hypothèse proposée par Ungerleider et Mishkin (1982) quant à la présence de deux voies visuelles dans les régions occipitales, même si elle demeure largement acceptée dans la communauté scientifique, s’en trouve aussi relativement contestée. Une voie se projetant du cortex strié vers les régions pariétales postérieures, est impliquée dans la vision spatiale, et l’autre se projetant vers les régions du cortex temporal inférieur, est responsable de la reconnaissance de la forme. Goodale et Milner (1992) ont par la suite proposé que la voie dorsale, en plus de son implication dans le traitement de l’information visuo-spatiale, joue un rôle dans les ajustements sensori-moteurs nécessaires afin de guider les actions. Dans ce contexte, il est tout à fait plausible de considérer qu’un groupe de personne utilisant un langage sensori-moteur comme le langage des signes dans la vie de tous les jours, s’expose à une réorganisation cérébrale ciblant effectivement la voie dorsale. L’objectif de la première étude est d’explorer ces deux voies visuelles et plus particulièrement, la voie dorsale, chez des individus entendants par l’utilisation de deux stimuli de mouvement dont les caractéristiques physiques sont très similaires, mais qui évoquent un traitement relativement différent dans les régions corticales visuelles. Pour ce faire, un stimulus de forme définie par le mouvement et un stimulus de mouvement global ont été utilisés. Nos résultats indiquent que les voies dorsale et ventrale procèdent au traitement d’une forme définie par le mouvement, tandis que seule la voie dorsale est activée lors d’une tâche de mouvement global dont les caractéristiques psychophysiques sont relativement semblables. Nous avons utilisé, subséquemment, ces mêmes stimulations activant les voies dorsales et ventrales afin de vérifier quels pourraient être les différences fonctionnelles dans les régions visuelles et auditives chez des individus sourds profonds. Plusieurs études présentent la réorganisation corticale dans les régions visuelles et auditives en réponse à l’absence d’une modalité sensorielle. Cependant, l’implication spécifique des voies visuelles dorsale et ventrale demeure peu étudiée à ce jour, malgré plusieurs résultats proposant une implication plus importante de la voie dorsale dans la réorganisation visuelle chez les sourds. Suite à l’utilisation de l’imagerie cérébrale fonctionnelle pour investiguer ces questions, nos résultats ont été à l’encontre de cette hypothèse suggérant une réorganisation ciblant particulièrement la voie dorsale. Nos résultats indiquent plutôt une réorganisation non-spécifique au type de stimulation utilisé. En effet, le gyrus temporal supérieur est activé chez les sourds suite à la présentation de toutes nos stimulations visuelles, peu importe leur degré de complexité. Le groupe de participants sourds montre aussi une activation du cortex associatif postérieur, possiblement recruté pour traiter l’information visuelle en raison de l’absence de compétition en provenance des régions temporales auditives. Ces résultats ajoutent aux données déjà recueillies sur les modifications fonctionnelles qui peuvent survenir dans tout le cerveau des personnes sourdes, cependant les corrélats anatomiques de la surdité demeurent méconnus chez cette population. Une troisième étude se propose donc d’examiner les modifications structurales pouvant survenir dans le cerveau des personnes sourdes profondes congénitales ou prélinguales. Nos résultats montrent que plusieurs régions cérébrales semblent être différentes entre le groupe de participants sourds et celui des entendants. Nos analyses ont montré des augmentations de volume, allant jusqu’à 20%, dans les lobes frontaux, incluant l’aire de Broca et d’autres régions adjacentes impliqués dans le contrôle moteur et la production du langage. Les lobes temporaux semblent aussi présenter des différences morphométriques même si ces dernières ne sont pas significatives. Enfin, des différences de volume sont également recensées dans les parties du corps calleux contenant les axones permettant la communication entre les régions temporales et occipitales des deux hémisphères.

Design and Development of a Frame Based MT System for English-to-ISL

This paper presents the design and development of a frame based approach for speech to sign language machine translation system in the domain of railways and banking. This work aims to utilize the capability of Artificial intelligence for the improvement of physically challenged, deaf-mute people. Our work concentrates on the sign language used by the deaf community of Indian subcontinent which is called Indian Sign Language (ISL). Input to the system is the clerk’s speech and the output of this system is a 3D virtual human character playing the signs for the uttered phrases. The system builds up 3D animation from pre-recorded motion capture data. Our work proposes to build a Malayalam to ISL

Projecte col-laboratiu en l'àmbit de la sordesa i les llengües de signes

El treball que presentem descriu l'experiència de treball col-laboratiu entre professorat -alumnat i alumne-alumne en l'àmbit de la sordesa i les llengües de signes en una assignatura del màster "Comunitat Sorda, Educació i Llengües de Signes", impartit en la Facultat de Formació del Professorat de la Universitat de Barcelona. El projecte consisteix en l'elaboració d'entrades relatives a l'àmbit de les llengües de signes per a ser incorporades en un diccionari de termes lingüístics. Describim les característiques del projecte i les eines tecnològiques per al treball col-laboratiu emprades al llarg del procés

A narrativa em crianças surdas : papel da Língua Gestual Portuguesa

A presente pesquisa tem como Questão Central a avaliação da estrutura da narrativa por um grupo de seis crianças surdas profundas utilizando a Língua Gestual Portuguesa (LGP). Neste estudo questionou-se se se encontrariam diferenças na produção da narrativa entre crianças que adquiriram a LGP precocemente e as que tiveram o primeiro contato com a língua materna tardiamente. Colocou-se a hipótese geral que a língua natural das crianças surdas portuguesas é a LGP e as que tiveram um acesso precoce à sua língua apresentam um melhor desempenho na narração de uma história. Para verificar esta hipótese, foi aplicada uma prova que consistia no conto de uma história, a partir de uma sequência de imagens, em LGP a todos as crianças desta investigação. Releva-se a importância de um precoce ambiente comunicativo para que a criança surda adquira um desenvolvimento global semelhante aos seus pares ouvintes. Salienta-se ainda que a influência dos pais, dos educadores e dos professores é fundamental para que a criança surda possa desenvolver a sua língua natural, a LGP e a aprendizagem da segunda língua. Os resultados obtidos confirmaram as hipóteses colocadas, ou seja, as crianças que adquiriram precocemente a LGP apresentaram um maior desenvolvimento na estrutura da narrativa.

Signwriting : um sistema de escrita das línguas gestuais : aplicação à língua gestual portuguesa

A língua gestual (LG) é a língua natural da pessoa surda, sendo utilizada como forma de expressão e comunicação da comunidade surda de um determinado país. Porém, é de todo impossível escrever estas línguas através de um alfabeto comum como o da Língua Portuguesa (LP). Em 1974, na Dinamarca, Valerie Sutton criou o SignWriting (SW), um sistema de escrita das línguas gestuais, contrariando assim a ideia de que as línguas espaço-visuais não poderiam ter uma representação gráfica. Para o surgimento deste sistema foram fundamentais os estudos pioneiros de William Stokoe que reconheceram o estatuto linguístico das línguas gestuais, atribuindo-lhes propriedades inerentes a uma língua, como por exemplo a arbitrariedade e convencionalidade. Neste trabalho apresentamos o SW, sistema de escrita das línguas gestuais já utilizado noutros países, e questionamos se é exequível e profícua a sua adaptação à língua gestual portuguesa (LGP). Nesse sentido, concretizamos a escrita da LGP com base em áreas vocabulares distintas e presentes no programa curricular do ensino da LGP. Por último, efetivamos tal proposta através de um modelo de ação de formação em SW.

Olhos que ouvem... Mãos que falam : proposta de um guia didático de LGP para alunos ouvintes

O presente trabalho tem como temática central compreender e conhecer as competências linguísticas comunicativas e níveis de desempenho específicos que devem integrar um guia de ensino de Língua Gestual Portuguesa (LGP) para alunos ouvintes no ensino básico, bem como as perceções, perspetivas e posicionamento dos profissionais da área da LGP relativamente ao ensino desta língua a alunos ouvintes. Assim, teve como objetivos recolher e conhecer informação sobre a necessidade de a LGP ser uma oferta nas nossas escolas como qualquer outra língua estrangeira; identificar as competências linguísticas comunicativas específicas e níveis de desempenho para um guia de ensino de LGP para alunos ouvintes no 2º ciclo do ensino básico 5º e 6ºano e conceber atividades didáticas para esse ensino. Os resultados encontrados mostram que de facto a aprendizagem da LGP nas escolas de referência para a educação bilingue de alunos surdos (EREBAS) é já uma realidade em algumas escolas do nosso país de norte a sul, que a aprendizagem da LGP é uma necessidade e que deve existir como língua de oferta para alunos ouvintes e que não existe uma coerência no ensino desta língua, considerando-se, por isso, necessário a criação de uma proposta de um documento regulador que poderá servir de modelo guia para esse ensino.