A SDK improvement towards gesture support

Human-Computer Interaction have been one of the main focus of the technological community, specially the Natural User Interfaces (NUI) field of research as, since the launch of the Kinect Sensor, the goal to achieve fully natural interfaces just got a lot closer to reality. Taking advantage of this conditions the following research work proposes to compute the hand skeleton in order to recognize Sign Language Shapes. The proposed solution uses the Kinect Sensor to achieve a good segmentation and image analysis algorithms to extend the skeleton from the extraction of high-level features. In order to recognize complex hand shapes the current research work proposes the redefinition of the hand contour making it immutable to translation, rotation and scaling operations, and a set of tools to achieve a good recognition. The validation of the proposed solution extended the Kinects Software Development Kit to allow the developer to access the new set of inferred points and created a template-matching based platform that uses the contour to define the hand shape, this prototype was tested in a set of predefined conditions and showed to have a good success ration and has proven to be eligible for real-time scenarios.

Hand gesture recognition system based in computer vision and machine learning

"Lecture notes in computational vision and biomechanics series, ISSN 2212-9391, vol. 19"

Um olhar sobre a surdez: uma história de vida

Dissertação de mestrado em Educação Especial (área de especialização em Intervenção Precoce)

Hand gesture recognition system based in computer vision and machine learning: Applications on human-machine interaction

Tese de Doutoramento em Engenharia de Eletrónica e de Computadores

A radiodifusão no Brasil e em Portugal e a invasão dos brasucas: uma nova linguagem

Tese de Doutoramento em Ciências da Comunicação (área de especialização em Sociologia da Comunicação e da Informação).

Cross-cultural adaptation to Brazil of Medication Adherence Rating Scale for psychiatric patients

Objective The purpose of this research was to make a cross-cultural adaptation of the Medication Adherence Rating Scale (MARS) for psychiatric patients to the Brazilian context. Methods The procedure consisted of four phases: translation of the original scale, back-translation, review by an Expert Committee and Pre-test study with a patients’ sample. Results The Expert Committee corrected the items’ translation when necessary and modified the scale administration format and its instructions from self-report to face-to-face interview form in order to ensure easy understanding by the target population. During Pre-test, the instructions and most of the items were properly understood by patients, with the exception of three of them which had to be changed in order to ensure better understanding. The Pre-test sample was composed by 30 psychiatric patients, with severe and persistent disorders mainly single (46.7%), female (60.0%), with a mean age of 43.8 years old and an average of five years of education. Conclusion The Brazilian version of MARS scale is now adapted to the Brazilian Portuguese language and culture and is easily understood by the psychiatric target population. It is necessary to do further research to evaluate the scale psychometric qualities of validity and reliability in order to use it in Brazil.

Análise e identificação dos termos matemáticos utilizados no 1º e 2º ciclo do ensino básico e sua correspondência na língua gestual portuguesa

Dissertação de mestrado em Educação Especial (área de especialização em Dificuldades de Aprendizagem Específicas)

Cook It!

We have two Deaf members who are fully trained to deliver the COOK IT programme to other Deaf members. We have developed a signed COOK IT DVD for Deaf people to view.  It covers the information from the COOK IT programme and is signed in British Sign Language. Big Lottery Fund, Santander, Henry Smith Charity, Lloyds Foundation, Children in Need Initiative Type Nutrition Education and Training Programmes Location Derry/Londonderry Target Groups People with physical sensory and intellectual disability Funding Big Lottery Fund, Santander, Henry Smith Charity, Lloyds Foundation, Children in Need Partner Agencies Action on Hearing Loss Arts & Leisure Derry Healthy Cities Limavady Council North West Regional College Public Health Agency Signature Western Health and Social Care Trust

Reconeixement de gestos de la mà amb el sensor Kinect

El reconeixement dels gestos de la mà (HGR, Hand Gesture Recognition) és actualment un camp important de recerca degut a la varietat de situacions en les quals és necessari comunicar-se mitjançant signes, com pot ser la comunicació entre persones que utilitzen la llengua de signes i les que no. En aquest projecte es presenta un mètode de reconeixement de gestos de la mà a temps real utilitzant el sensor Kinect per Microsoft Xbox, implementat en un entorn Linux (Ubuntu) amb llenguatge de programació Python i utilitzant la llibreria de visió artifical OpenCV per a processar les dades sobre un ordinador portàtil convencional. Gràcies a la capacitat del sensor Kinect de capturar dades de profunditat d’una escena es poden determinar les posicions i trajectòries dels objectes en 3 dimensions, el que implica poder realitzar una anàlisi complerta a temps real d’una imatge o d’una seqüencia d’imatges. El procediment de reconeixement que es planteja es basa en la segmentació de la imatge per poder treballar únicament amb la mà, en la detecció dels contorns, per després obtenir l’envolupant convexa i els defectes convexos, que finalment han de servir per determinar el nombre de dits i concloure en la interpretació del gest; el resultat final és la transcripció del seu significat en una finestra que serveix d’interfície amb l’interlocutor. L’aplicació permet reconèixer els números del 0 al 5, ja que s’analitza únicament una mà, alguns gestos populars i algunes de les lletres de l’alfabet dactilològic de la llengua de signes catalana. El projecte és doncs, la porta d’entrada al camp del reconeixement de gestos i la base d’un futur sistema de reconeixement de la llengua de signes capaç de transcriure tant els signes dinàmics com l’alfabet dactilològic.

Aproximación sociolingüística a las lenguas de signos a través de la realidad catalana

Al oír y leer algunos de los comentarios que suscitó la aprobación, el 26 de mayo de 2010, de la Ley de la lengua de signos catalana (LSC), pueden entenderse algunos de los posibles porqués de su demora. Un día después de aprobarse la ley por 132 votos a favor y ninguno en contra, el portavoz de UPyD en Cataluña, Antonio Robles, en rueda de prensa, afirmaba:"Nos parece un ejercicio de crueldad innecesaria excluir la lengua de signos común de todos los españoles de la enseñanza vehicular de los niños sordos y sordociegos." . Asimismo, el Sr. Robles declaraba no comprender la razón de que PP y Ciutadans hubieran votado a favor de dicha ley, y se lamentaba de que UPyD no hubiera estado en el hemiciclo para haber podido oponerse a lo que él considera la exclusión de la lengua de signos española (LSE). Mientras que el PP no dejaba oír su contrarréplica, el partido de Albert Rivera reconocía su error en la votación, ya que"entendía que el texto final, que se sometía a votación, era bilingüe, es decir que permitía escoger entre la lengua de signos española y la lengua de signos catalana" . Afirmaciones de este tipo nos llevan a recordar que el debate y la polémica sobre el bilingüismo en Cataluña, cuyo fuego han querido atizar políticos como Antonio Robles aprovechando la aprobación de una ley tan celebrada por la comunidad sorda, no tiene sentido alguno para la lengua de signos. Pero lo cierto es que no puede reprochárseles un desconocimiento que, desgraciadamente, es generalizado entre aquellos que no han tenido ocasión de acercarse a la realidad de los sordos, o a su lengua.

Research into the information referents of deaf signers

La sociedad de la información está ampliando los referentes informativos de las personas sordas signantes (usuarias de una lengua de signos). Con el objetivo de explorar las vías más utilizadas para acceder a la actualidad periodística por parte del colectivo mencionado, este artículo resume una investigación cuantitativa realizada con una encuesta a 138 personas Sordas: 69 en España y 69 en EE.UU. El trabajo se complementa cualitativamente con un focus group en la Gallaudet University de Washington, en American Sign Language (ASL), y con la observación de tres conferencias-magazines en Barcelona, para participantes sordos, en Lengua de Signos Catalana (LSC).

Reflexiones sobre la escritura y la alfabetización de los niños sordos

Importancia de la lengua escrita en nuestra cultura para apropiarnos del conocimiento social. Las personas sordas precisan de una lengua visual, la Lengua se Signos, para alcanzar un nivel competente de lectura y escritura, y por tanto es necesario que desde los inicios los niños sordos aprendan esta lengua junto con la lengua oral, propia de su comunidad. Se reconoce el bilingüismo como la opción más adecuada para esta población.

Reconeixement de gestos de la mà amb el sensor Kinect

El reconeixement dels gestos de la mà (HGR, Hand Gesture Recognition) és actualment un camp important de recerca degut a la varietat de situacions en les quals és necessari comunicar-se mitjançant signes, com pot ser la comunicació entre persones que utilitzen la llengua de signes i les que no. En aquest projecte es presenta un mètode de reconeixement de gestos de la mà a temps real utilitzant el sensor Kinect per Microsoft Xbox, implementat en un entorn Linux (Ubuntu) amb llenguatge de programació Python i utilitzant la llibreria de visió artifical OpenCV per a processar les dades sobre un ordinador portàtil convencional. Gràcies a la capacitat del sensor Kinect de capturar dades de profunditat d’una escena es poden determinar les posicions i trajectòries dels objectes en 3 dimensions, el que implica poder realitzar una anàlisi complerta a temps real d’una imatge o d’una seqüencia d’imatges. El procediment de reconeixement que es planteja es basa en la segmentació de la imatge per poder treballar únicament amb la mà, en la detecció dels contorns, per després obtenir l’envolupant convexa i els defectes convexos, que finalment han de servir per determinar el nombre de dits i concloure en la interpretació del gest; el resultat final és la transcripció del seu significat en una finestra que serveix d’interfície amb l’interlocutor. L’aplicació permet reconèixer els números del 0 al 5, ja que s’analitza únicament una mà, alguns gestos populars i algunes de les lletres de l’alfabet dactilològic de la llengua de signes catalana. El projecte és doncs, la porta d’entrada al camp del reconeixement de gestos i la base d’un futur sistema de reconeixement de la llengua de signes capaç de transcriure tant els signes dinàmics com l’alfabet dactilològic.

Réorganisation fonctionnelle et structurale des cortex auditifs, visuels et associatifs chez les sourds profonds congénitaux ou prélinguaux

En raison de l’utilisation d’un mode de communication totalement différent de celui des entendants, le langage des signes, et de l’absence quasi-totale d’afférences en provenance du système auditif, il y a de fortes chances que d’importantes modifications fonctionnelles et structurales s’effectuent dans le cerveau des individus sourds profonds. Les études antérieures suggèrent que cette réorganisation risque d’avoir des répercussions plus importantes sur les structures corticales situées le long de la voie visuelle dorsale qu’à l’intérieur de celles situées à l’intérieur de la voie ventrale. L’hypothèse proposée par Ungerleider et Mishkin (1982) quant à la présence de deux voies visuelles dans les régions occipitales, même si elle demeure largement acceptée dans la communauté scientifique, s’en trouve aussi relativement contestée. Une voie se projetant du cortex strié vers les régions pariétales postérieures, est impliquée dans la vision spatiale, et l’autre se projetant vers les régions du cortex temporal inférieur, est responsable de la reconnaissance de la forme. Goodale et Milner (1992) ont par la suite proposé que la voie dorsale, en plus de son implication dans le traitement de l’information visuo-spatiale, joue un rôle dans les ajustements sensori-moteurs nécessaires afin de guider les actions. Dans ce contexte, il est tout à fait plausible de considérer qu’un groupe de personne utilisant un langage sensori-moteur comme le langage des signes dans la vie de tous les jours, s’expose à une réorganisation cérébrale ciblant effectivement la voie dorsale. L’objectif de la première étude est d’explorer ces deux voies visuelles et plus particulièrement, la voie dorsale, chez des individus entendants par l’utilisation de deux stimuli de mouvement dont les caractéristiques physiques sont très similaires, mais qui évoquent un traitement relativement différent dans les régions corticales visuelles. Pour ce faire, un stimulus de forme définie par le mouvement et un stimulus de mouvement global ont été utilisés. Nos résultats indiquent que les voies dorsale et ventrale procèdent au traitement d’une forme définie par le mouvement, tandis que seule la voie dorsale est activée lors d’une tâche de mouvement global dont les caractéristiques psychophysiques sont relativement semblables. Nous avons utilisé, subséquemment, ces mêmes stimulations activant les voies dorsales et ventrales afin de vérifier quels pourraient être les différences fonctionnelles dans les régions visuelles et auditives chez des individus sourds profonds. Plusieurs études présentent la réorganisation corticale dans les régions visuelles et auditives en réponse à l’absence d’une modalité sensorielle. Cependant, l’implication spécifique des voies visuelles dorsale et ventrale demeure peu étudiée à ce jour, malgré plusieurs résultats proposant une implication plus importante de la voie dorsale dans la réorganisation visuelle chez les sourds. Suite à l’utilisation de l’imagerie cérébrale fonctionnelle pour investiguer ces questions, nos résultats ont été à l’encontre de cette hypothèse suggérant une réorganisation ciblant particulièrement la voie dorsale. Nos résultats indiquent plutôt une réorganisation non-spécifique au type de stimulation utilisé. En effet, le gyrus temporal supérieur est activé chez les sourds suite à la présentation de toutes nos stimulations visuelles, peu importe leur degré de complexité. Le groupe de participants sourds montre aussi une activation du cortex associatif postérieur, possiblement recruté pour traiter l’information visuelle en raison de l’absence de compétition en provenance des régions temporales auditives. Ces résultats ajoutent aux données déjà recueillies sur les modifications fonctionnelles qui peuvent survenir dans tout le cerveau des personnes sourdes, cependant les corrélats anatomiques de la surdité demeurent méconnus chez cette population. Une troisième étude se propose donc d’examiner les modifications structurales pouvant survenir dans le cerveau des personnes sourdes profondes congénitales ou prélinguales. Nos résultats montrent que plusieurs régions cérébrales semblent être différentes entre le groupe de participants sourds et celui des entendants. Nos analyses ont montré des augmentations de volume, allant jusqu’à 20%, dans les lobes frontaux, incluant l’aire de Broca et d’autres régions adjacentes impliqués dans le contrôle moteur et la production du langage. Les lobes temporaux semblent aussi présenter des différences morphométriques même si ces dernières ne sont pas significatives. Enfin, des différences de volume sont également recensées dans les parties du corps calleux contenant les axones permettant la communication entre les régions temporales et occipitales des deux hémisphères.

Design and Development of a Frame Based MT System for English-to-ISL

This paper presents the design and development of a frame based approach for speech to sign language machine translation system in the domain of railways and banking. This work aims to utilize the capability of Artificial intelligence for the improvement of physically challenged, deaf-mute people. Our work concentrates on the sign language used by the deaf community of Indian subcontinent which is called Indian Sign Language (ISL). Input to the system is the clerk’s speech and the output of this system is a 3D virtual human character playing the signs for the uttered phrases. The system builds up 3D animation from pre-recorded motion capture data. Our work proposes to build a Malayalam to ISL