Reconeixement de gestos de la mà amb el sensor Kinect

El reconeixement dels gestos de la mà (HGR, Hand Gesture Recognition) és actualment un camp important de recerca degut a la varietat de situacions en les quals és necessari comunicar-se mitjançant signes, com pot ser la comunicació entre persones que utilitzen la llengua de signes i les que no. En aquest projecte es presenta un mètode de reconeixement de gestos de la mà a temps real utilitzant el sensor Kinect per Microsoft Xbox, implementat en un entorn Linux (Ubuntu) amb llenguatge de programació Python i utilitzant la llibreria de visió artifical OpenCV per a processar les dades sobre un ordinador portàtil convencional. Gràcies a la capacitat del sensor Kinect de capturar dades de profunditat d’una escena es poden determinar les posicions i trajectòries dels objectes en 3 dimensions, el que implica poder realitzar una anàlisi complerta a temps real d’una imatge o d’una seqüencia d’imatges. El procediment de reconeixement que es planteja es basa en la segmentació de la imatge per poder treballar únicament amb la mà, en la detecció dels contorns, per després obtenir l’envolupant convexa i els defectes convexos, que finalment han de servir per determinar el nombre de dits i concloure en la interpretació del gest; el resultat final és la transcripció del seu significat en una finestra que serveix d’interfície amb l’interlocutor. L’aplicació permet reconèixer els números del 0 al 5, ja que s’analitza únicament una mà, alguns gestos populars i algunes de les lletres de l’alfabet dactilològic de la llengua de signes catalana. El projecte és doncs, la porta d’entrada al camp del reconeixement de gestos i la base d’un futur sistema de reconeixement de la llengua de signes capaç de transcriure tant els signes dinàmics com l’alfabet dactilològic.

Aproximación sociolingüística a las lenguas de signos a través de la realidad catalana

Al oír y leer algunos de los comentarios que suscitó la aprobación, el 26 de mayo de 2010, de la Ley de la lengua de signos catalana (LSC), pueden entenderse algunos de los posibles porqués de su demora. Un día después de aprobarse la ley por 132 votos a favor y ninguno en contra, el portavoz de UPyD en Cataluña, Antonio Robles, en rueda de prensa, afirmaba:"Nos parece un ejercicio de crueldad innecesaria excluir la lengua de signos común de todos los españoles de la enseñanza vehicular de los niños sordos y sordociegos." . Asimismo, el Sr. Robles declaraba no comprender la razón de que PP y Ciutadans hubieran votado a favor de dicha ley, y se lamentaba de que UPyD no hubiera estado en el hemiciclo para haber podido oponerse a lo que él considera la exclusión de la lengua de signos española (LSE). Mientras que el PP no dejaba oír su contrarréplica, el partido de Albert Rivera reconocía su error en la votación, ya que"entendía que el texto final, que se sometía a votación, era bilingüe, es decir que permitía escoger entre la lengua de signos española y la lengua de signos catalana" . Afirmaciones de este tipo nos llevan a recordar que el debate y la polémica sobre el bilingüismo en Cataluña, cuyo fuego han querido atizar políticos como Antonio Robles aprovechando la aprobación de una ley tan celebrada por la comunidad sorda, no tiene sentido alguno para la lengua de signos. Pero lo cierto es que no puede reprochárseles un desconocimiento que, desgraciadamente, es generalizado entre aquellos que no han tenido ocasión de acercarse a la realidad de los sordos, o a su lengua.

Research into the information referents of deaf signers

La sociedad de la información está ampliando los referentes informativos de las personas sordas signantes (usuarias de una lengua de signos). Con el objetivo de explorar las vías más utilizadas para acceder a la actualidad periodística por parte del colectivo mencionado, este artículo resume una investigación cuantitativa realizada con una encuesta a 138 personas Sordas: 69 en España y 69 en EE.UU. El trabajo se complementa cualitativamente con un focus group en la Gallaudet University de Washington, en American Sign Language (ASL), y con la observación de tres conferencias-magazines en Barcelona, para participantes sordos, en Lengua de Signos Catalana (LSC).

Reflexiones sobre la escritura y la alfabetización de los niños sordos

Importancia de la lengua escrita en nuestra cultura para apropiarnos del conocimiento social. Las personas sordas precisan de una lengua visual, la Lengua se Signos, para alcanzar un nivel competente de lectura y escritura, y por tanto es necesario que desde los inicios los niños sordos aprendan esta lengua junto con la lengua oral, propia de su comunidad. Se reconoce el bilingüismo como la opción más adecuada para esta población.

Reconeixement de gestos de la mà amb el sensor Kinect

El reconeixement dels gestos de la mà (HGR, Hand Gesture Recognition) és actualment un camp important de recerca degut a la varietat de situacions en les quals és necessari comunicar-se mitjançant signes, com pot ser la comunicació entre persones que utilitzen la llengua de signes i les que no. En aquest projecte es presenta un mètode de reconeixement de gestos de la mà a temps real utilitzant el sensor Kinect per Microsoft Xbox, implementat en un entorn Linux (Ubuntu) amb llenguatge de programació Python i utilitzant la llibreria de visió artifical OpenCV per a processar les dades sobre un ordinador portàtil convencional. Gràcies a la capacitat del sensor Kinect de capturar dades de profunditat d’una escena es poden determinar les posicions i trajectòries dels objectes en 3 dimensions, el que implica poder realitzar una anàlisi complerta a temps real d’una imatge o d’una seqüencia d’imatges. El procediment de reconeixement que es planteja es basa en la segmentació de la imatge per poder treballar únicament amb la mà, en la detecció dels contorns, per després obtenir l’envolupant convexa i els defectes convexos, que finalment han de servir per determinar el nombre de dits i concloure en la interpretació del gest; el resultat final és la transcripció del seu significat en una finestra que serveix d’interfície amb l’interlocutor. L’aplicació permet reconèixer els números del 0 al 5, ja que s’analitza únicament una mà, alguns gestos populars i algunes de les lletres de l’alfabet dactilològic de la llengua de signes catalana. El projecte és doncs, la porta d’entrada al camp del reconeixement de gestos i la base d’un futur sistema de reconeixement de la llengua de signes capaç de transcriure tant els signes dinàmics com l’alfabet dactilològic.