Tecnologies de la parla: creació d'un punt d'informació

En esta memoria está reflejado todo el proceso de creación de un sistema de diàlogo persona-màquina basado en la idea de montar un punto de información turístico que transmita datos hablados al turista cuando éste se los pida. Se encontrará una breve introducción a estos sistemas, se explicarán las partes que se utilizan a la hora de construir uno, se verá el funcionamiento, las herramientas utilizadas durante la creación de nuestro proyecto, las pruebas realizadas para comprobar su correcto funcionamiento y para terminar también se comentará el resultado del estudio de viabilidad llevado a cabo.

Reconeixement de veu mitjançant xarxes neuronals

La interacció home-màquina per mitjà de la veu cobreix moltes àrees d’investigació. Es destaquen entre altres, el reconeixement de la parla, la síntesis i identificació de discurs, la verificació i identificació de locutor i l’activació per veu (ordres) de sistemes robòtics. Reconèixer la parla és natural i simple per a les persones, però és un treball complex per a les màquines, pel qual existeixen diverses metodologies i tècniques, entre elles les Xarxes Neuronals. L’objectiu d’aquest treball és desenvolupar una eina en Matlab per al reconeixement i identificació de paraules pronunciades per un locutor, entre un conjunt de paraules possibles, i amb una bona fiabilitat dins d’uns marges preestablerts. El sistema és independent del locutor que pronuncia la paraula, és a dir, aquest locutor no haurà intervingut en el procés d’entrenament del sistema. S’ha dissenyat una interfície que permet l’adquisició del senyal de veu i el seu processament mitjançant xarxes neuronals i altres tècniques. Adaptant una part de control al sistema, es podria utilitzar per donar ordres a un robot com l’Alfa6Uvic o qualsevol altre dispositiu.

Reconeixement de gestos de la mà amb el sensor Kinect

El reconeixement dels gestos de la mà (HGR, Hand Gesture Recognition) és actualment un camp important de recerca degut a la varietat de situacions en les quals és necessari comunicar-se mitjançant signes, com pot ser la comunicació entre persones que utilitzen la llengua de signes i les que no. En aquest projecte es presenta un mètode de reconeixement de gestos de la mà a temps real utilitzant el sensor Kinect per Microsoft Xbox, implementat en un entorn Linux (Ubuntu) amb llenguatge de programació Python i utilitzant la llibreria de visió artifical OpenCV per a processar les dades sobre un ordinador portàtil convencional. Gràcies a la capacitat del sensor Kinect de capturar dades de profunditat d’una escena es poden determinar les posicions i trajectòries dels objectes en 3 dimensions, el que implica poder realitzar una anàlisi complerta a temps real d’una imatge o d’una seqüencia d’imatges. El procediment de reconeixement que es planteja es basa en la segmentació de la imatge per poder treballar únicament amb la mà, en la detecció dels contorns, per després obtenir l’envolupant convexa i els defectes convexos, que finalment han de servir per determinar el nombre de dits i concloure en la interpretació del gest; el resultat final és la transcripció del seu significat en una finestra que serveix d’interfície amb l’interlocutor. L’aplicació permet reconèixer els números del 0 al 5, ja que s’analitza únicament una mà, alguns gestos populars i algunes de les lletres de l’alfabet dactilològic de la llengua de signes catalana. El projecte és doncs, la porta d’entrada al camp del reconeixement de gestos i la base d’un futur sistema de reconeixement de la llengua de signes capaç de transcriure tant els signes dinàmics com l’alfabet dactilològic.

Disseny, implementació i avaluació d'un joc tangible basat en puzles per aprendre concepte de les enginyeries TIC

L'interès per les carreres relacionades amb les enginyeries del camp de les Tecnologies de la Informació i la Comunicació (TIC) va caient any rere any i això es tradueix en menys matriculacions per cada any que passa. Una de les causes principals és la falta de motivació i interès envers aquestes carreres. Aquest problema s’atribueix a que les metodologies d’aprenentatge tradicionals no s’adeqüen a les necessitats i requeriments dels estudiants d’avui dia, que han crescut envoltats de tecnologia, i se’ls coneix amb el nom en anglès de digitalnatives.L’aprenentatge basat en jocs sorgeix com a una possible solució per afrontar aquesta falta d’interès per les àrees del coneixement relacionades amb les enginyeries TIC. Aquest mètode d'aprenentatge consisteix en que els estudiants aprenguin conceptes de les TIC mentre estan jugant a un joc. Per tant, en el context d’aquest PFC, ens centrarem en el disseny i implementació d’un joc per aprendre conceptes bàsics de les enginyeries TIC. En concret, el disseny d’aquest joc segueix les característiques definides per un model conceptual que descriuquins són els elements necessaris per crear jocs basats en puzles: quins són els elements principals que componen aquests tipus de joc i quines pistes es poden afegir per guiar a l’estudiant en el procés d’aprenentatge amb el joc. Per altra banda, pel que fa a laimplementació del joc, s’utilitzarà tecnologia basada en interfícies tangibles.Per tal d’analitzar el joc basat en puzles que s’ha dissenyat i implementat per aprendre conceptes basics de les Enginyeries TIC, s’ha portat a terme una avaluació amb estudiants d’un centre educatiu. Aspectes com el disseny de pistes, l’experiència dels estudiants amb el joc il’aprenentatge amb el joc seran analitzats per extreure les conclusions oportunes.

Disseny, implementació i avaluació d'un joc tangible basat en puzles per a l'aprenentatge d'arquitectura d'ordinadors

Actualment existeix una falta d'interès per part dels estudiants a l'àrea de les enginyeries en Tecnologies de la Informació i la Comunicació (TIC) que es pot veure reflectida en el descens de les matriculacions universitàries en aquest àmbit. Aquest fet està relacionat amb que la nova generació d‟estudiants està constantment en contacte amb tota mena d'aparells tecnològics estimulants i a l‟hora de l‟estudi poden sofrir una falta d‟interès per l‟ús d‟una metodologia d'aprenentatge més tradicional. En aquest sentit s'ha investigat que l‟ús de jocs com a eina educativa pot ser una bona solució per afrontar aquesta falta d'interès. No obstant això, actualment no existeixen gaires jocs destinats a aprendre conceptes relacionats amb les enginyeries TIC i que proporcionin als estudiants els mecanismes d'ajuda necessaris per donar-los suport durant l'aprenentatge d‟aquests nous conceptes. En aquest projecte es desenvoluparà un joc educatiu per a estudiants amb l‟objectiu de proporcionar uns primers coneixements sobre les TIC. Per una banda, per al disseny del joc s‟utilitzarà un model conceptual que defineix els elements necessaris per a dissenyar jocs basats en resoldre puzles. A més, aquest model conceptual permet el disseny no només de jocs per a PCs, sinó també de jocs tangibles i exploratius (mitjançant tecnologia mòbil). En el nostre cas, ens centrarem en la implementació d‟un joc tangible. Per altra banda, pel que fa a la implementació, tindrem en compte l‟estàndard educatiu d‟IMS Learning Design, demostrant d‟aquesta manera que aquest tipus de jocs es poden beneficiar dels avantatges que aporten els estàndards educatius. Per tant, en aquest PFC es dissenyarà i implementarà un joc tangible basat en puzles dintre de l‟àrea d‟arquitectura d‟ordinadors. El joc constarà de tres mini-jocs que es presentaran com jocs de realitat augmentada amb el suport d‟un ordinador i unes peces físiques amb les que interactuaran els usuaris. El sistema proporcionarà un sistema d‟ajuda i un sistema de puntuació. Per últim, avaluarem el joc en un centre escolar amb estudiants de 4t d‟ESO amb la finalitat d'analitzar les valoracions dels estudiants respecte el joc i les pistes proporcionades.

Remote collaborative multi-user informal learning experiences: design and evaluation

This paper presents a customizable system used to develop a collaborative multi-user problem solving game. It addresses the increasing demand for appealing informal learning experiences in museum-like settings. The system facilitates remote collaboration by allowing groups of learners tocommunicate through a videoconferencing system and by allowing them to simultaneously interact through a shared multi-touch interactive surface. A user study with 20 user groups indicates that the game facilitates collaboration between local and remote groups of learners. The videoconference and multitouch surface acted as communication channels, attracted students’ interest, facilitated engagement, and promoted inter- and intra-group collaboration—favoring intra-group collaboration. Our findings suggest that augmentingvideoconferencing systems with a shared multitouch space offers newpossibilities and scenarios for remote collaborative environments and collaborative learning.

Desarrollo de una web semántica

Amb aquest projecte es vol solucionar aquesta manca d'accés a la informació i sobretot disposar d'un sistema que relacioni "tot amb tot", és a dir, muntar un sistema únic per documentar xarxa (física) independentment de l'element que es vulgui documentar. La idea és basar el projecte de documentació en una web semàntica basada en wiki semàntica amb un motor de cerca MediaWiki.

Acting Rehearsal in Collaborative Multimodal Mixed Reality Environments

This paper presents the use of our multimodal mixed reality telecommunication system to support remote acting rehearsal. The rehearsals involved two actors, located in London and Barcelona, and a director in another location in London. This triadic audiovisual telecommunication was performed in a spatial and multimodal collaborative mixed reality environment based on the 'destination-visitor' paradigm, which we define and put into use. We detail our heterogeneous system architecture, which spans the three distributed and technologically asymmetric sites, and features a range of capture, display, and transmission technologies. The actors' and director's experience of rehearsing a scene via the system are then discussed, exploring successes and failures of this heterogeneous form of telecollaboration. Overall, the common spatial frame of reference presented by the system to all parties was highly conducive to theatrical acting and directing, allowing blocking, gross gesture, and unambiguous instruction to be issued. The relative inexpressivity of the actors' embodiments was identified as the central limitation of the telecommunication, meaning that moments relying on performing and reacting to consequential facial expression and subtle gesture were less successful.

Is my hand connected to my body? The impact of body continuity and arm alignment on the virtual hand illusion

When a rubber hand is placed on a table top in a plausible position as if part of a person"s body, and is stroked synchronously with the person"s corresponding hidden real hand, an illusion of ownership over the rubber hand can occur (Botvinick and Cohen 1998). A similar result has been found with respect to a virtual hand portrayed in a virtual environment, a virtual hand illusion (Slater et al. 2008). The conditions under which these illusions occur have been the subject of considerable study. Here we exploited the flexibility of virtual reality to examine four contributory factors: visuo-tactile synchrony while stroking the virtual and the real arms, body continuity, alignment between the real and virtual arms, and the distance between them. We carried out three experiments on a total of 32 participants where these factors were varied. The results show that the subjective illusion of ownership over the virtual arm and the time to evoke this illusion are highly dependent on synchronous visuo-tactile stimulation and on connectivity of the virtual arm with the rest of the virtual body. The alignment between the real and virtual arms and the distance between these were less important. It was found that proprioceptive drift was not a sensitive measure of the illusion, but was only related to the distance between the real and virtual arms.

Acting rehearsal in collaborative multimodal mixed reality environments

This paper presents the use of our multimodal mixed reality telecommunication system to support remote acting rehearsal. The rehearsals involved two actors, located in London and Barcelona, and a director in another location in London. This triadic audiovisual telecommunication was performed in a spatial and multimodal collaborative mixed reality environment based on the 'destination-visitor' paradigm, which we define and put into use. We detail our heterogeneous system architecture, which spans the three distributed and technologically asymmetric sites, and features a range of capture, display, and transmission technologies. The actors' and director's experience of rehearsing a scene via the system are then discussed, exploring successes and failures of this heterogeneous form of telecollaboration. Overall, the common spatial frame of reference presented by the system to all parties was highly conducive to theatrical acting and directing, allowing blocking, gross gesture, and unambiguous instruction to be issued. The relative inexpressivity of the actors' embodiments was identified as the central limitation of the telecommunication, meaning that moments relying on performing and reacting to consequential facial expression and subtle gesture were less successful.

Measuring the effects through time of the influence of visuomotor and visuotactile synchronous stimulation on a virtual body ownership illusion

Previous studies have examined the experience of owning a virtual surrogate body or body part through specific combinations of cross-modal multisensory stimulation. Both visuomotor (VM) and visuotactile (VT) synchronous stimulation have been shown to be important for inducing a body ownership illusion, each tested separately or both in combination. In this study we compared the relative importance of these two cross-modal correlations, when both are provided in the same immersive virtual reality setup and the same experiment. We systematically manipulated VT and VM contingencies in order to assess their relative role and mutual interaction. Moreover, we present a new method for measuring the induced body ownership illusion through time, by recording reports of breaks in the illusion of ownership ("breaks") throughout the experimental phase. The balance of the evidence, from both questionnaires and analysis of the breaks, suggests that while VM synchronous stimulation contributes the greatest to the attainment of the illusion, a disruption of either (through asynchronous stimulation) contributes equally to the probability of a break in the illusion.

Usability of Virtual Museums and the Diffusion of Cultural Heritage

Les prioritats per als museus canvien. La missió de la nova museologia és convertir els museus en llocs per a gaudir i aprendre, cosa que fa que hagin de dur a terme una gestió financera molt semblant a la d'una empresa social que competeixi en el sector del lleure. Amb el pas del temps, els museus han d'establir i aplicar els criteris necessaris per a la supervivència, aplanant el terreny perquè altres institucions públiques siguin més obertes en els seus esforços per comunicar i difondre el seu patrimoni. Ja podem començar a parlar d'algunes conclusions comunament acceptades sobre el comportament dels visitants, que són necessàries per a planificar exposicions futures que vegin l'aprenentatge com un procés constructiu, les col·leccions com a objectes amb significat i les mateixes exposicions com a mitjans de comunicació que haurien de transformar la manera de pensar de l'espectador i que estan al servei del mateix missatge. Sembla que internet representa un mitjà efectiu per a assolir aquests objectius, ja que és capaç (a) d'adaptar-se als interessos i les característiques intel·lectuals d'un públic divers; (b) de redescobrir els significats dels objectes i adquirir un reconeixement sociocultural del seu valor per mitjà del seu potencial interactiu, i (c) de fer ús d'elements atractius i estimulants perquè tothom en gaudeixi. Per a aquest propòsit, és bàsic fer-nos les preguntes següents: quins criteris ha de seguir un museu virtual per a optimar la difusió del seu patrimoni?; quins elements estimulen els usuaris a quedar-se en una pàgina web i fer visites virtuals que els siguin satisfactòries?; quin paper té la usabilitat de l'aplicació en tot això?

MaGUI un magnificador de pantalla atendiendo al diseño centrado en el usuario

El objetivo principal del proyecto es desarrolar un magnificador de pantalla de código abierto y gratuito para que las personas con baja visión puedan acceder a este tipo de tecnología sin necesidad de pagar una licencia. Este magnificador partirá de un desarrollo anterior obsoleto por la evolución de los sistemas operativos windows y se llevará a cabo siguiendo una metodología de diseño centrado en el usuario adaptada.

Metodologia per generar arquitectures de la informació centrades en l'usuari

En aquest treball s'analitza la tècnica card sorting i les aplicacions existents que permeten realitzar-la. A més a més, s'hi desenvolupa i s'hi presenta una nova metodologia que permeti solucionar aquestes limitacions. Les limitacions més importants que s'han detectat són: que no ofereixen la possibilitat d'ordenar les targetes en diferents nivells i no permeten diferenciar entre jerarquies de diferents tipus. A partir de les metodologies utilitzades en l'aplicació Syncaps, Protege i PcPack s'intenta solucionar aquestes limitacions.

Estudio de emociones para la optimización de la interficie WiiFit

Proyecto basado en diseño emocional como aspecto a aportar para conseguir una experiencia de usuario satisfactoria. Se presenta la ingeniería Kansei como metodología de desarrollo centrado en emociones y sensaciones que provocan los productos o aplicaciones en los usuarios. Asimismo se realizan encuestas y diferencial semántico para saber la satisfacció de los usuarios con Wii y WiiFitPlus.