Coupling digital and physical worlds in an AR magic show performance: lessons learned

“Magic for a Pixeloscope” is a one hour show conceived to berepresented in a theater scenario that merges mixed and augmented reality (MR/AR) and full-body interaction with classical magic to create new tricks. The show was conceived by an interdisciplinary team composed by a magician, twointeraction designers, a theater director and a stage designer. Themagician uses custom based hardware and software to createnew illusions which are a starting point to explore new languagefor magical expression. In this paper we introduce a conceptualframework used to inform the design of different tricks; weexplore the design and production of some tricks included in theshow and we describe the feedback received on the world premiere and some of the conclusions obtained.

Interfícies web afectives. La influència de la composició gràfica en la satisfacció de l’usuari

El present projecte de recerca té com a objecte d’estudi la influència de la composició gràfica de la interfície en la satisfacció de l’usuari en entorns web. La hipòtesi inicial de la que parteix exposa que el component compositiu de la interfície web té capacitat per generar satisfacció a partir de la transmissió de valors emocionals que connecten positivamentamb l’usuari millorant l’eficiència de la comunicació. En aquest sentit, es proposa una investigació de caràcter experimental que ens permeti descobrir com influeix la composició gràfica en la satisfacció, i quines composicions i per què tenen més influència que d’altres. D’aquesta manera, es pretén constituir un marc de reflexió al voltant de les possibilitats comunicatives visuals de la interfície web i aportar nous coneixements pel seu desenvolupament.

Wii-immersion: aprovechando las capacidades del Wiimote para la mejora de la sensación de inmersión

En este proyecto se proponen dos utilidades para mejorar la sensación de inmersión en un entorno virtual. Ambas utilidades pretenden aportar una interacción más intuitiva. Para ello, las dos se basan en capturar el movimiento del usuario a través de distintos dispositivos. En la primera utilidad se obtiene la posición de la cabeza del usuario y se visualiza la escena en base a dicha posición. Esto se consigue usando un Wiimote a modo de cámara infra-roja en combinación con unas gafas con leds infra-rojos para determinar la posición de la cabeza. La segunda utilidad consiste en un control gestual con seis grados de libertad. El control gestual permite manipular un objeto real, es decir, trasladarlo y rotarlo y que dicha manipulación se refleje en un objeto virtual. Manipulando el objeto es posible interactuar con el entorno virtual visualizado mediante el GTI Framework. La manipulación del control gestual permite interactuar de una forma muy natural, similar a como se interactuaría en un entorno real. Como objeto real se ha empleado un Wiimote en combinación con el periférico Motion Plus y una esfera luminosa ubicada en su extremo. El Motion Plus permite obtener la orientación, y mediante una cámara PlayStation Eye se detecta la esfera, que determina la posición del Wiimote

Apoyo a pantallas periféricas multiusuario: detección de presencias y gestión de la interacción

En este proyecto se han implementado dos sistemas: un sistema de gestión ytratamiento de la interacción multiusuario y un sistema de input mediante WebCam para lalocalización de usuarios, el cual se comunica con el sistema de gestión a través de XML. Se ha intentado conseguir un nivel de abstracción elevado de cara a que los futuros sistemas de interacción puedan añadir las funcionalidades implementadas para este proyecto.La idea nace de la limitación vigente de los sistemas interactivos que utilizan pantallasmultitouch ya que no existe ningún sistema que gestione a los múltiples usuarios que puedan interactuar al mismo tiempo en ellas. Se ha analizado el sistema de Vogel, en el cual se han intentado mejorar y solucionar ciertos aspectos de la interacción multiusuario.Se han diseñado e implementado dos métodos para tratar la gestión de la interacciónmultiusuario: sistema de elementos interactivos instanciables así como un sistema de cola (queue) dentro de los propios elementos interactivos. Todo ello basado en la idea de las áreasde interacción de los usuarios la cual es posible gracias al sistema de detección de presencias.Así pues, a través de este proyecto final de carrera se quiere mostrar que la interacciónmultiusuario en los sistemas interactivos periféricos puede gestionarse a través de diferentes métodos y de este modo mejorar la experiencia de los usuarios durante todo el proceso de interacción.

Diseño, implementación y evaluación de un juego pervasivo basado en puzles dentro del edificio Tànger (UPF)

Las nuevas generaciones de estudiantes se caracterizan en que han crecido inmersas en la tecnología digital, hecho que ha cambiado sus costumbres y preferencias en la forma de estudiar. Así que es necesario ingeniar nuevas técnicas de aprendizaje y buscar un complemento al poco atractivo y desmotivador material físico tradicional. Una de las alternativas que se plantean es utilizar juegos educativos como herramienta de aprendizaje, aportándonos innovación, motivación y un aprendizaje activo que no nos aportan técnicas más tradicionales.Esta metodología basada en el uso de juegos educativos puede afectar positivamente en un campo de educación perjudicado como es el área de las ingenierías del área de Tecnologías de la Información y la Comunicación (TIC), donde cada vez son más los jóvenes que deciden no estudiar carreras técnicas. Ante esta situación, aplicar juegos educativos puede ser una buena solución. Este proyecto consistirá en diseñar e implementar un juego educativo enfocado a aprender sobre algunos conceptos que se tratan en los grados de ingeniería informática, telemática y sistemas audiovisuales de la Universidad Pompeu Fabra (UPF). En concreto, el juego que se ha diseñado e implementado se caracteriza por seguir un modelo conceptual que define qué elementos han de contener un tipo concreto de juegos basados en puzles. Además, aprovechando las ventajas que aportan los estándares educativos, utilizaremos la especificación de IMS Learning Design, como parte de la implementación del juego. Por otro lado, nuestro juego será diseñado para dispositivos móviles y, por consiguiente, consistirá en un juego pervasivo en el que los estudiantes se tendrán que mover por el edificio Tànger de la UPF para poder resolver los diferentes problemas planteados. Finalmente, el juego será evaluado con diferentes estudiantes y serán analizados sus resultados para extraer las conclusiones oportunas.

Diseño, implementación y evaluación de un juego basado en puzzles para el aprendizaje de redes de ordenadores

El aprendizaje basado en juegos proporciona a los alumnos una forma de aprender más motivadora y gratificante al estudiante. Los juegos educativos permiten a los estudiantes centrarse completamente en un contenido concreto, resultándoles beneficioso a la hora de profundizar su conocimiento en esa materia. Esta forma de educar puede ayudar a revertir la situación actual de desinterés de los alumnos por las asignaturas del área de las ingenierías de las Tecnologías de la Información y la Comunicación (TIC). En este sentido, estudios realizados y estadísticas demuestran que las matriculaciones en este sector han disminuido en los últimos años. Teniendo en cuenta estos factores, en este PFC se ha diseñado un juego educativo, basado en puzzles, para aprender conceptos relacionados con las redes de ordenadores, una de las temáticas principales en el campo de las ingenierías TIC. El diseño del juego está fundamentado en un modelo conceptual que define los elementos necesarios para crear juegos basados en puzzles. Por otra parte, en este PFC se hace uso de estándares educativos (en concreto, de la especificación de IMS Learning Design), para la implementación del juego. De este modo, el juego se beneficia de las ventajas derivadas del uso de estándares educativos: definición, compartición y reutilización de objetos de aprendizaje para el diseño, intercambio y la reutilización de estrategias pedagógicas, facilitando la interoperabilidad de los diseños pedagógicos complejos. Además, el juego se ha implementado con tecnología para Android,pudiendo de esta manera ser utilizado en dispositivos móviles que utilicen esta tecnología. Por último, nuestro juego ha sido evaluado por estudiantes de un centro escolar con el fin de analizar los resultados obtenidos a partir de sus opiniones y valoraciones.

Herramienta de autoría para la creación de juegos basados en puzles

L'aprenentatge basat en jocs facilita el millor enteniment de conceptes, aportant entorns estimulants on poder aprendre d'una manera diferent a l'actual. Alguns dels avantatges més destacables són, per exemple, que els jocs fomenten la capacitat dels jugadors per comunicar-se i interactuar entre si. D'altra banda també poden ajudar a pensar de manera critica quan tenenque establir vincles entre la vida virtual i la real, estimulant-los a intentar trobar la solució diferents maneres. Malgrat això, hi ha una escassetat d'eines que permetin als professors poder crear els seus propis jocs educatius.Per donar solució a aquest problema s'ha dissenyat un model conceptual que defineix els elements necessaris perquè professors puguin dissenyar els seus propis jocs educatius basats en puzles. En aquest PFC ens centrarem en el disseny i implementació d'una eina d'autoria que generi els documents d'acord amb aquest model conceptual. En concret, aquesta eina d'autorias'encarregarà de demanar la informació necessària per poder realitzar la creació del joc, de manera que qualsevol persona que tingui o no habilitats de programació, tingui una petita eina que li guiï pas a pas i li generi els arxius necessaris per a la creació d'aquests jocs. D'altra banda, donada els avantatges de l'ús d'estàndards educatius en sistemes d'e-learning, destacar queaquesta eina d'autoria és conforme a l'especificació d'IMS Learning Design (IMS LD). És per això que, com a resultat, l'eina s'encarrega d'emmagatzemar la informació necessària per després processar-la i generar els arxius corresponents a IMS LD per definir el flux d'activitats dels jocs, i els arxius corresponents al model conceptual que defineix els mecanismes de comportamentdels puzles associats a les activitats.

SIIMTA, Sistema Integrat d’Interacció de cos sencer generada en temps real i MusicoTeràpia per a persones amb discapacitats com l’Autisme

L’objectiu d’aquest Projecte Final de Carrera és el poder desenvolupar una nova eina de treball, segons el paradigme de l’interacció a cos sencer, per als terapeutes de la Fundació Tekhnikós, per a poder afavorir nous processos d’expressió, comunicació i interactivitat entre elpacient i el terapeuta en les sessions de Musicoteràpia.El Projecte tracta d’un sistema d’interacció a cos sencer per a pacients amb diferentspatologies o síndromes de conducta. Mitjançant un sistema de captura que treballa en el camp dels infrarojos, el pacient és capaç d’interactuar amb els elements de l’aplicació a través de lagesticulació. El moviment d’aquestes partícules (vegis el Glossari de termes en l’Annexe)generarà diferents sons segons posició i direcció en l’espai de la pantalla motivant al pacient a explorar el comportament el sistema de diferents maneres. Aquests estímuls sonors estan basatsen l’experiència prèvia de la Fundació amb les seves sessions de Musitoràpia, basades enl’observació de les reaccions del pacient davant estímuls sonors. Aquesta eina permetràexperimentat tot un món nou d’estímuls per al pacient, tant sonors, com visuals gràcies a la possibilitat de configuració de molts dels paràmetres del sistema. Gràcies al sistema de visió artifical s’aconsegueix una interacció màquina / pacient a cos sencer no intrusiu, molt interessant tenint en compte que l’aplicació està destinada a un gran espectre de patologies o síndromes. A més tenint en compte la tipologia general del pacient s’haoptat per una estètica molt minimalista, evitant qualsevol referència icònica per tal de no sobre estimular al pacient abans de que pugui interactuar amb el sistema.

Desarrollo de Surrogates para la representación dinámica de la información digital

El volumen de información a la que un usuario tiene acceso en Internet esenorme. La representación de la misma ha ido evolucionando a lo largo del tiempo a lavez que se han establecido reglas, recomendaciones y directrices que conforman toda una ingeniería de diseño de interfaces con el propósito de mejorar la representación e interacción entre el usuario y el ordenador. Aún así, hay que ir evolucionando en la manera de tratar esta representación de la información ya que Internet es un espacio donde afloran, día tras día, nuevas tecnologías y servicios.De hecho, en este proyecto trataremos de mejorar la representación de lainformación mediante unos objetos que llamaremos surrogates o sustitutos. Como sunombre indica, estos sustitutos serán la representación de los elementos a reemplazar y cuya función podríamos calificar como de “puerta de enlace”. Dichos objetos estaránformados por elementos propios de la información a la que representan con el objetivo de que el usuario identifique de una manera más rápida y sencilla esta información.En definitiva, desarrollaremos unos surrogates que puedan ser usados endiferentes interfaces independientemente de la tecnología que se haya empleado para sudesarrollo y dotándolos de una serie de características y métodos con el fin de mejorar la interacción entre el usuario y la información.

Cultural differences on seeking information: an eye tracking study

The main goal of this research is to investigate how people with different cultural background differ in their interaction style and visual behavior on search engine results pages (SERP), more specifically between groups from the Middle Eastern region vs. Western Europe. We conducted a controlled eye-tracking experiment to explore and evaluate the visual behavior of Arabs and Spaniardusers when scanning through the first page of the search results in Google. Big differences can be observed in the 4 aspects studied: U.A.E. participants stayed on the SERPs for longer, they read more results and they read each snippet in a more complete way than Spaniards. In Spain, people tended to scan the SERP, reading less text on each snippet, and choose a result among the first top rankedones without hardly seeing those in bottom positions.

Tecnologies de la parla: creació d'un punt d'informació

En esta memoria está reflejado todo el proceso de creación de un sistema de diàlogo persona-màquina basado en la idea de montar un punto de información turístico que transmita datos hablados al turista cuando éste se los pida. Se encontrará una breve introducción a estos sistemas, se explicarán las partes que se utilizan a la hora de construir uno, se verá el funcionamiento, las herramientas utilizadas durante la creación de nuestro proyecto, las pruebas realizadas para comprobar su correcto funcionamiento y para terminar también se comentará el resultado del estudio de viabilidad llevado a cabo.

Reconeixement de veu mitjançant xarxes neuronals

La interacció home-màquina per mitjà de la veu cobreix moltes àrees d’investigació. Es destaquen entre altres, el reconeixement de la parla, la síntesis i identificació de discurs, la verificació i identificació de locutor i l’activació per veu (ordres) de sistemes robòtics. Reconèixer la parla és natural i simple per a les persones, però és un treball complex per a les màquines, pel qual existeixen diverses metodologies i tècniques, entre elles les Xarxes Neuronals. L’objectiu d’aquest treball és desenvolupar una eina en Matlab per al reconeixement i identificació de paraules pronunciades per un locutor, entre un conjunt de paraules possibles, i amb una bona fiabilitat dins d’uns marges preestablerts. El sistema és independent del locutor que pronuncia la paraula, és a dir, aquest locutor no haurà intervingut en el procés d’entrenament del sistema. S’ha dissenyat una interfície que permet l’adquisició del senyal de veu i el seu processament mitjançant xarxes neuronals i altres tècniques. Adaptant una part de control al sistema, es podria utilitzar per donar ordres a un robot com l’Alfa6Uvic o qualsevol altre dispositiu.

Reconeixement de gestos de la mà amb el sensor Kinect

El reconeixement dels gestos de la mà (HGR, Hand Gesture Recognition) és actualment un camp important de recerca degut a la varietat de situacions en les quals és necessari comunicar-se mitjançant signes, com pot ser la comunicació entre persones que utilitzen la llengua de signes i les que no. En aquest projecte es presenta un mètode de reconeixement de gestos de la mà a temps real utilitzant el sensor Kinect per Microsoft Xbox, implementat en un entorn Linux (Ubuntu) amb llenguatge de programació Python i utilitzant la llibreria de visió artifical OpenCV per a processar les dades sobre un ordinador portàtil convencional. Gràcies a la capacitat del sensor Kinect de capturar dades de profunditat d’una escena es poden determinar les posicions i trajectòries dels objectes en 3 dimensions, el que implica poder realitzar una anàlisi complerta a temps real d’una imatge o d’una seqüencia d’imatges. El procediment de reconeixement que es planteja es basa en la segmentació de la imatge per poder treballar únicament amb la mà, en la detecció dels contorns, per després obtenir l’envolupant convexa i els defectes convexos, que finalment han de servir per determinar el nombre de dits i concloure en la interpretació del gest; el resultat final és la transcripció del seu significat en una finestra que serveix d’interfície amb l’interlocutor. L’aplicació permet reconèixer els números del 0 al 5, ja que s’analitza únicament una mà, alguns gestos populars i algunes de les lletres de l’alfabet dactilològic de la llengua de signes catalana. El projecte és doncs, la porta d’entrada al camp del reconeixement de gestos i la base d’un futur sistema de reconeixement de la llengua de signes capaç de transcriure tant els signes dinàmics com l’alfabet dactilològic.

Disseny, implementació i avaluació d'un joc tangible basat en puzles per aprendre concepte de les enginyeries TIC

L'interès per les carreres relacionades amb les enginyeries del camp de les Tecnologies de la Informació i la Comunicació (TIC) va caient any rere any i això es tradueix en menys matriculacions per cada any que passa. Una de les causes principals és la falta de motivació i interès envers aquestes carreres. Aquest problema s’atribueix a que les metodologies d’aprenentatge tradicionals no s’adeqüen a les necessitats i requeriments dels estudiants d’avui dia, que han crescut envoltats de tecnologia, i se’ls coneix amb el nom en anglès de digitalnatives.L’aprenentatge basat en jocs sorgeix com a una possible solució per afrontar aquesta falta d’interès per les àrees del coneixement relacionades amb les enginyeries TIC. Aquest mètode d'aprenentatge consisteix en que els estudiants aprenguin conceptes de les TIC mentre estan jugant a un joc. Per tant, en el context d’aquest PFC, ens centrarem en el disseny i implementació d’un joc per aprendre conceptes bàsics de les enginyeries TIC. En concret, el disseny d’aquest joc segueix les característiques definides per un model conceptual que descriuquins són els elements necessaris per crear jocs basats en puzles: quins són els elements principals que componen aquests tipus de joc i quines pistes es poden afegir per guiar a l’estudiant en el procés d’aprenentatge amb el joc. Per altra banda, pel que fa a laimplementació del joc, s’utilitzarà tecnologia basada en interfícies tangibles.Per tal d’analitzar el joc basat en puzles que s’ha dissenyat i implementat per aprendre conceptes basics de les Enginyeries TIC, s’ha portat a terme una avaluació amb estudiants d’un centre educatiu. Aspectes com el disseny de pistes, l’experiència dels estudiants amb el joc il’aprenentatge amb el joc seran analitzats per extreure les conclusions oportunes.

Disseny, implementació i avaluació d'un joc tangible basat en puzles per a l'aprenentatge d'arquitectura d'ordinadors

Actualment existeix una falta d'interès per part dels estudiants a l'àrea de les enginyeries en Tecnologies de la Informació i la Comunicació (TIC) que es pot veure reflectida en el descens de les matriculacions universitàries en aquest àmbit. Aquest fet està relacionat amb que la nova generació d‟estudiants està constantment en contacte amb tota mena d'aparells tecnològics estimulants i a l‟hora de l‟estudi poden sofrir una falta d‟interès per l‟ús d‟una metodologia d'aprenentatge més tradicional. En aquest sentit s'ha investigat que l‟ús de jocs com a eina educativa pot ser una bona solució per afrontar aquesta falta d'interès. No obstant això, actualment no existeixen gaires jocs destinats a aprendre conceptes relacionats amb les enginyeries TIC i que proporcionin als estudiants els mecanismes d'ajuda necessaris per donar-los suport durant l'aprenentatge d‟aquests nous conceptes. En aquest projecte es desenvoluparà un joc educatiu per a estudiants amb l‟objectiu de proporcionar uns primers coneixements sobre les TIC. Per una banda, per al disseny del joc s‟utilitzarà un model conceptual que defineix els elements necessaris per a dissenyar jocs basats en resoldre puzles. A més, aquest model conceptual permet el disseny no només de jocs per a PCs, sinó també de jocs tangibles i exploratius (mitjançant tecnologia mòbil). En el nostre cas, ens centrarem en la implementació d‟un joc tangible. Per altra banda, pel que fa a la implementació, tindrem en compte l‟estàndard educatiu d‟IMS Learning Design, demostrant d‟aquesta manera que aquest tipus de jocs es poden beneficiar dels avantatges que aporten els estàndards educatius. Per tant, en aquest PFC es dissenyarà i implementarà un joc tangible basat en puzles dintre de l‟àrea d‟arquitectura d‟ordinadors. El joc constarà de tres mini-jocs que es presentaran com jocs de realitat augmentada amb el suport d‟un ordinador i unes peces físiques amb les que interactuaran els usuaris. El sistema proporcionarà un sistema d‟ajuda i un sistema de puntuació. Per últim, avaluarem el joc en un centre escolar amb estudiants de 4t d‟ESO amb la finalitat d'analitzar les valoracions dels estudiants respecte el joc i les pistes proporcionades.