Mutual occlusion between real and virtual elements in Augmented Reality based on fiducial markers

Augmented Reality (AR) systems which use optical tracking with fiducial marker for registration have had an important role in popularizing this technology, since only a personal computer with a conventional webcam is required. However, in most these applications, the virtual elements are shown only in the foreground a real element does not occlude a virtual one. The method presented enables AR environments based on fiducial markers to support mutual occlusion between a real element and many virtual ones, according to the elements position (depth) in the environment. © 2012 IEEE.

Laboratório remoto de qualidade da energia elétrica em ambiente virtual

Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)

Manipulação remota de um braço mecânico (Scorbot ER - III) utilizando a rede mundial de computadores

Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)

Crenças sobre a língua inglesa: o antiamericanismo e sua relação com o processo de ensino - aprendizagem de professores em formação

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)

Autenticação biométrica de usuários em sistemas de E-learning baseada em reconhecimento de faces a partir de vídeo

Pós-graduação em Ciência da Computação - IBILCE

Teletandem and performativity

Teletandem is a virtual autonomous VoIP2 technology-based context (webcam images, voice and text). Within this context, two students help each other learn their native (or other) language through intercultural and linguistic collaboration. Performative Theory can shed light on the constitution of these students' national identities, as they engage in linguistic performances of marking and discussing differences between their countries during teletandem. Based on critical approaches to discourse and intercultural communication, my analysis shows that this online intercultural contact opens innovative possibilities for foreign language teachers to promote intercultural contact with the different. However, without teacher mediation, teletandem interactions may fall into shallow performances of sedimented and pre-given representations of self and other. Subsequently, this article concludes with a discussion of relevant pedagogical points for foreign language teachers.

Performatividade e gênero nas interações em teletandem

Pós-graduação em Estudos Linguísticos - IBILCE

Cultura e(m) telecolaboração: uma análise de parcerias de teletandem institucional

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)

Pertencer e deslocar virtualmente: Teletandem como espaço antropofágico

Pós-graduação em Estudos Linguísticos - IBILCE

Bilayer segmentation of live video in uncontrolled environments for background substitution: an overview and main challenges

Bilayer segmentation of live video in uncontrolled environments is an essential task for home applications in which the original background of the scene must be replaced, as in videochats or traditional videoconference. The main challenge in such conditions is overcome all difficulties in problem-situations (e. g., illumination change, distract events such as element moving in the background and camera shake) that may occur while the video is being captured. This paper presents a survey of segmentation methods for background substitution applications, describes the main concepts and identifies events that may cause errors. Our analysis shows that although robust methods rely on specific devices (multiple cameras or sensors to generate depth maps) which aid the process. In order to achieve the same results using conventional devices (monocular video cameras), most current research relies on energy minimization frameworks, in which temporal and spacial information are probabilistically combined with those of color and contrast.

Desarrollo de un sistema de videoconferencia en HTML 5.0

[ES] Webcam App es una aplicación que tiene como principal objetivo social que las personas puedan realizar videoconferencias a través de la web de forma gratuita y sencilla. Para el desarrollo de la misma, fueron de gran utilidad los elementos que brinda HTML5.0 para dar soporte multimedia: y . También, se usan dos de las APIs que implementa WebRTC para la trasmisión de audio y video en tiempo real, obtenidos desde la webcam: MediaStream (getUserMedia) y RTCPeerConnection. Para soportar esta aplicación se elige Node.js como servidor web, pues entre sus puntos fuertes está la capacidad de mantener varias conexiones abiertas, característica fundamental en una aplicación de videollamadas, donde miles de usuarios crean y envían solicitudes de conexión simultáneamente. Con el fin de aportarle una apariencia agradable a la aplicación, un entorno usable y conocido para los usuarios, se utiliza CMS Elgg como marco de red social. CMS Elgg provee de funcionalidades comunes, como por ejemplo: conectar con amigos, enviar mensajes, compartir contenido. Como metodología base se usa el Proceso Unificado de Desarrollo de Software, posibilitando que la realización de este trabajo se haya hecho de una manera organizada y se obtuvieran artefactos para el desarrollo. Como resultado del trabajo, se obtiene una solución Open Source que sirve como un modelo de comunicación en tiempo real sin necesidad de descargar, instalar o actualizar ningún complemento de terceros y que demuestra la fiabilidad de los sistemas basados en HTML5 y WebRTC.

Detección, seguimiento y análisis de personas en streams de vídeo

[ES] El presente TFG consiste en una aplicación para la detección de personas de cuerpo entero. La idea es aplicar este detector a las continuas imágenes recogidas en tiempo real a través de una web-cam, o de un archivo con formato de vídeo que se encuentre ubicado en el propio sistema. El código está escrito en C++. Para conseguir este objetivo nos basamos en el uso conjunto de dos sistemas de detección ya existentes: primero, OpenCV, mediante un método de histograma de gradientes orientados, el cual ya proporciona propiamente un detector de personas que será aplicado a cada una de las imágenes del stream de vídeo; por otro lado, el detector facial de la librería Encara que se aplica a cada una de las detecciones de supuestas personas obtenidas en el método de OpenCV, para comprobar si hay una cara en la supuesta persona detectada. En caso de ser así, y de haber una cara más o menos correctamente situada, determinamos que es realmente una persona. Para cada persona detectada se guardan sus datos de situación en la imagen, en una lista, para posteriormente compararlos con los datos obtenidos en frames anteriores, e intentar hacer un  seguimiento de todas las personas. Visualmente se observaría como se va recuadrando cada persona con un color determinado aleatorio asignado a cada una, mientras se visualiza el vídeo. También se registra la hora y frame de aparición, y la hora y frame de salida, de cada persona detectada, quedando estos datos guardados tanto en un fichero de log, como en una base de datos. Los resultados son, bastante satisfactorios, aunque con posibilidades de mejora, ya que es un trabajo que permite combinar otras técnicas diferentes a las descritas. Debido a la complejidad de los métodos empleados se destaca la necesidad de alta capacidad de computación para poder ejecutar la aplicación en tiempo real sin ralentizaciones. 

Riconoscimento di gesti: estensione a più punti del corpo e ad attori multipli

Negli ultimi anni si è assistito ad una radicale rivoluzione nell’ambito dei dispositivi di interazione uomo-macchina. Da dispositivi tradizionali come il mouse o la tastiera si è passati allo sviluppo di nuovi sistemi capaci di riconoscere i movimenti compiuti dall’utente (interfacce basate sulla visione o sull’uso di accelerometri) o rilevare il contatto (interfacce di tipo touch). Questi sistemi sono nati con lo scopo di fornire maggiore naturalezza alla comunicazione uomo-macchina. Le nuove interfacce sono molto più espressive di quelle tradizionali poiché sfruttano le capacità di comunicazione naturali degli utenti, su tutte il linguaggio gestuale. Essere in grado di riconoscere gli esseri umani, in termini delle azioni che stanno svolgendo o delle posture che stanno assumendo, apre le porte a una serie vastissima di interessanti applicazioni. Ad oggi sistemi di riconoscimento delle parti del corpo umano e dei gesti sono ampiamente utilizzati in diversi ambiti, come l’interpretazione del linguaggio dei segni, in robotica per l’assistenza sociale, per indica- re direzioni attraverso il puntamento, nel riconoscimento di gesti facciali [1], interfacce naturali per computer (valida alternativa a mouse e tastiera), ampliare e rendere unica l’esperienza dei videogiochi (ad esempio Microsoft 1 Introduzione Kinect© e Nintendo Wii©), nell’affective computing1 . Mostre pubbliche e musei non fanno eccezione, assumendo un ruolo cen- trale nel coadiuvare una tecnologia prettamente volta all’intrattenimento con la cultura (e l’istruzione). In questo scenario, un sistema HCI deve cercare di coinvolgere un pubblico molto eterogeneo, composto, anche, da chi non ha a che fare ogni giorno con interfacce di questo tipo (o semplicemente con un computer), ma curioso e desideroso di beneficiare del sistema. Inoltre, si deve tenere conto che un ambiente museale presenta dei requisiti e alcune caratteristiche distintive che non possono essere ignorati. La tecnologia immersa in un contesto tale deve rispettare determinati vincoli, come: - non può essere invasiva; - deve essere coinvolgente, senza mettere in secondo piano gli artefatti; - deve essere flessibile; - richiedere il minor uso (o meglio, la totale assenza) di dispositivi hardware. In questa tesi, considerando le premesse sopracitate, si presenta una sistema che può essere utilizzato efficacemente in un contesto museale, o in un ambiente che richieda soluzioni non invasive. Il metodo proposto, utilizzando solo una webcam e nessun altro dispositivo personalizzato o specifico, permette di implementare i servizi di: (a) rilevamento e (b) monitoraggio dei visitatori, (c) riconoscimento delle azioni.

Elaborazione di video tramite un software web per la computer vision

La tesi tratta i temi di computer vision connessi alle problematiche di inserimento in una piattaforma Web. Nel testo sono spiegate alcune soluzioni per includere una libreria software per l'emotion recognition in un'applicazione web e tecnologie per la registrazione di un video, catturando le immagine da una webcam.

Kooperativer Fremdsprachenerwerb im Teletandem

Im Wintersemester 2006/07 wurde am Fachbereich Translations-, Sprach- und Kulturwissenschaft der Johannes Gutenberg Universität Mainz in Germersheim, in Zusammenarbeit mit der Fakultät für Natur- und Geisteswissenschaften der Universität des brasilianischen Bundesstaates São Paulo (Universidade Estadual Paulista Júlio de Mesquita Filho, UNESP) in Assis, das Pilotprojekt Teletandem initiiert. Ein Teil des Pilotprojektes, die Einführung, Entwicklung und Implementierung der Lehr- und Lernmethode Teletandem als Modul im BA-/MA-Studiengang Portugiesisch am FTSK, ist Grundlage der vorliegenden Dissertation.rnTeletandem (TT) ist eine innovative Methode zum autonomen, kooperativen Fremdsprachenlernen in Tandempaaren über das Internet. Die TT-Paare setzen sich aus einem brasilianischen und einem deutschen Studierenden zusammen, die sich ein- bis zweimal pro Woche im Internet treffen und mittels Webcam und Headset ‚unter vier Augen’ synchron, audiovisuell, mündlich und schriftlich miteinander kommunizieren. Dabei entscheiden sie gemeinsam mit ihrem Partner wann sie sich treffen, über was sie sprechen und wie sie die Teletandemsitzungen didaktisch gestalten. Durch die authentische Kommunikation mit Muttersprachlern erwerben und vertiefen die Teilnehmer zielgerichtet ihre Kenntnisse der fremden Sprache und Kultur.rnIn Teil I dieser Dissertation wird anhand einer Auswahl behavioristischer, kognitivistischer und konstruktivistischer (Lern-)Theorien wissenschaftlich untersucht, wie wir lernen, welche Faktoren unser Lernen positiv beeinflussen und welche Implikationen dies für institutionelles Lernen hat. Die Erkenntnisse werden auf das (Fremdsprachen-)Lernen im TT transferiert und es wird untersucht, inwieweit die Anwendung der Methode die Lernprozesse der Studierenden (und Lehrkräfte) begünstigt. In Teil 2 werden die Geschichte des Lernens im (Tele-)Tandem sowie die theoretische Grundlage und die Prinzipien von TT erläutert und das Pilotprojekt vorgestellt. Des Weiteren werden die im Rahmen des Projektes entwickelten vier Teletandemmodule (Modul Teletandem I, Modul Teletandem II, Intensivkurs Portugiesisch im Teletandem, Modul Fremdsprachenlernen im Teletandem), die von Studierenden des FTSK, des Karlsruher Instituts für Technologie (KIT) und der UNESP durchgeführt wurden, dargestellt. Im dritten Teil werden die Ergebnisse der Evaluation der Teletandemkurse vorgestellt und analysiert.rn