Analyse de mouvements faciaux à partir d'images vidéo

Lors d'une intervention conversationnelle, le langage est supporté par une communication non-verbale qui joue un rôle central dans le comportement social humain en permettant de la rétroaction et en gérant la synchronisation, appuyant ainsi le contenu et la signification du discours. En effet, 55% du message est véhiculé par les expressions faciales, alors que seulement 7% est dû au message linguistique et 38% au paralangage. L'information concernant l'état émotionnel d'une personne est généralement inférée par les attributs faciaux. Cependant, on ne dispose pas vraiment d'instruments de mesure spécifiquement dédiés à ce type de comportements. En vision par ordinateur, on s'intéresse davantage au développement de systèmes d'analyse automatique des expressions faciales prototypiques pour les applications d'interaction homme-machine, d'analyse de vidéos de réunions, de sécurité, et même pour des applications cliniques. Dans la présente recherche, pour appréhender de tels indicateurs observables, nous essayons d'implanter un système capable de construire une source consistante et relativement exhaustive d'informations visuelles, lequel sera capable de distinguer sur un visage les traits et leurs déformations, permettant ainsi de reconnaître la présence ou absence d'une action faciale particulière. Une réflexion sur les techniques recensées nous a amené à explorer deux différentes approches. La première concerne l'aspect apparence dans lequel on se sert de l'orientation des gradients pour dégager une représentation dense des attributs faciaux. Hormis la représentation faciale, la principale difficulté d'un système, qui se veut être général, est la mise en œuvre d'un modèle générique indépendamment de l'identité de la personne, de la géométrie et de la taille des visages. La démarche qu'on propose repose sur l'élaboration d'un référentiel prototypique à partir d'un recalage par SIFT-flow dont on démontre, dans cette thèse, la supériorité par rapport à un alignement conventionnel utilisant la position des yeux. Dans une deuxième approche, on fait appel à un modèle géométrique à travers lequel les primitives faciales sont représentées par un filtrage de Gabor. Motivé par le fait que les expressions faciales sont non seulement ambigües et incohérentes d'une personne à une autre mais aussi dépendantes du contexte lui-même, à travers cette approche, on présente un système personnalisé de reconnaissance d'expressions faciales, dont la performance globale dépend directement de la performance du suivi d'un ensemble de points caractéristiques du visage. Ce suivi est effectué par une forme modifiée d'une technique d'estimation de disparité faisant intervenir la phase de Gabor. Dans cette thèse, on propose une redéfinition de la mesure de confiance et introduisons une procédure itérative et conditionnelle d'estimation du déplacement qui offrent un suivi plus robuste que les méthodes originales.

Une nouvelle mise en oeuvre de la méthode IIM pour les équations de Navier-Stokes en présence d'une force singulière

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

Évaluation des jeux Kinect à l’aide du suivi physiologique, du suivi oculaire et des réactions faciales du joueur.

Les données sont analysées par le logiciel conçu par François Courtemanche et Féthi Guerdelli. L'expérimentation des jeux a eu lieu au Laboratoire de recherche en communication multimédia de l'Université de Montréal.

Histoire formelle du jeu d’aventure sur ordinateur (le cas de l’Amérique du Nord de 1976-1999)

Cette étude s’intéresse à l’évolution formelle du jeu d’aventure de 1976 à 1999. Elle se propose de mieux comprendre les facteurs historiques contribuant à l’apparition du genre, son institution et ses transformations. La recherche est fondée sur l’analyse du discours de la presse spécialisée en jeux d’ordinateur et d’un corpus étendu d’œuvres. L’une des thèses proposées est que l’identité générique du jeu d’aventure est fondée sur une expérience vidéoludique demeurant relativement constante malgré des variations importantes de formes. Cette expérience est assurée par la reproduction des principaux éléments d’une architecture générale de design de jeu inaugurée par Adventure en 1977. Les variations formelles ponctuelles résultent d’une négociation entre la volonté de s’adapter aux changements de contexte de l’écologie du jeu d’ordinateur et la résistance d’une architecture ludique établie. La pertinence d’une histoire d’un genre vidéoludique est justifiée au premier chapitre en fonction de l’état actuel des connaissances sur l’histoire du jeu vidéo et du jeu d’aventure. On y précise également le cadre théorique, la méthodologie et les sources étudiées. Le deuxième chapitre s’intéresse à la genèse d’Adventure de Crowther et Woods (1976; 1977) en fonction des diverses pratiques culturelles dans lesquelles l’œuvre s’inscrit. Cette analyse permet d’en dégager l’architecture ludique. Le troisième chapitre porte sur le « tournant narratif » du jeu d’aventure ayant lieu au début des années 1980. On y décrit différents facteurs historiques poussant le genre vers l’enchâssement d’histoires pré-écrites afin d’en faire un véhicule narratif. Le quatrième chapitre décrit le contexte du « tournant graphique », passage du jeu d’aventure d’une représentation textuelle à un régime visuel, ainsi que ses conséquences expérientielles. Le « tournant ergonomique » décrit au cinquième chapitre traite de l’apparition du modèle « pointer et cliquer » en fonction des avancées des connaissances concernant les interactions humain-machine ainsi que de la maturation du design de jeu comme pratique autonome. Le dernier chapitre relate l’apogée du jeu d’aventure au début de la révolution multimédia sous ses formes de film interactif et « Myst-like » puis du ralentissement – voire de l’arrêt – de son évolution formelle.

Modélisation des émotions de l’apprenant et interventions implicites pour les systèmes tutoriels intelligents

La modélisation de l’expérience de l’utilisateur dans les Interactions Homme-Machine est un enjeu important pour la conception et le développement des systèmes adaptatifs intelligents. Dans ce contexte, une attention particulière est portée sur les réactions émotionnelles de l’utilisateur, car elles ont une influence capitale sur ses aptitudes cognitives, comme la perception et la prise de décision. La modélisation des émotions est particulièrement pertinente pour les Systèmes Tutoriels Émotionnellement Intelligents (STEI). Ces systèmes cherchent à identifier les émotions de l’apprenant lors des sessions d’apprentissage, et à optimiser son expérience d’interaction en recourant à diverses stratégies d’interventions. Cette thèse vise à améliorer les méthodes de modélisation des émotions et les stratégies émotionnelles utilisées actuellement par les STEI pour agir sur les émotions de l’apprenant. Plus précisément, notre premier objectif a été de proposer une nouvelle méthode pour détecter l’état émotionnel de l’apprenant, en utilisant différentes sources d’informations qui permettent de mesurer les émotions de façon précise, tout en tenant compte des variables individuelles qui peuvent avoir un impact sur la manifestation des émotions. Pour ce faire, nous avons développé une approche multimodale combinant plusieurs mesures physiologiques (activité cérébrale, réactions galvaniques et rythme cardiaque) avec des variables individuelles, pour détecter une émotion très fréquemment observée lors des sessions d’apprentissage, à savoir l’incertitude. Dans un premier lieu, nous avons identifié les indicateurs physiologiques clés qui sont associés à cet état, ainsi que les caractéristiques individuelles qui contribuent à sa manifestation. Puis, nous avons développé des modèles prédictifs permettant de détecter automatiquement cet état à partir des différentes variables analysées, à travers l’entrainement d’algorithmes d’apprentissage machine. Notre deuxième objectif a été de proposer une approche unifiée pour reconnaître simultanément une combinaison de plusieurs émotions, et évaluer explicitement l’impact de ces émotions sur l’expérience d’interaction de l’apprenant. Pour cela, nous avons développé une plateforme hiérarchique, probabiliste et dynamique permettant de suivre les changements émotionnels de l'apprenant au fil du temps, et d’inférer automatiquement la tendance générale qui caractérise son expérience d’interaction à savoir : l’immersion, le blocage ou le décrochage. L’immersion correspond à une expérience optimale : un état dans lequel l'apprenant est complètement concentré et impliqué dans l’activité d’apprentissage. L’état de blocage correspond à une tendance d’interaction non optimale où l'apprenant a de la difficulté à se concentrer. Finalement, le décrochage correspond à un état extrêmement défavorable où l’apprenant n’est plus du tout impliqué dans l’activité d’apprentissage. La plateforme proposée intègre trois modalités de variables diagnostiques permettant d’évaluer l’expérience de l’apprenant à savoir : des variables physiologiques, des variables comportementales, et des mesures de performance, en combinaison avec des variables prédictives qui représentent le contexte courant de l’interaction et les caractéristiques personnelles de l'apprenant. Une étude a été réalisée pour valider notre approche à travers un protocole expérimental permettant de provoquer délibérément les trois tendances ciblées durant l’interaction des apprenants avec différents environnements d’apprentissage. Enfin, notre troisième objectif a été de proposer de nouvelles stratégies pour influencer positivement l’état émotionnel de l’apprenant, sans interrompre la dynamique de la session d’apprentissage. Nous avons à cette fin introduit le concept de stratégies émotionnelles implicites : une nouvelle approche pour agir subtilement sur les émotions de l’apprenant, dans le but d’améliorer son expérience d’apprentissage. Ces stratégies utilisent la perception subliminale, et plus précisément une technique connue sous le nom d’amorçage affectif. Cette technique permet de solliciter inconsciemment les émotions de l’apprenant, à travers la projection d’amorces comportant certaines connotations affectives. Nous avons mis en œuvre une stratégie émotionnelle implicite utilisant une forme particulière d’amorçage affectif à savoir : le conditionnement évaluatif, qui est destiné à améliorer de façon inconsciente l’estime de soi. Une étude expérimentale a été réalisée afin d’évaluer l’impact de cette stratégie sur les réactions émotionnelles et les performances des apprenants.

Simulation de la nage anguilliforme

Ce document traite premièrement des diverses tentatives de modélisation et de simulation de la nage anguilliforme puis élabore une nouvelle technique, basée sur la méthode de la frontière immergée généralisée et la théorie des poutres de Reissner-Simo. Cette dernière, comme les équations des fluides polaires, est dérivée de la mécanique des milieux continus puis les équations obtenues sont discrétisées afin de les amener à une résolution numérique. Pour la première fois, la théorie des schémas de Runge-Kutta additifs est combinée à celle des schémas de Runge-Kutta-Munthe-Kaas pour engendrer une méthode d’ordre de convergence formel arbitraire. De plus, les opérations d’interpolation et d’étalement sont traitées d’un nouveau point de vue qui suggère l’usage des splines interpolatoires nodales en lieu et place des fonctions d’étalement traditionnelles. Enfin, de nombreuses vérifications numériques sont faites avant de considérer les simulations de la nage.

A la rencontre de l'animal sauvage : dynamiques, usages et enjeux du récréotourisme faunique

Historiquement, les animaux sauvages ont toujours représenté une ressource pour les hommes, assurant la sécurité alimentaire des sociétés locales et traditionnelles. L’exploitation touristique de la faune implique dès lors une évolution dans les modes de vie, la culture et les identités locales. L’objectif de cette recherche doctorale est d’analyser le récréotourisme faunique. Les activités récréotouristiques autour de la faune sauvage traduisent une requalification de la ressource faune, ce qui a des impacts à la fois sur les espaces humains et non humains, les jeux de construction territoriale et sur les rapports développés à la faune sauvage. Ce travail analyse les rapports que les sociétés entretiennent avec la faune sauvage à travers les activités récréotouristiques de chasse et de vision. Ces deux formes de tourisme sont généralement opposées car le tourisme de vision est présenté comme un usage non-consomptif de la ressource alors que le tourisme de chasse est reconnu comme un usage consomptif de la ressource. Dépassant certaines idées reçues sur les pratiques de la chasse et une approche manichéenne entre ces différentes activités, il convient d’interroger les distinctions et / ou le rapport dialogique entre ces pratiques. Afin de conduire cette recherche, le choix d’une analyse comparative a été retenu, laquelle se propose de mettre en perspective différentes études de cas en France et au Canada. Ce travail comparatif permet de mieux comprendre les enjeux touristiques et territoriaux associés à la gestion de la faune sauvage et de penser la transférabilité des processus observés entre différents terrains d’études. D’un point de vue méthodologique, ce travail doctoral nous a conduite à définir un cadre analytique organisé autour de quatre entrées croisant des (i) aspects conceptuels, (ii) l’analyse d’archives, (iii) des méthodes d’observation ainsi que (iv) des outils d’analyse des rapports homme / faune via l’analyse de discours des populations touristiques. La première partie de ce travail présente le contexte théorique de l’étude et la démarche systémique de cette recherche (chapitre 1, 2 et 3). En termes de résultat, ces présupposés méthodologiques et théoriques nous ont permis d’analyser comment les dynamiques du récréotourisme faunique agissent, réagissent et rétroagissent sur l’ensemble du système territorial. Ainsi, la deuxième partie interroge l’organisation socio-spatiale des activités récréotouristiques de chasse et de vision (chapitre 4 et 5). Ces différentes formes de tourisme sont analysées en prenant en compte l’implantation de ces activités au sein des territoires, les attentes touristiques de la part des visiteurs, et les effets des différentes pratiques sur les populations fauniques. La troisième et dernière partie s’intéresse à l’évolution des rapports hommes / faune sauvage dans le temps et l’espace au regard des activités récréotouristiques développées. Le chapitre 6 s’intéresse aux rapports dialectiques entre processus de patrimonialisation et les usages acceptés ou non de la ressource faunique, alors que le chapitre 7 propose une réflexion sur les rapports hommes / animaux à l’échelle de l’individu en interrogeant l’éthique de chacun dans ses usages, ses comportements et ses pratiques développés autour de la faune sauvage.

Investigations on Structural response of Water Backed Perforated plates

The study envisaged herein contains the numerical investigations on Perforated Plate (PP) as well as numerical and experimental investigations on Perforated Plate with Lining (PPL) which has a variety of applications in underwater engineering especially related to defence applications. Finite element method has been adopted as the tool for analysis of PP and PPL. The commercial software ANSYS has been used for static and free vibration response evaluation, whereas ANSYS LS-DYNA has been used for shock analysis. SHELL63, SHELL93, SOLID45, SOLSH190, BEAM188 and FLUID30 finite elements available in the ANSYS library as well as SHELL193 and SOLID194 available in the ANSYS LS-DYNA library have been made use of. Unit cell of the PP and PPL which is a miniature of the original plate with 16 perforations have been used. Based upon the convergence characteristics, the utility of SHELL63 element for the analysis of PP and PPL, and the required mesh density are brought out. The effect of perforation, geometry and orientation of perforation, boundary conditions and lining plate are investigated for various configurations. Stress concentration and deflection factor are also studied. Based on these investigations, stadium geometry perforation with horizontal orientation is recommended for further analysis.Linear and nonlinear static analysis of PP and PPL subjected to unit normal pressure has been carried out besides the free vibration analysis. Shock analysis has also been carried out on these structural components. The analytical model measures 0.9m x 0.9m with stiffener of 0.3m interval. The influence of finite element, boundary conditions, and lining plate on linear static response has been estimated and presented. Comparison of behavior of PP and PPL in the nonlinear strain regime has been made using geometric nonlinear analysis. Free vibration analysis of the PP and PPL has been carried out ‘in vacuum’ condition and in water backed condition, and the influence of water backed condition and effect of perforation on natural frequency have been investigated.Based upon the studies on the vibration characteristics of NPP, PP and PPL in water backed condition and ‘in vacuum’ condition, the reduction in the natural frequency of the plate in immersed condition has been rightly brought out. The necessity to introduce the effect of water medium in the analysis of water backed underwater structure has been highlighted.Shock analysis of PP and PPL for three explosives viz., PEK, TNT and C4 has been carried out and deflection and stresses on plate as well as free field pressure have been estimated using ANSYS LS-DYNA. The effect of perforations and the effect of lining plate have been predicted. Experimental investigations of the measurement of free field pressure using PPL have been conducted in a shock tank. Free field pressure has been measured and has been validated with finite element analysis results. Besides, an experiment has been carried out on PPL, for the comparison of the static deflection predicted by finite element analysis.The distribution of the free field pressure and the estimation of differential pressure from experimentation and the provision for treating the differential pressure as the resistance, as a part of the design load for PPL, has been brought out.

Developing a Child Friendly Text-to-Speech System

This paper discusses the implementation details of a child friendly, good quality, English text-to-speech (TTS) system that is phoneme-based, concatenative, easy to set up and use with little memory. Direct waveform concatenation and linear prediction coding (LPC) are used. Most existing TTS systems are unit-selection based, which use standard speech databases available in neutral adult voices.Here reduced memory is achieved by the concatenation of phonemes and by replacing phonetic wave files with their LPC coefficients. Linguistic analysis was used to reduce the algorithmic complexity instead of signal processing techniques. Sufficient degree of customization and generalization catering to the needs of the child user had been included through the provision for vocabulary and voice selection to suit the requisites of the child. Prosody had also been incorporated. This inexpensive TTS systemwas implemented inMATLAB, with the synthesis presented by means of a graphical user interface (GUI), thus making it child friendly. This can be used not only as an interesting language learning aid for the normal child but it also serves as a speech aid to the vocally disabled child. The quality of the synthesized speech was evaluated using the mean opinion score (MOS).

Numerical Methods for the Unsteady Compressible Navier-Stokes Equations

We consider numerical methods for the compressible time dependent Navier-Stokes equations, discussing the spatial discretization by Finite Volume and Discontinuous Galerkin methods, the time integration by time adaptive implicit Runge-Kutta and Rosenbrock methods and the solution of the appearing nonlinear and linear equations systems by preconditioned Jacobian-Free Newton-Krylov, as well as Multigrid methods. As applications, thermal Fluid structure interaction and other unsteady flow problems are considered. The text is aimed at both mathematicians and engineers.

La rob??tica como herramienta para la educaci??n en ciencias e ingenier??a

Resumen tomado del autor

La construcción de sentido del inicio de un cambio estratégico en las organizaciones: el caso de la Universidad del Rosario

A través de un caso de estudio se explora cómo la construcción de sentido de un grupo de directivos, bajo una misma inspiración, generó el inicio de un cambio estratégico en una prestigiosa y reconocida universidad colombiana, la Universidad del Rosario. Una institución que en un momento determinado notó que estaba siendo percibida dentro del sector de la educación superior como pequeña, estática en el avance de algunas disciplinas del conocimiento y conservadora; en otras palabras, que estaba perdiendo el reconocimiento que usualmente la había acompañado. A través del estudio de este caso se utilizó la técnica de análisis de discurso para comprender la construcción de sentido del inicio de un cambio estratégico en las organizaciones. Esta técnica permitió analizar la información cualitativa derivada de las entrevistas que se realizaron en profundidad a la cúpula de directivos de la institución y a algunos destacados representantes del sector de la Educación Superior en Colombia. Los resultados sugieren que se hicieron presentes, efectivamente, algunas condiciones específicas que marcaron el inicio de un cambio estratégico en la institución y un viraje en su identidad e imagen. Hechos que se sustentaron en los miembros de un equipo que procuró interpretar y comprender los cambios existentes en el entorno global y local, y asimilar, igualmente, algunos destacados retos que se planteaban por aquella época, al interior de la propia Universidad

On lions, impala, and bigraphs: modelling interactions in Ubiquitous Computing

As ubiquitous systems have moved out of the lab and into the world the need to think more systematically about how there are realised has grown. This talk will present intradisciplinary work I have been engaged in with other computing colleagues on how we might develop more formal models and understanding of ubiquitous computing systems. The formal modelling of computing systems has proved valuable in areas as diverse as reliability, security and robustness. However, the emergence of ubiquitous computing raises new challenges for formal modelling due to their contextual nature and dependence on unreliable sensing systems. In this work we undertook an exploration of modelling an example ubiquitous system called the Savannah game using the approach of bigraphical rewriting systems. This required an unusual intra-disciplinary dialogue between formal computing and human- computer interaction researchers to model systematically four perspectives on Savannah: computational, physical, human and technical. Each perspective in turn drew upon a range of different modelling traditions. For example, the human perspective built upon previous work on proxemics, which uses physical distance as a means to understand interaction. In this talk I hope to show how our model explains observed inconsistencies in Savannah and ex- tend it to resolve these. I will then reflect on the need for intradisciplinary work of this form and the importance of the bigraph diagrammatic form to support this form of engagement. Speaker Biography Tom Rodden Tom Rodden (rodden.info) is a Professor of Interactive Computing at the University of Nottingham. His research brings together a range of human and technical disciplines, technologies and techniques to tackle the human, social, ethical and technical challenges involved in ubiquitous computing and the increasing used of personal data. He leads the Mixed Reality Laboratory (www.mrl.nott.ac.uk) an interdisciplinary research facility that is home of a team of over 40 researchers. He founded and currently co-directs the Horizon Digital Economy Research Institute (www.horizon.ac.uk), a university wide interdisciplinary research centre focusing on ethical use of our growing digital footprint. He has previously directed the EPSRC Equator IRC (www.equator.ac.uk) a national interdisciplinary research collaboration exploring the place of digital interaction in our everyday world. He is a fellow of the British Computer Society and the ACM and was elected to the ACM SIGCHI Academy in 2009 (http://www.sigchi.org/about/awards/).

Attention and selection behavior on ‘universal search’ result pages

The ISO norm line 9241 states some criteria for ergonomics of human system interaction. In markets with a huge variety of offers and little possibility of differentiation, providers can gain a decisive competitive advantage by user oriented interfaces. A precondition for this is that relevant information can be obtained for entrepreneurial decisions in this regard. To test how users of universal search result pages use those pages and pay attention to different elements, an eye tracking experiment with a mixed design has been developed. Twenty subjects were confronted with search engine result pages (SERPs) and were instructed to make a decision while conditions “national vs. international city” and “with vs. without miniaturized Google map” were used. Different parameters like fixation count, duration and time to first fixation were computed from the eye tracking raw data and supplemented by click rate data as well as data from questionnaires. Results of this pilot study revealed some remarkable facts like a vampire effect on miniaturized Google maps. Furthermore, Google maps did not shorten the process of decision making, Google ads were not fixated, visual attention on SERPs was influenced by position of the elements on the SERP and by the users’ familiarity with the search target. These results support the theory of Amount of Invested Mental Effort (AIME) and give providers empirical evidence to take users’ expectations into account. Furthermore, the results indicated that the task oriented goal mode of participants was a moderator for the attention spent on ads. Most important, SERPs with images attracted the viewers’ attention much longer than those without images. This unique selling proposition may lead to a distortion of competition on markets.

Eye tracking data representation and visualization : on information and communication studies at CETAC.MEDIA

Eye tracking has become a preponderant technique in the evaluation of user interaction and behaviour with study objects in defined contexts. Common eye tracking related data representation techniques offer valuable input regarding user interaction and eye gaze behaviour, namely through fixations and saccades measurement. However, these and other techniques may be insufficient for the representation of acquired data in specific studies, namely because of the complexity of the study object being analysed. This paper intends to contribute with a summary of data representation and information visualization techniques used in data analysis within different contexts (advertising, websites, television news and video games). Additionally, several methodological approaches are presented in this paper, which resulted from several studies developed and under development at CETAC.MEDIA - Communication Sciences and Technologies Research Centre. In the studies described, traditional data representation techniques were insufficient. As a result, new approaches were necessary and therefore, new forms of representing data, based on common techniques were developed with the objective of improving communication and information strategies. In each of these studies, a brief summary of the contribution to their respective area will be presented, as well as the data representation techniques used and some of the acquired results.