Multi-textured 3D humanoid reconstruction through passive and active automatic techniques = Reconstrucción de humanoides 3D multi-texturados mediante técnicas pasivas y activas automáticas

The proliferation of video games and other applications of computer graphics in everyday life demands a much easier way to create animatable virtual human characters. Traditionally, this has been the job of highly skilled artists and animators that painstakingly model, rig and animate their avatars, and usually have to tune them for each application and transmission/rendering platform. The emergence of virtual/mixed reality environments also calls for practical and costeffective ways to produce custom models of actual people. The purpose of the present dissertation is bringing 3D human scanning closer to the average user. For this, two different techniques are presented, one passive and one active. The first one is a fully automatic system for generating statically multi-textured avatars of real people captured with several standard cameras. Our system uses a state-of-the-art shape from silhouette technique to retrieve the shape of subject. However, to deal with the lack of detail that is common in the facial region for these kind of techniques, which do not handle concavities correctly, our system proposes an approach to improve the quality of this region. This face enhancement technique uses a generic facial model which is transformed according to the specific facial features of the subject. Moreover, this system features a novel technique for generating view-independent texture atlases computed from the original images. This static multi-texturing system yields a seamless texture atlas calculated by combining the color information from several photos. We suppress the color seams due to image misalignments and irregular lighting conditions that multi-texturing approaches typically suffer from, while minimizing the blurring effect introduced by color blending techniques. The second technique features a system to retrieve a fully animatable 3D model of a human using a commercial depth sensor. Differently to other approaches in the current state of the art, our system does not require the user to be completely still through the scanning process, and neither the depth sensor is moved around the subject to cover all its surface. Instead, the depth sensor remains static and the skeleton tracking information is used to compensate the user’s movements during the scanning stage. RESUMEN La popularización de videojuegos y otras aplicaciones de los gráficos por ordenador en el día a día requiere una manera más sencilla de crear modelos virtuales humanos animables. Tradicionalmente, estos modelos han sido creados por artistas profesionales que cuidadosamente los modelan y animan, y que tienen que adaptar específicamente para cada aplicación y plataforma de transmisión o visualización. La aparición de los entornos de realidad virtual/mixta aumenta incluso más la demanda de técnicas prácticas y baratas para producir modelos 3D representando personas reales. El objetivo de esta tesis es acercar el escaneo de humanos en 3D al usuario medio. Para ello, se presentan dos técnicas diferentes, una pasiva y una activa. La primera es un sistema automático para generar avatares multi-texturizados de personas reales mediante una serie de cámaras comunes. Nuestro sistema usa técnicas del estado del arte basadas en shape from silhouette para extraer la forma del sujeto a escanear. Sin embargo, este tipo de técnicas no gestiona las concavidades correctamente, por lo que nuestro sistema propone una manera de incrementar la calidad en una región del modelo que se ve especialmente afectada: la cara. Esta técnica de mejora facial usa un modelo 3D genérico de una cara y lo modifica según los rasgos faciales específicos del sujeto. Además, el sistema incluye una novedosa técnica para generar un atlas de textura a partir de las imágenes capturadas. Este sistema de multi-texturización consigue un atlas de textura sin transiciones abruptas de color gracias a su manera de mezclar la información de color de varias imágenes sobre cada triángulo. Todas las costuras y discontinuidades de color debidas a las condiciones de iluminación irregulares son eliminadas, minimizando el efecto de desenfoque de la interpolación que normalmente introducen este tipo de métodos. La segunda técnica presenta un sistema para conseguir un modelo humano 3D completamente animable utilizando un sensor de profundidad. A diferencia de otros métodos del estado de arte, nuestro sistema no requiere que el usuario esté completamente quieto durante el proceso de escaneado, ni mover el sensor alrededor del sujeto para cubrir toda su superficie. Por el contrario, el sensor se mantiene estático y el esqueleto virtual de la persona, que se va siguiendo durante el proceso, se utiliza para compensar sus movimientos durante el escaneado.

Interacción combinada táctil 3D para manejo de colecciones de documentos

Actualmente existen varios dispositivos que aceptan gestos sobre superficies táctiles, sean celulares, tabletas, computadores, etc. a los cuales las personas se acostumbran rápidamente a su uso y los aceptan como herramientas necesarias en su vida. Del mismo modo existen algunas aplicaciones que manejan entornos en 3D, y permiten captar gestos realizados con las manos, cuerpo, cabeza. Estas técnicas se han desarrollado mucho por separado pero se ha podido evidenciar en base a los artículos revisados que no existen muchos estudios que combinen las aplicaciones táctiles con las 3D manejadas por gestos en el aire. El presente trabajo muestra un prototipo que permite la comunicación y coordinación entre dos aplicaciones, una que muestra documentos representados por esferas en una aplicación con interacción táctil desarrollada en Unity que funciona sobre Android, y una segunda aplicación desarrollada también en Unity que maneja un entorno 3D con el que se interactúa mediante gestos realizados en el aire. Luego de algunos intentos la interacción entre ambas aplicaciones fue lograda implementando comunicación por sockets entre la aplicación en el dispositivo Android y la aplicación 3D que se encuentra alojada en un computador con Windows 7. La captura de gestos en el aire se realiza mediante el sistema Tracking Tools desarrollado por la compañía Optitrack que captura los movimientos con cámaras infrarrojas y marcadores en los dedos. Este sistema envía los datos de los gestos a nuestra aplicación 3D. Estos equipos son de propiedad del laboratorio Decoroso Crespo de la Universidad Politécnica de Madrid. Una vez lograda la implementación e interacción entre las aplicaciones se han realizado pruebas de usabilidad con nueve estudiantes del Máster Universitario en Software y Sistemas de la Universidad Politécnica de Madrid. Cada uno ha respondido una serie de encuestas para poder obtener resultados sobre cuán usable es el prototipo, la experiencia del usuario y qué mejoras se podrían realizar sobre éste. En la parte final de este documento se presentan los resultados de las encuestas y se muestran las conclusiones y trabajo futuro.---ABSTRACT---Currently there are several devices that accept gestures on touch surfaces like phones, tablets, computers, etc. to which people quickly become accustomed to their use and accept them as necessary tools in their life. Similarly there are some applications that handle 3D environments and like televisions, holograms and allow capture gestures made with hands, body, and head. These techniques have been developed on a separated way but based on some research we may say that the are not many studies that combine touch with 3D applications handled by gestures in the air. This paper presents a prototype of the interaction of two issues of a 2D showing documents represented by spheres on a touch application developed in Unity that works on Android and allows communicating with the second application also developed in Unity that handles a 3D environment interaction of gestures made in air. After some attempts interaction was achieved by implementing communication sockets between the application on the Android device and 3D application that is hosted on a computer with windows 7, and gestures capturing in the air is done by the system Tracking Tools developed by the Optitrack company it captures movements with infrared cameras and markers on the fingers, which sends data to this application gestures, these equipment are owned by the Decoroso Crespo laboratory of the Polytechnic University of Madrid. Once achieved the interaction of applications has been conducted performance tests with ten students of the university master of the Universidad Politécnica de Madrid, each has answered a series of surveys to get results on how usable is the prototype, the user experience and that improvements could be made on this.

A Comunicação Mediada por Interfaces Digitais: a interação humana com os jogos digitais em celulares.

O trabalho é um estudo exploratório sobre o processamento de mensagens de entretenimento. O objetivo do trabalho foi propor e testar um modelo de processamento de mensagens dedicado à compreensão de jogos digitais. Para realizar tal tarefa realizou-se um extenso levantamento de técnicas de observação de usuários diante de softwares e mídias, para conhecer as qualidades e limitações de cada uma dessas técnicas, bem como de sua abordagem do problema. Também foi realizado um levantamento dos modelos de processamento de mensagens nas mídias tradicionais e nas novas mídias. Com isso foi possível propor um novo modelo de análise de processamento de mensagens de entretenimento. Uma vez criado o modelo teórico, fez-se preciso testar se os elementos propostos como participantes desse processo estavam corretos e se seriam capazes de capturar adequadamente as semelhanças e diferenças entre a interação entre jogadores e as diferentes mídias. Por essa razão, estruturou-se uma ferramenta de coleta de dados, que foi validada junto a designers de jogos digitais, uma vez que esses profissionais conhecem o processo de criação de um jogo, seus elementos e objetivos. Posteriormente, foi feito um primeiro teste, junto a praticantes de jogos digitais de diversas idades em computadores pessoais e TV digital interativa, a fim e verificar como os elementos do modelo relacionavam-se entre si. O teste seguinte fez a coleta de dados de praticantes de jogos digitais em aparelhos celulares, tendo como objetivo capturar como se dá a formação de uma experiência através do processamento da mensagem de entretenimento num meio cujas limitações são inúmeras: tamanho de tela e teclas, para citar algumas delas. Como resultado, verificou-se, por meio de testes estatísticos, que jogos praticados em meios como computadores pessoais atraem mais por seus aspectos estéticos, enquanto a apreciação de um jogo em aparelhos celulares depende muito mais de sua habilidade de manter a interação que um jogo praticado em PC. Com isso conclui-se que o processamento das mensagens de entretenimento depende da capacidade dos seus criadores em entender os limites de cada meio e usar adequadamente os elementos que compõe o ambiente de um jogo, para conseguir levar à apreciação do mesmo.(AU)

A Comunicação Mediada por Interfaces Digitais: a interação humana com os jogos digitais em celulares.

O trabalho é um estudo exploratório sobre o processamento de mensagens de entretenimento. O objetivo do trabalho foi propor e testar um modelo de processamento de mensagens dedicado à compreensão de jogos digitais. Para realizar tal tarefa realizou-se um extenso levantamento de técnicas de observação de usuários diante de softwares e mídias, para conhecer as qualidades e limitações de cada uma dessas técnicas, bem como de sua abordagem do problema. Também foi realizado um levantamento dos modelos de processamento de mensagens nas mídias tradicionais e nas novas mídias. Com isso foi possível propor um novo modelo de análise de processamento de mensagens de entretenimento. Uma vez criado o modelo teórico, fez-se preciso testar se os elementos propostos como participantes desse processo estavam corretos e se seriam capazes de capturar adequadamente as semelhanças e diferenças entre a interação entre jogadores e as diferentes mídias. Por essa razão, estruturou-se uma ferramenta de coleta de dados, que foi validada junto a designers de jogos digitais, uma vez que esses profissionais conhecem o processo de criação de um jogo, seus elementos e objetivos. Posteriormente, foi feito um primeiro teste, junto a praticantes de jogos digitais de diversas idades em computadores pessoais e TV digital interativa, a fim e verificar como os elementos do modelo relacionavam-se entre si. O teste seguinte fez a coleta de dados de praticantes de jogos digitais em aparelhos celulares, tendo como objetivo capturar como se dá a formação de uma experiência através do processamento da mensagem de entretenimento num meio cujas limitações são inúmeras: tamanho de tela e teclas, para citar algumas delas. Como resultado, verificou-se, por meio de testes estatísticos, que jogos praticados em meios como computadores pessoais atraem mais por seus aspectos estéticos, enquanto a apreciação de um jogo em aparelhos celulares depende muito mais de sua habilidade de manter a interação que um jogo praticado em PC. Com isso conclui-se que o processamento das mensagens de entretenimento depende da capacidade dos seus criadores em entender os limites de cada meio e usar adequadamente os elementos que compõe o ambiente de um jogo, para conseguir levar à apreciação do mesmo.(AU)

Sistema computacional com geração de dados e visualização de resultados para estrutura de edifícios

Este trabalho trata do desenvolvimento de um sistema computacional, para a geração de dados e apresentação de resultados, específico para as estruturas de edifícios. As rotinas desenvolvidas devem trabalhar em conjunto com um sistema computacional para análise de estruturas com base no Método dos Elementos Finitos, contemplando tanto as estruturas de pavimentos; com a utilização de elementos de barra, placa/casca e molas; como as estruturas de contraventamento; com a utilização de elementos de barra tridimensional e recursos especiais como nó mestre e trechos rígidos. A linguagem computacional adotada para a elaboração das rotinas mencionadas é o Object Pascal do DELPHI, um ambiente de programação visual estruturado na programação orientada a objetos do Object Pascal. Essa escolha tem como objetivo, conseguir um sistema computacional onde alterações e adições de funções possam ser realizadas com facilidade, sem que todo o conjunto de programas precise ser analisado e modificado. Por fim, o programa deve servir como um verdadeiro ambiente para análise de estruturas de edifícios, controlando através de uma interface amigável com o usuário uma série de outros programas já desenvolvidos em FORTRAN, como por exemplo o dimensionamento de vigas, pilares, etc.

Characterization of rock slopes through slope mass rating using 3D point clouds

Rock mass classification systems are widely used tools for assessing the stability of rock slopes. Their calculation requires the prior quantification of several parameters during conventional fieldwork campaigns, such as the orientation of the discontinuity sets, the main properties of the existing discontinuities and the geo-mechanical characterization of the intact rock mass, which can be time-consuming and an often risky task. Conversely, the use of relatively new remote sensing data for modelling the rock mass surface by means of 3D point clouds is changing the current investigation strategies in different rock slope engineering applications. In this paper, the main practical issues affecting the application of Slope Mass Rating (SMR) for the characterization of rock slopes from 3D point clouds are reviewed, using three case studies from an end-user point of view. To this end, the SMR adjustment factors, which were calculated from different sources of information and processes, using the different softwares, are compared with those calculated using conventional fieldwork data. In the presented analysis, special attention is paid to the differences between the SMR indexes derived from the 3D point cloud and conventional field work approaches, the main factors that determine the quality of the data and some recognized practical issues. Finally, the reliability of Slope Mass Rating for the characterization of rocky slopes is highlighted.

User interface de aplicações móveis para museus : atenção partilhada

With the emergence and growing supply of mobile apps for museums it becomes relevant to study the importance of all the design aspects of those apps in order to provide users/visitors with a better museum experience. One of these aspects is User Interface (UI) which may condition the quality of the application experience as well as the museum experience, serving the function of intermediary. Since interface design must combine usability with appearance (Schlatter e Levinson, 2013) the design must always appeal to the user, representing also a potential source of distraction. Hence the concern of this dissertation is to understand how we can distribute the user's attention in a balanced way, between the application and the exhibition via the User Interface design. For better understanding of the issue – sharing the attention between the physical experience and the application - questions are addressed as: what represents a distraction during a visit to a museum and what comprises the attention process. Thus, it was possible to find some good and bad practice to design a good mobile UI which suits the visual criteria and does not require too much visitor’s attention, serving as a complement to the visit

A Comunicação Mediada por Interfaces Digitais: a interação humana com os jogos digitais em celulares.

O trabalho é um estudo exploratório sobre o processamento de mensagens de entretenimento. O objetivo do trabalho foi propor e testar um modelo de processamento de mensagens dedicado à compreensão de jogos digitais. Para realizar tal tarefa realizou-se um extenso levantamento de técnicas de observação de usuários diante de softwares e mídias, para conhecer as qualidades e limitações de cada uma dessas técnicas, bem como de sua abordagem do problema. Também foi realizado um levantamento dos modelos de processamento de mensagens nas mídias tradicionais e nas novas mídias. Com isso foi possível propor um novo modelo de análise de processamento de mensagens de entretenimento. Uma vez criado o modelo teórico, fez-se preciso testar se os elementos propostos como participantes desse processo estavam corretos e se seriam capazes de capturar adequadamente as semelhanças e diferenças entre a interação entre jogadores e as diferentes mídias. Por essa razão, estruturou-se uma ferramenta de coleta de dados, que foi validada junto a designers de jogos digitais, uma vez que esses profissionais conhecem o processo de criação de um jogo, seus elementos e objetivos. Posteriormente, foi feito um primeiro teste, junto a praticantes de jogos digitais de diversas idades em computadores pessoais e TV digital interativa, a fim e verificar como os elementos do modelo relacionavam-se entre si. O teste seguinte fez a coleta de dados de praticantes de jogos digitais em aparelhos celulares, tendo como objetivo capturar como se dá a formação de uma experiência através do processamento da mensagem de entretenimento num meio cujas limitações são inúmeras: tamanho de tela e teclas, para citar algumas delas. Como resultado, verificou-se, por meio de testes estatísticos, que jogos praticados em meios como computadores pessoais atraem mais por seus aspectos estéticos, enquanto a apreciação de um jogo em aparelhos celulares depende muito mais de sua habilidade de manter a interação que um jogo praticado em PC. Com isso conclui-se que o processamento das mensagens de entretenimento depende da capacidade dos seus criadores em entender os limites de cada meio e usar adequadamente os elementos que compõe o ambiente de um jogo, para conseguir levar à apreciação do mesmo.(AU)

miniDVMS v1.8 : A user manual(The data visualization and modeling system)

Today, the data available to tackle many scientific challenges is vast in quantity and diverse in nature. The exploration of heterogeneous information spaces requires suitable mining algorithms as well as effective visual interfaces. miniDVMS v1.8 provides a flexible visual data mining framework which combines advanced projection algorithms developed in the machine learning domain and visual techniques developed in the information visualisation domain. The advantage of this interface is that the user is directly involved in the data mining process. Principled projection methods, such as generative topographic mapping (GTM) and hierarchical GTM (HGTM), are integrated with powerful visual techniques, such as magnification factors, directional curvatures, parallel coordinates, and user interaction facilities, to provide this integrated visual data mining framework. The software also supports conventional visualisation techniques such as principal component analysis (PCA), Neuroscale, and PhiVis. This user manual gives an overview of the purpose of the software tool, highlights some of the issues to be taken care while creating a new model, and provides information about how to install and use the tool. The user manual does not require the readers to have familiarity with the algorithms it implements. Basic computing skills are enough to operate the software.

Visual data mining: integrating machine learning with information visualization

Today, the data available to tackle many scientific challenges is vast in quantity and diverse in nature. The exploration of heterogeneous information spaces requires suitable mining algorithms as well as effective visual interfaces. Most existing systems concentrate either on mining algorithms or on visualization techniques. Though visual methods developed in information visualization have been helpful, for improved understanding of a complex large high-dimensional dataset, there is a need for an effective projection of such a dataset onto a lower-dimension (2D or 3D) manifold. This paper introduces a flexible visual data mining framework which combines advanced projection algorithms developed in the machine learning domain and visual techniques developed in the information visualization domain. The framework follows Shneiderman’s mantra to provide an effective user interface. The advantage of such an interface is that the user is directly involved in the data mining process. We integrate principled projection methods, such as Generative Topographic Mapping (GTM) and Hierarchical GTM (HGTM), with powerful visual techniques, such as magnification factors, directional curvatures, parallel coordinates, billboarding, and user interaction facilities, to provide an integrated visual data mining framework. Results on a real life high-dimensional dataset from the chemoinformatics domain are also reported and discussed. Projection results of GTM are analytically compared with the projection results from other traditional projection methods, and it is also shown that the HGTM algorithm provides additional value for large datasets. The computational complexity of these algorithms is discussed to demonstrate their suitability for the visual data mining framework.

Accessing networked services : a user interface design problem

This research investigates the general user interface problems in using networked services. Some of the problems are: users have to recall machine names and procedures to. invoke networked services; interactions with some of the services are by means of menu-based interfaces which are quite cumbersome to use; inconsistencies exist between the interfaces for different services because they were developed independently. These problems have to be removed so that users can use the services effectively. A prototype system has been developed to help users interact with networked services. This consists of software which gives the user an easy and consistent interface with the various services. The prototype is based on a graphical user interface and it includes the following appJications: Bath Information & Data Services; electronic mail; file editor. The prototype incorporates an online help facility to assist users using the system. The prototype can be divided into two parts: the user interface part that manages interactlon with the user; the communicatIon part that enables the communication with networked services to take place. The implementation is carried out using an object-oriented approach where both the user interface part and communication part are objects. The essential characteristics of object-orientation, - abstraction, encapsulation, inheritance and polymorphism - can all contribute to the better design and implementation of the prototype. The Smalltalk Model-View-Controller (MVC) methodology has been the framework for the construction of the prototype user interface. The purpose of the development was to study the effectiveness of users interaction to networked services. Having completed the prototype, tests users were requested to use the system to evaluate its effectiveness. The evaluation of the prototype is based on observation, i.e. observing the way users use the system and the opinion rating given by the users. Recommendations to improve further the prototype are given based on the results of the evaluation. based on the results of the evah:1ation. . .'. " "', ':::' ,n,<~;'.'

Semantic search components:a blueprint for effective query language interfaces

Formulating complex queries is hard, especially when users cannot understand all the data structures of multiple complex knowledge bases. We see a gap between simplistic but user friendly tools and formal query languages. Building on an example comparison search, we propose an approach in which reusable search components take an intermediary role between the user interface and formal query languages.

Re-imagining commonly used mobile interfaces for older adults

Many countries have an increasingly ageing population. In recent years, mobile technologies have had a massive impact on social and working lives. As the size of the older user population rises, many people will want to continue professional, social and lifestyle usage of mobiles into 70s and beyond. Mobile technologies can lead to increased community involvement and personal independence. While mobile technologies can provide many opportunities, the ageing process can interfere with their use. This workshop brings together researchers who are re-imagining common mobile interfaces so that they are more suited to use by older adults.

The effects of semantic and syntactic instruction on user performance and satisfaction in search user interface design

The design of interfaces to facilitate user search has become critical for search engines, ecommercesites, and intranets. This study investigated the use of targeted instructional hints to improve search by measuring the quantitative effects of users' performance and satisfaction. The effects of syntactic, semantic and exemplar search hints on user behavior were evaluated in an empirical investigation using naturalistic scenarios. Combining the three search hint components, each with two levels of intensity, in a factorial design generated eight search engine interfaces. Eighty participants participated in the study and each completed six realistic search tasks. Results revealed that the inclusion of search hints improved user effectiveness, efficiency and confidence when using the search interfaces, but with complex interactions that require specific guidelines for search interface designers. These design guidelines will allow search designers to create more effective interfaces for a variety of searchapplications.

Semantikos: proposta de interfaces para aplicativo mediador de técnica de diferencial semântico em mobile tablet

This research aims to systematize a proposal of developing a mobile tablet application in order to help implementing the Semantic Differential technique – SD, under the approach of Participatory Design. In 1975, Osgood et al. created the Semantic Differential technique. Since then, many experiments use it to measure the affective perception of individuals concerning objects and concepts by means of compounded scales of bipolar adjectives, based on the theoretical models that support the technique: the conductible, spatial and metric models. During the application of the technique with potential users, the researcher must simultaneously manage several contexts, that is, audio recorder, when authorized, and observe and record spontaneous reports of the respondent. It is noticeable that often occurs a cognitive overload during this event. Thus, the use of a single application whose interface is assigned to its users and respondents could assist researchers in applying the SD technique. This research aimed to understand the processes inherent to the task of implementing the Semantic Differential technique and obeyed the following steps: a) training of users, b) background questionnaire c) interview with Focus Group, and d) cooperative evaluation. Besides these procedures, one can also observe the degrees of facilitation or difficulty concerning the use of the conventional model, which is the development and application of scales with the aid of printed material, pencil, pens, clipboards, and recorder software for editing the document and data analysis. This paper comprises reactions and impressions from the experiences of users of SD technique. Considering the data recollected from the user’s observation, the hypothesis of the experiment proved to be right. It means that the development of the application for mobile tablet employing the technique of Semantic Differential is viable, since it assembles all the steps in one only tool, increases the accomplishment of the task between user/researcher and user/respondent resulting in their mutual satisfaction.