A importância da personagem virtual no contexto da animação 3D em tempo real

O desenvolvimento de personagens digitais tridimensionais1 na área da animação, a constante procura por soluções tecnológicas convincentes, aliado a uma estética própria, tem contribuído para o sucesso e afirmação da animação tridimensional, na indústria do entretenimento. Contudo, toda a obra que procura ou explora a vertente digital/3D, torna-se ‘vitima’ das limitações do render2 aplicado a uma sequência de imagens, devido ao aumento dos custos financeiros e humanos, assim como da influência e dificuldade implicadas no cumprimento dos objectivos e prazos. O tempo real tem assumido, cada vez mais, um papel predominante na indústria da animação interactiva. Com a evolução da tecnologia surgiu a necessidade de procurar a metodologia apropriada que sirva de alavanca para o desenvolvimento de animações 3D em tempo real, através de softwares open-source ou de baixo orçamento, para a redução de custos, que possibilite simultaneamente descartar qualquer dependência do render na animação 3D. O desenvolvimento de personagens em tempo real, possibilita o surgimento de uma nova abordagem: a interactividade na arte de animar. Esta possibilita a introdução de um vasto leque de novas aplicações e consequentemente, contribui para o aumento do interesse e curiosidade por parte do espectador. No entanto, a inserção, implementação e (ab)uso da tecnologia na área da animação, levanta questões atuais sobre qual o papel do animador. Esta dissertação procura analisar estes aspectos, dando apoio ao projecto de animação 3D em tempo real, denominado ‘PALCO’.

Palco: a multisensor realtime 3D cartoon production system

This paper presents Palco, a prototype system specifically designed for the production of 3D cartoon animations. The system addresses the specific problems of producing cartoon animations, where the main obj ective is not to reproduce realistic movements, but rather animate cartoon characters with predefined and characteristic body movements and facial expressions. The techniques employed in Palco are simple and easy to use, not requiring any invasive or complicated motion capture system, as both body motion and facial expression of actors are captured simultaneously, using an infrared motion detection sensor, a regular camera and a pair of electronically instrumented gloves. The animation process is completely actor-driven, with the actor controlling the character movements, gestures, facial expression and voice, all in realtime. The actor controlled cartoonification of the captured facial and body motion is a key functionality of Palco, and one that makes it specifically suited for the production of cartoon animations.

Realidade Aumentada para Espaços Interactivos

Neste texto pretendemos explorar a Realidade aumentada como meio de visualização para projectos de comunicação interactivos. Através das aplicações ARToolkit, Virtools e 3ds Max, pretendemos mostrar como criar uma plataforma interactiva portátil, que recorra ao meio ambiente e a markers para a construção do cenário de jogo. Pretendemos mostrar que o realismo da simulação, aliada à fusão dos objectos artificiais sobre o mundo real, poderá gerar empatia de interacção entre jogadores e os seus avatares.

Augmented Reality for Games

In this text, we intend to explore augmented reality as a means to visualise interactive communication projects. With ARToolkit, Virtools and 3ds Max applications, we aim to show how to create a portable interactive platform that resorts to the environment and markers for constructing the game’s scenario. We plan to show that the realism of simulation, together with the merger of artificial objects with the real world, can generate interactive empathy between players and their avatars.

Agentes ou Jogadores? Os monstros estranhamente reais dos jogos de computadores

Pretendemos mostrar como os sistemas de motion capture permitem transpor para avatares movimentos de pessoas reais para, com o auxílio do processamento gráfico e dos incrementos em Inteligência artificial, criar as planícies de Masahiro Mori, o uncanny valley. Acreditamos que, num futuro próximo, será possível emocionar jogadores se o realismo das interacções no jogo apresentar consistência semelhante às experiências no mundo real.

Análise dos padrões motores utilizados no desempenho de uma tarefa funcional, com recurso ao BioStage®, em crianças com 9 a 10 anos de idade, e seu contributo para a terapia ocupacional

O estudo do comportamento motor, nomeadamente as áreas do desenvolvimento e controlo motor, têm permitido fundamentar a prática da terapia ocupacional, proporcionando um entendimento mais abrangente de aspetos relacionados com a análise de movimento. Todavia, o processo de análise de atividades, por norma, é realizado de forma empírica, principalmente devido à carência de métodos que avaliem de forma objetiva e precisa o comportamento motor e, consequentemente, os movimentos realizados no desempenho de atividades. Neste sentido, este estudo pretendeu encontrar padrões motores em crianças entre os nove e os dez anos de idade, com desenvolvimento normal, que traduzam o desempenho de uma tarefa motora funcional, com recurso ao sistema de captura e parametrização do movimento em tempo real BioStage®. Por outro lado, tentou-se perceber se o sistema poderia revelar-se um contributo para a prática da terapia ocupacional, possibilitando a obtenção de dados que possam ser utilizados na clínica. As tarefas selecionadas para análise foram os cinco lançamentos propostos pelo Bruininks-Oseretsky Test of Motor Proficiency, que consistem no lançamento por baixo uni e bilateral, lançamento ao chão uni e bilateral e lançamento ao alvo (unilateral). Os resultados encontrados apontam que aos nove e dez anos existem padrões motores similares entre as crianças, no entanto ainda se nota uma ligeira variabilidade no comportamento. Aferiu-se, também, que a idade, sexo e prática de exercício físico podem influenciar os padrões utilizados, estando de acordo com a literatura. O sistema BioStage® mostrou-se uma ferramenta eficaz para a análise de movimento, providenciando informação detalhada sobre o comportamento motor das crianças, no decorrer das tarefas. Deste modo, pode ser uma mais-valia para a prática da terapia ocupacional, podendo contribuir para uma análise de atividades mais precisa, objetiva e fundamentada.

O uso do smartphone na avaliação do risco de queda associado ao envelhecimento

Introdução: O declínio do equilíbrio, da força dos membros inferiores e o medo de cair são fatores de risco de queda associados ao envelhecimento e a sua avaliação pode ser realizada pelo teste One Leg Standing (OLS), Sit to Stand (STS) e pela Falls Eficacy Scale (FES), respetivamente. As aplicações para smartphone constituem uma alternativa para a avaliação dos fatores de risco de queda no envelhecimento. Objetivo: Analisar a capacidade de uma aplicação para smartphone na avaliação dos testes STS, OLS e FES. Metodologia: Realizou-se um estudo analítico numa amostra de 27 voluntários com idade ≥ 60 anos. Realizaram-se os testes STS, OLS e a FES (versão iconográfica, apresentada no smartphone). Os dados foram recolhidos simultaneamente por um smartphone e pelo Qualisys Motion Capture Systems associado a uma plataforma de forças. Foi utilizado o r de Pearson ou Spearman para analisar as possíveis correlações. Resultados: No STS obteve-se uma correlação muito forte (rp=0.97) no número de repetições de ciclos Sit Stand Sit (SLS) e forte na duração média do SLS (rp=0.85) e das subfases Sit to Stand (rp=0.69) e Stand to Sit (rp=0.778), com p<0.001. As medidas de inclinação do tronco apresentaram correlações fortes, com exceção do ângulo inicial (p≥0.05). No OLS, verificou-se uma correlação moderada entre o deslocamento do centro de pressão peak to peak médio-lateral (rs=0.45; p=0.017) e antero-posterior (rs=0.39; p=0.046), root mean square médio-lateral (rs=0.39; p=0.046) e antero-posterior (rs=0.46; p=0.017) e área do estatocinesiograma (rs=0.45; p=0.018). Na FES obteve-se uma correlação moderada em três categorias: ‘tomar banho/duche’ (rs=0.49; p=0.010), ‘deitar/levantar da cama (rs=0.43; p=0.024) e ‘chegar aos armários’ (rs=0.38; p=0.050). Conclusão: A aplicação para smartphone parece avaliar corretamente os ciclos e a variação da inclinação do tronco no STS, porém parece necessitar de ser reajustada na FES e na velocidade do deslocamento do centro de pressão, no OLS.

Diferença entre os géneros na análise cinemática e eletromiográfica do membro superior durante uma atividade diária de beber

As diferenças entre os géneros parecem surgir desde a origem da humanidade, quando a função do homem era caçar e da mulher fornecer cuidados às crianças e realizar trabalhos de cariz manual. O membro superior apresenta um papel primordial na execução da maioria das atividades relevantes para o ser humano, sendo pertinente a realização de avaliações mais objetivas do mesmo. Com a realização deste estudo pretendemos verificar se existem diferenças entre os géneros nos parâmetros eletromiográficos e cinemáticos do movimento durante uma atividade diária; perceber se os valores da eletromiografia e da cinemática do membro superior são dependentes do género à medida que a distância do objeto é alterada e ainda, levar a cabo a análise da atividade de beber. Para tal foram avaliados parâmetros de qualidade de movimento e parâmetros de recrutamento muscular em 15 indivíduos do género feminino e 15 indivíduos do género masculino com idades compreendidas entre os 18 e os 30 anos numa atividade de beber em três momentos diferentes. Para a análise cinemática foi utilizado o software Qualysis Motion Capture e para a análise eletromiográfica o software AcqKnowledge Analysis. Com os resultados obtidos constatamos que a percentagem de ativação muscular e os ângulos de flexão do ombro e flexão do cotovelo apresentam diferenças estatisticamente significativas (p<0.05) entre os géneros, sendo o grupo feminino a apresentar valores superiores. Aferiu-se também que a percentagem de ativação do músculo Deltoide Anterior parece ser influenciado pelo género (p<0.05) ao longo das três distâncias em estudo, sendo novamente o grupo feminino a apresentar valores superiores. Para além disto, aquando do movimento de alcançar, verificaram-se evidências estatísticas (p<0.05) do envolvimento do tronco em todas as distâncias de alcance do objeto, inclusive numa distância inferior ao comprimento do braço. Este estudo permitiu a descrição detalhada da eletromiografia e cinemática do movimento do membro superior de alcançar e transportar numa atividade diária, bem como uma comparação da mesma entre o grupo masculino e grupo feminino.

Estudo comparativo entre criança com e sem joelhos valgos praticantes de hóquei em patins utilizando diferentes sistemas de análise

O presente estudo tem como objetivo comparar experimentalmente duas crianças praticantes de Hóquei em Patins, uma normal e uma com a patologia dos joelhos valgos, avaliando qualitativamente as diferenças posturais, estáticas e dinâmicas, decorrentes da utilização dos patins específicos desta modalidade, através do sistema de análise da Força de Reação do Solo (FRS), de Eletromiografia (EMG), de captura de movimento, e de modelação e simulação. Para atingir o objetivo definiu-se um protocolo de ensaios com as seguintes tarefas: repouso com e sem patins, marcha, corrida, deslizar com os dois pés apoiados e deslizar com o pé esquerdo levantado. No repouso avaliou-se a variação do ponto de aplicação da FRS da criança normal e patológica, com e sem patins. Ainda na tarefa de repouso avaliou-se também as componentes médio-lateral, antero-posterior individualmente e a componente vertical da FRS, juntamente com a atividade muscular dos músculos Gastrocnémio Medial (GM), Recto Femoral (RF), Vasto Medial (VM), Vasto Lateral (VL), Bicípete Femoral (BF), Semitendinoso (ST), Tensor da Fascia Lata (TFL), Gastrocnémio Lateral (GL), de forma a comparar os valores de intensidade de FRS e da atividade muscular dos diferentes instantes de tempo desta tarefa. Para as restantes tarefas apenas se avaliou individualmente as componentes médio-lateral e antero-posterior da FRS e a componente vertical da FRS juntamente com a atividade muscular dos referidos músculos, salientando as diferenças evidentes entre as curvas da criança normal e as curvas da criança patológica durante os diferentes instantes do movimento. Todas as tarefas referidas, exceto a tarefa de repouso com patins, foram ainda simuladas recorrendo a modelos músculo-esqueléticos. A partir destas simulações do movimento obtiveram-se os ângulos articulares e efetuou-se a respetiva análise. No final dos resultados obtidos apresentou-se uma tabela de resumo com o cálculo dos coeficientes de variação de cada grandeza, exceto nos gráficos da posição no espaço da FRS, onde se constatou que existe uma grande variabilidade inter-individuo em cada tarefa. A análise dos resultados de cada tarefa permite concluir que a utilização de patins pode trazer uma maior ativação muscular para a criança patológica, embora se verifique instabilidade articular. Apesar dessa instabilidade pode-se inferir que, uma maior ativação muscular decorrente da utilização de patins, tal como acontece na prática do hóquei em patins, pode trazer uma melhoria, a longo prazo, na estabilidade da articulação do joelho e na sustentação corporal, proporcionada pelo fortalecimento muscular.

Sistema de animação de personagens virtuais para comunicação não verbal

O principal objectivo da animação de personagens virtuais é o de contar uma história através da utilização de personagens virtuais emocionalmente expressivos. Os personagens têm personalidades distintas, e transmitem as suas emoções e processos de pensamento através dos seus comportamentos (comunicação não verbal). As suas acções muitas das vezes constituem a geração de movimentos corporais complexos. Existem diversas questões a considerar quando se anima uma entidade complexa, tais como, a posição das zonas móveis e as suas velocidades. Os personagens virtuais são um exemplo de entidades complexas e estão entre os elementos mais utilizados em animação computacional. O foco desta dissertação consistiu na criação de uma proposta de sistema de animação de personagens virtuais, cujos movimentos e expressões faciais são capazes de transmitir emoções e estados de espírito. Os movimentos primários, ou seja os movimentos que definem o comportamento dos personagens, são provenientes da captura de movimentos humanos (Motion Capture). As animações secundárias, tais como as expressões faciais, são criadas em Autodesk Maya recorrendo à técnica BlendShapes. Os dados obtidos pela captura de movimentos, são organizados numa biblioteca de comportamentos através de um grafo de movimentos, conhecido por Move Tree. Esta estrutura permite o controlo em tempo real dos personagens através da gestão do estado dos personagens. O sistema possibilita também a transição eficaz entre movimentos semelhantes e entre diferentes velocidades de locomoção, minimizando o efeito de arrastamento de pés conhecido como footskate. Torna-se assim possível definir um trajecto que o personagem poderá seguir com movimentos suaves. Estão também disponíveis os resultados obtidos nas sessões de avaliação realizadas, que visaram a determinação da qualidade das transições entre animações. Propõem-se ainda o melhoramento do sistema através da implementação da construção automática do grafo de movimentos.

Tool for spatial and dynamic representation of artistic performances

This proposal aims to explore the use of available technologies for video representation of sets and performers in order to serve as support for composition processes and artistic performer rehearsals, while focusing in representing the performer’s body and its movements, and its relation with objects belonging to the three-dimensional space of their performances. This project’s main goal is to design and develop a system that can spatially represent the performer and its movements, by means of capturing processes and reconstruction using a camera device, as well as enhance the three-dimensional space where the performance occurs by allowing interaction with virtual objects and by adding a video component, either for documentary purposes, or for live performances effects (for example, using video mapping video techniques in captured video or projection during a performance).

Measuring end-to-end delay in real-time auralisation systems

One of the major challenges in the development of an immersive system is handling the delay between the tracking of the user’s head position and the updated projection of a 3D image or auralised sound, also called end-to-end delay. Excessive end-to-end delay can result in the general decrement of the “feeling of presence”, the occurrence of motion sickness and poor performance in perception-action tasks. These latencies must be known in order to provide insights on the technological (hardware/software optimization) or psychophysical (recalibration sessions) strategies to deal with them. Our goal was to develop a new measurement method of end-to-end delay that is both precise and easily replicated. We used a Head and Torso simulator (HATS) as an auditory signal sensor, a fast response photo-sensor to detect a visual stimulus response from a Motion Capture System, and a voltage input trigger as real-time event. The HATS was mounted in a turntable which allowed us to precisely change the 3D sound relative to the head position. When the virtual sound source was at 90º azimuth, the correspondent HRTF would set all the intensity values to zero, at the same time a trigger would register the real-time event of turning the HATS 90º azimuth. Furthermore, with the HATS turned 90º to the left, the motion capture marker visualization would fell exactly in the photo-sensor receptor. This method allowed us to precisely measure the delay from tracking to displaying. Moreover, our results show that the method of tracking, its tracking frequency, and the rendering of the sound reflections are the main predictors of end-to-end delay.

Bimodal information increases spontaneous interpersonal synchronization of goal directed upper limb movements

When interacting with each other, people often synchronize spontaneously their movements, e.g. during pendulum swinging, chair rocking[5], walking [4][7], and when executing periodic forearm movements[3].Although the spatiotemporal information that establishes the coupling, leading to synchronization, might be provided by several perceptual systems, the systematic study of different sensory modalities contribution is widely neglected. Considering a) differences in the sensory dominance on the spatial and temporal dimension[5] , b) different cue combination and integration strategies [1][2], and c) that sensory information might provide different aspects of the same event, synchronization should be moderated by the type of sensory modality. Here, 9 naïve participants placed a bottle periodically between two target zones, 40 times, in 12 conditions while sitting in front of a confederate executing the same task. The participant could a) see and hear, b) see , c) hear the confederate, d) or audiovisual information about the movements of the confederate was absent. The couple started in 3 different relative positions (i.e., in-phase, anti-phase, out of phase). A retro-reflective marker was attached to the top of the bottles. Bottle displacement was captured by a motion capture system. We analyzed the variability of the continuous relative phase reflecting the degree of synchronization. Results indicate the emergence of spontaneous synchronization, an increase with bimodal information, and an influence of the initial phase relation on the particular synchronization pattern. Results have theoretical implication for studying cue combination in interpersonal coordination and are consistent with coupled oscillator models.

Markerlose Ganganalyse mit einem Multikamerasystem

Gait analysis, motion capture, without marker, model, camera

Automatic measurement of key ski jumping phases and temporal events with a wearable system.

We propose a new method, based on inertial sensors, to automatically measure at high frequency the durations of the main phases of ski jumping (i.e. take-off release, take-off, and early flight). The kinematics of the ski jumping movement were recorded by four inertial sensors, attached to the thigh and shank of junior athletes, for 40 jumps performed during indoor conditions and 36 jumps in field conditions. An algorithm was designed to detect temporal events from the recorded signals and to estimate the duration of each phase. These durations were evaluated against a reference camera-based motion capture system and by trainers conducting video observations. The precision for the take-off release and take-off durations (indoor < 39 ms, outdoor = 27 ms) can be considered technically valid for performance assessment. The errors for early flight duration (indoor = 22 ms, outdoor = 119 ms) were comparable to the trainers' variability and should be interpreted with caution. No significant changes in the error were noted between indoor and outdoor conditions, and individual jumping technique did not influence the error of take-off release and take-off. Therefore, the proposed system can provide valuable information for performance evaluation of ski jumpers during training sessions.