B-R1ING MoCap: registrazione e riproduzione dei movimenti umani su avatar 3D in realtà aumentata

Già da qualche anno si è stati introdotti alla possibilità di vivere in un mondo virtuale; basta indossare un paio di visori di realtà aumentata, virtuale e mista che riproducono nell’ambiente circostante oggetti che fisicamente non esistono. Negli ultimi mesi, inoltre, questa possibilità sta diventando sempre più concreta con l’introduzione, da parte dei colossi dell’informatica, del concetto di "Metaverso": un universo parallelo completamente digitale dove sarà possibile svolgere ogni attività sociale. L’obiettivo di questa tesi è quello di contribuire in piccola parte a questo enorme progetto creando una modalità di interazione tra utenti virtuale ma che si basa su comportamenti del tutto reali. A questo proposito il titolo dell’elaborato è: \textit{“B-R1ING MoCap: registrazione e riproduzione dei movimenti umani su avatar 3D in realtà aumentata”}. Lo scopo del progetto è quello di permettere a una persona di registrare un video in cui c’è un soggetto in movimento, salvare i movimenti del soggetto in un pacchetto dati e infine riprodurlo su un \textit{avatar} 3D che viene fatto agire in realtà aumentata. Il tutto farà parte di un’applicazione “social network” che permette l’interazione tra utenti in questo modo. Un utente può quindi registrare i movimenti umani e inviarli ad un altro utente che può riprodurre il messaggio in realtà aumentata tramite il suo smartphone. Viene introdotto così un nuovo tipo di comunicazione digitale indiretta passando dalla comunicazione scritta, ormai salda da decenni nei messaggi, alla comunicazione orale, introdotta da qualche anno tramite i messaggi vocali, alla comunicazione gestuale resa possibile dal lavoro in oggetto. Le fasi principali del progetto sono state due: una in cui, dopo aver individuato la tecnica migliore, è stato effettuato il "motion capture", un’altra in cui il movimento registrato è stato trasformato in animazione per un soggetto 3D che viene visualizzata in realtà aumentata.

Bin picking de objetos polimórficos convexos usando perceção 3D

O bin picking é um processo de grande interesse na indústria, uma vez que permite maior automatização, aumento da capacidade de produção e redução dos custos. Este tem vindo a evoluir bastante ao longo dos anos e essa evolução fez com que sistemas de perceção 3D começassem a ser implementados. Este trabalho tem como principal objetivo desenvolver um sistema de bin picking usando apenas perceção 3D. O sistema deve ser capaz de determinar a posição e orientação de objetos com diferentes formas e tamanhos, posicionados aleatoriamente numa superfície de trabalho. Os objetos utilizados para fazer os testes experimentais, são esferas, cilindros e prismas, uma vez que abrangem as formas geométricas existentes em muitos produtos submetidos a bin picking. Após a identi cação e seleção do objeto a apanhar, o manipulador deve autonomamente posicionar-se para fazer a aproximação e recolha do mesmo. A aquisição de dados é feita através de uma câmara Kinect. Dos dados recebidos apenas são trabalhados os referentes à profundidade, centrando-se assim este trabalho na análise e tratamento de nuvem de pontos. O sistema desenvolvido cumpre com os objetivos estabelecidos. Consegue localizar e apanhar objetos em várias posições e orientações. Além disso apresenta uma velocidade de processamento compatível com a aplicação em causa.

Interface virtual com sensor 3D para interação de pessoas acamadas

A interação homem-máquina tem evoluído significativamente nos últimos anos, a ponto de permitir desenvolver soluções adequadas para apoio a pessoas que possuem um certo tipo de limitação física ou cognitiva. O desenvolvimento de técnicas naturais e intuitivas de interação, as chamadas Natural User Interface (NUI), permitem, hoje, que pessoas que estejam acamadas e/ou com incapacidade motora possam executar um conjunto de ações por intermédio de gestos, aumentando assim a sua qualidade de vida. A solução implementada neste projecto é baseada em processamento de imagem e visão por computador através do sensor 3D Kinect e consiste numa interface natural para o desenvolvimento de uma aplicação que reconheça gestos efetuados por uma mão humana. Os gestos identificados pela aplicação acionam um conjunto de ações adequados a uma pessoa acamada, como, por exemplo, acionar a emergência, ligar ou desligar a TV ou controlar a inclinação da cama. O processo de desenvolvimento deste projeto implicou várias etapas. Inicialmente houve um trabalho intenso de investigação sobre as técnicas e tecnologias consideradas importantes para a realização do trabalho - a etapa de investigação, a qual acompanhou praticamente todo o processo. A segunda etapa consistiu na configuração do sistema ao nível do hardware e do software. Após a configuração do sistema, obtiveram-se os primeiros dados do sensor 3D Kinect, os quais foram convertidos num formato mais apropriado ao seu posterior tratamento. A segmentação da mão permitiu posteriormente o reconhecimento de gestos através da técnica de matching para os seis gestos implementados. Os resultados obtidos são satisfatórios, tendo-se contabilizado cerca de 96% de resultados válidos. A área da saúde e bem-estar tem necessidade de aplicações que melhorem a qualidade de vida de pessoas acamadas, nesse sentido, o protótipo desenvolvido faz todo o sentido na sociedade actual, onde se verifica o envelhecimento da população.

Modelo de língua natural e transformação em modelo de LGP

A comunicação entre ouvintes e não ouvintes é uma barreira existente en-tre indivíduos das duas comunidades. Este facto cria grande dificuldade nas relações entre ambas, mesmo quando existem grandes laços afectivos, como por exemplo o caso da relação entre pais e filhos. Neste trabalho porpõe-se uma solução que pretende contribuir para apro-ximar estas duas comunidades através de um elemento que permita a tradução da Língua Portuguesa para a Língua Gestual Portuguesa. Trata-se de um modelo humanoide – um avatar – capaz de representar em Língua Gestual Portuguesa os gestos correspondentes a um texto em Língua Portuguesa, depois de um processo de tradução da primeira na segunda. O tra-balho realizado foi validado com o desenvolvimento de um protótipo, seguido de teste do mesmo. Com este trabalho pretende-se dar uma contribuição para a aproximação das duas comunidades – de ouvintes e não ouvintes.

Stima della superficie corporea in condizioni statiche e dinamiche: Stato dell'arte e soluzioni innovative low-cost

In questo progetto di tesi ci si addentrerà nel campo della scansione corporea, e più in generale di qualunque oggetto. In questo ambito le soluzioni proposte sono numerose e questo settore ha vissuto negli ultimi anni un’incredibile crescita, favorita anche dalla nascita delle stampanti 3D. Si può ragionevolmente supporre che tale crescita non sia destinata ad esaurirsi nei prossimi anni; ci sono i presupposti per cui questo settore occupi fette sempre più importanti del mercato. In questa tesi ci si è occupati prevalentemente di tecniche di scansione del corpo umano, in quanto una descrizione geometricamente accurata della superficie corporea riveste una notevole importanza sia nelle applicazioni industriali che nello studio della biomeccanica del movimento. Per quanto riguarda le applicazioni industriali si pensi ad esempio all’utilizzo di scanner 3D in accoppiata alle moderne stampanti 3D per la realizzazione di protesi custom o al comparto sartoriale per il confezionamento di abiti su misura. Nell’ambito della biomeccanica essa può risultare utile sia per quanto riguarda gli aspetti cinematici e dinamici nei campi riabilitativo, ergonomico e sportivo, sia per quanto riguarda la stima delle grandezze antropometriche. Attualmente esistono sistemi di scansione corporea low-cost che si stanno sempre più diffondendo e si può pensare ad un futuro neanche tanto lontano nel quale essi siano presenti in maniera diffusa nelle abitazioni. In tale contesto gli obiettivi di questa tesi sono: 1) Documentare quanto prodotto finora a livello scientifico, brevettuale ed industriale, evidenziando meriti e limiti di ciascuna soluzione. 2) Individuare e valutare la realizzabilità di soluzioni innovative low-cost.

Reconhecimento de faces 3D com Kinect

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)

‘Crows’ vs. ‘Avatar’, or: 3D vs. total-dimensional immersion

3D film’s explicit new space depth arguably provides both an enhanced realistic quality to the image and a wealth of more acute visual and haptic sensations (a ‘montage of attractions’) to the increasingly involved spectator. But David Cronenberg’s related ironic remark that ‘cinema as such is from the outset a «special effect»’ should warn us against the geometrical naiveté of such assumptions, within a Cartesian ocularcentric tradition for long overcome by Merleau-Ponty’s embodiment of perception and Deleuze’s notion of the self-consistency of the artistic sensation and space. Indeed, ‘2D’ traditional cinema already provides the accomplished «fourth wall effect», enclosing the beholder behind his back within a space that no longer belongs to the screen (nor to ‘reality’) as such, and therefore is no longer ‘illusorily’ two-dimensional. This kind of totally absorbing, ‘dream-like’ space, metaphorical for both painting and cinema, is illustrated by the episode ‘Crows’ in Kurosawa’s Dreams. Such a space requires the actual effacement of the empirical status of spectator, screen and film as separate dimensions, and it is precisely the 3D caracteristic unfolding of merely frontal space layers (and film events) out of the screen towards us (and sometimes above the heads of the spectators before us) that reinstalls at the core of the film-viewing phenomenon a regressive struggle with reality and with different degrees of realism, originally overcome by film since the Lumière’s Arrival of a Train at Ciotat seminal demonstration. Through an analysis of crucial aspects in Avatar and the recent Cave of Forgotten Dreams, both dealing with historical and ontological deepening processes of ‘going inside’, we shall try to show how the formal and technically advanced component of those 3D-depth films impairs, on the contrary, their apparent conceptual purpose on the level of contents, and we will assume, drawing on Merleau-Ponty and Deleuze, that this technological mistake is due to a lack of recognition of the nature of perception and sensation in relation to space and human experience.

Assessment of 3D scanners for modeling Pectus Carinatum corrective bar

Pectus Carinatum (PC) is a chest deformity consisting on the anterior protrusion of the sternum and adjacent costal cartilages. Non-operative corrections, such as the orthotic compression brace, require previous information of the patient chest surface, to improve the overall brace fit. This paper focuses on the validation of the Kinect scanner for the modelling of an orthotic compression brace for the correction of Pectus Carinatum. To this extent, a phantom chest wall surface was acquired using two scanner systems – Kinect and Polhemus FastSCAN – and compared through CT. The results show a RMS error of 3.25mm between the CT data and the surface mesh from the Kinect sensor and 1.5mm from the FastSCAN sensor

Assessment of 3D scanners for modeling pectus carinatum corrective bar

Pectus Carinatum (PC) is a chest deformity consisting on the anterior protrusion of the sternum and adjacent costal cartilages. Non-operative corrections, such as the orthotic compression brace, require previous information of the patient chest surface, to improve the overall brace fit. This paper focuses on the validation of the Kinect scanner for the modelling of an orthotic compression brace for the correction of Pectus Carinatum. To this extent, a phantom chest wall surface was acquired using two scanner systems – Kinect and Polhemus FastSCAN – and compared through CT. The results show a RMS error of 3.25mm between the CT data and the surface mesh from the Kinect sensor and 1.5mm from the FastSCAN sensor.

Sistema de visão robótico baseado no sensor kinect para orientação no espaço e contorno de obstáculos

Dissertação de mestrado em Engenharia Eletrónica Industrial e Computadores (área de especialização em Robótica)

Motion capture amb Microsoft Kinect

El proyecto trata de convertirse en una herramienta para animadores 3D, tanto para los que hacen películas como para los que modelan videojuegos, que necesiten de un software para simplificar el trabajo que conlleva animar un modelo 3D. Todo sin necesidad de usar trajes especializados. El proyecto, usando Kinect, convertirá los movimientos captados por la cámara y los agregará al modelo, creando una animación basándose en los movimientos reales de una persona.

Reconeixement de gestos de la mà amb el sensor Kinect

El reconeixement dels gestos de la mà (HGR, Hand Gesture Recognition) és actualment un camp important de recerca degut a la varietat de situacions en les quals és necessari comunicar-se mitjançant signes, com pot ser la comunicació entre persones que utilitzen la llengua de signes i les que no. En aquest projecte es presenta un mètode de reconeixement de gestos de la mà a temps real utilitzant el sensor Kinect per Microsoft Xbox, implementat en un entorn Linux (Ubuntu) amb llenguatge de programació Python i utilitzant la llibreria de visió artifical OpenCV per a processar les dades sobre un ordinador portàtil convencional. Gràcies a la capacitat del sensor Kinect de capturar dades de profunditat d’una escena es poden determinar les posicions i trajectòries dels objectes en 3 dimensions, el que implica poder realitzar una anàlisi complerta a temps real d’una imatge o d’una seqüencia d’imatges. El procediment de reconeixement que es planteja es basa en la segmentació de la imatge per poder treballar únicament amb la mà, en la detecció dels contorns, per després obtenir l’envolupant convexa i els defectes convexos, que finalment han de servir per determinar el nombre de dits i concloure en la interpretació del gest; el resultat final és la transcripció del seu significat en una finestra que serveix d’interfície amb l’interlocutor. L’aplicació permet reconèixer els números del 0 al 5, ja que s’analitza únicament una mà, alguns gestos populars i algunes de les lletres de l’alfabet dactilològic de la llengua de signes catalana. El projecte és doncs, la porta d’entrada al camp del reconeixement de gestos i la base d’un futur sistema de reconeixement de la llengua de signes capaç de transcriure tant els signes dinàmics com l’alfabet dactilològic.

Reconeixement de gestos de la mà amb el sensor Kinect

El reconeixement dels gestos de la mà (HGR, Hand Gesture Recognition) és actualment un camp important de recerca degut a la varietat de situacions en les quals és necessari comunicar-se mitjançant signes, com pot ser la comunicació entre persones que utilitzen la llengua de signes i les que no. En aquest projecte es presenta un mètode de reconeixement de gestos de la mà a temps real utilitzant el sensor Kinect per Microsoft Xbox, implementat en un entorn Linux (Ubuntu) amb llenguatge de programació Python i utilitzant la llibreria de visió artifical OpenCV per a processar les dades sobre un ordinador portàtil convencional. Gràcies a la capacitat del sensor Kinect de capturar dades de profunditat d’una escena es poden determinar les posicions i trajectòries dels objectes en 3 dimensions, el que implica poder realitzar una anàlisi complerta a temps real d’una imatge o d’una seqüencia d’imatges. El procediment de reconeixement que es planteja es basa en la segmentació de la imatge per poder treballar únicament amb la mà, en la detecció dels contorns, per després obtenir l’envolupant convexa i els defectes convexos, que finalment han de servir per determinar el nombre de dits i concloure en la interpretació del gest; el resultat final és la transcripció del seu significat en una finestra que serveix d’interfície amb l’interlocutor. L’aplicació permet reconèixer els números del 0 al 5, ja que s’analitza únicament una mà, alguns gestos populars i algunes de les lletres de l’alfabet dactilològic de la llengua de signes catalana. El projecte és doncs, la porta d’entrada al camp del reconeixement de gestos i la base d’un futur sistema de reconeixement de la llengua de signes capaç de transcriure tant els signes dinàmics com l’alfabet dactilològic.