Bin picking de objetos polimórficos convexos usando perceção 3D

O bin picking é um processo de grande interesse na indústria, uma vez que permite maior automatização, aumento da capacidade de produção e redução dos custos. Este tem vindo a evoluir bastante ao longo dos anos e essa evolução fez com que sistemas de perceção 3D começassem a ser implementados. Este trabalho tem como principal objetivo desenvolver um sistema de bin picking usando apenas perceção 3D. O sistema deve ser capaz de determinar a posição e orientação de objetos com diferentes formas e tamanhos, posicionados aleatoriamente numa superfície de trabalho. Os objetos utilizados para fazer os testes experimentais, são esferas, cilindros e prismas, uma vez que abrangem as formas geométricas existentes em muitos produtos submetidos a bin picking. Após a identi cação e seleção do objeto a apanhar, o manipulador deve autonomamente posicionar-se para fazer a aproximação e recolha do mesmo. A aquisição de dados é feita através de uma câmara Kinect. Dos dados recebidos apenas são trabalhados os referentes à profundidade, centrando-se assim este trabalho na análise e tratamento de nuvem de pontos. O sistema desenvolvido cumpre com os objetivos estabelecidos. Consegue localizar e apanhar objetos em várias posições e orientações. Além disso apresenta uma velocidade de processamento compatível com a aplicação em causa.

Interface virtual com sensor 3D para interação de pessoas acamadas

A interação homem-máquina tem evoluído significativamente nos últimos anos, a ponto de permitir desenvolver soluções adequadas para apoio a pessoas que possuem um certo tipo de limitação física ou cognitiva. O desenvolvimento de técnicas naturais e intuitivas de interação, as chamadas Natural User Interface (NUI), permitem, hoje, que pessoas que estejam acamadas e/ou com incapacidade motora possam executar um conjunto de ações por intermédio de gestos, aumentando assim a sua qualidade de vida. A solução implementada neste projecto é baseada em processamento de imagem e visão por computador através do sensor 3D Kinect e consiste numa interface natural para o desenvolvimento de uma aplicação que reconheça gestos efetuados por uma mão humana. Os gestos identificados pela aplicação acionam um conjunto de ações adequados a uma pessoa acamada, como, por exemplo, acionar a emergência, ligar ou desligar a TV ou controlar a inclinação da cama. O processo de desenvolvimento deste projeto implicou várias etapas. Inicialmente houve um trabalho intenso de investigação sobre as técnicas e tecnologias consideradas importantes para a realização do trabalho - a etapa de investigação, a qual acompanhou praticamente todo o processo. A segunda etapa consistiu na configuração do sistema ao nível do hardware e do software. Após a configuração do sistema, obtiveram-se os primeiros dados do sensor 3D Kinect, os quais foram convertidos num formato mais apropriado ao seu posterior tratamento. A segmentação da mão permitiu posteriormente o reconhecimento de gestos através da técnica de matching para os seis gestos implementados. Os resultados obtidos são satisfatórios, tendo-se contabilizado cerca de 96% de resultados válidos. A área da saúde e bem-estar tem necessidade de aplicações que melhorem a qualidade de vida de pessoas acamadas, nesse sentido, o protótipo desenvolvido faz todo o sentido na sociedade actual, onde se verifica o envelhecimento da população.

Stima della superficie corporea in condizioni statiche e dinamiche: Stato dell'arte e soluzioni innovative low-cost

In questo progetto di tesi ci si addentrerà nel campo della scansione corporea, e più in generale di qualunque oggetto. In questo ambito le soluzioni proposte sono numerose e questo settore ha vissuto negli ultimi anni un’incredibile crescita, favorita anche dalla nascita delle stampanti 3D. Si può ragionevolmente supporre che tale crescita non sia destinata ad esaurirsi nei prossimi anni; ci sono i presupposti per cui questo settore occupi fette sempre più importanti del mercato. In questa tesi ci si è occupati prevalentemente di tecniche di scansione del corpo umano, in quanto una descrizione geometricamente accurata della superficie corporea riveste una notevole importanza sia nelle applicazioni industriali che nello studio della biomeccanica del movimento. Per quanto riguarda le applicazioni industriali si pensi ad esempio all’utilizzo di scanner 3D in accoppiata alle moderne stampanti 3D per la realizzazione di protesi custom o al comparto sartoriale per il confezionamento di abiti su misura. Nell’ambito della biomeccanica essa può risultare utile sia per quanto riguarda gli aspetti cinematici e dinamici nei campi riabilitativo, ergonomico e sportivo, sia per quanto riguarda la stima delle grandezze antropometriche. Attualmente esistono sistemi di scansione corporea low-cost che si stanno sempre più diffondendo e si può pensare ad un futuro neanche tanto lontano nel quale essi siano presenti in maniera diffusa nelle abitazioni. In tale contesto gli obiettivi di questa tesi sono: 1) Documentare quanto prodotto finora a livello scientifico, brevettuale ed industriale, evidenziando meriti e limiti di ciascuna soluzione. 2) Individuare e valutare la realizzabilità di soluzioni innovative low-cost.

Modeling kinect sensor noise for improved 3D reconstruction and tracking

We contribute an empirically derived noise model for the Kinect sensor. We systematically measure both lateral and axial noise distributions, as a function of both distance and angle of the Kinect to an observed surface. The derived noise model can be used to filter Kinect depth maps for a variety of applications. Our second contribution applies our derived noise model to the KinectFusion system to extend filtering, volumetric fusion, and pose estimation within the pipeline. Qualitative results show our method allows reconstruction of finer details and the ability to reconstruct smaller objects and thinner surfaces. Quantitative results also show our method improves pose estimation accuracy. © 2012 IEEE.

Sistema de comercio electrónico para el sector textil: generar maniquíes 3D a partir de imágenes del sensor Kinect

Este proyecto consiste en analizar la viabilidad técnica un sistema de información para mejorar el comercio electrónico de compra –venta de ropa. El nuevo sistema de comercio electrónico ayudará al usuario a escoger el tamaño de la prenda con más precisión. El sistema consiste en calcular las medidas esenciales del cuerpo del cliente utilizando el dispositivo Kinect. Posteriormente, estas medidas se introducen en el programa Makehuman que genera un maniquí en 3D. Con la idea de que en el futuro se puede utilizar el maniquí para probar virtualmente prendas de vestir, se ha ideado un método, utilizando el programa Blender, que genera ropa en 3D con fotografías de prendas. Se generan dos ejemplos (pantalón y camiseta) para ilustrarlo.

Reconhecimento de faces 3D com Kinect

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)

‘Crows’ vs. ‘Avatar’, or: 3D vs. total-dimensional immersion

3D film’s explicit new space depth arguably provides both an enhanced realistic quality to the image and a wealth of more acute visual and haptic sensations (a ‘montage of attractions’) to the increasingly involved spectator. But David Cronenberg’s related ironic remark that ‘cinema as such is from the outset a «special effect»’ should warn us against the geometrical naiveté of such assumptions, within a Cartesian ocularcentric tradition for long overcome by Merleau-Ponty’s embodiment of perception and Deleuze’s notion of the self-consistency of the artistic sensation and space. Indeed, ‘2D’ traditional cinema already provides the accomplished «fourth wall effect», enclosing the beholder behind his back within a space that no longer belongs to the screen (nor to ‘reality’) as such, and therefore is no longer ‘illusorily’ two-dimensional. This kind of totally absorbing, ‘dream-like’ space, metaphorical for both painting and cinema, is illustrated by the episode ‘Crows’ in Kurosawa’s Dreams. Such a space requires the actual effacement of the empirical status of spectator, screen and film as separate dimensions, and it is precisely the 3D caracteristic unfolding of merely frontal space layers (and film events) out of the screen towards us (and sometimes above the heads of the spectators before us) that reinstalls at the core of the film-viewing phenomenon a regressive struggle with reality and with different degrees of realism, originally overcome by film since the Lumière’s Arrival of a Train at Ciotat seminal demonstration. Through an analysis of crucial aspects in Avatar and the recent Cave of Forgotten Dreams, both dealing with historical and ontological deepening processes of ‘going inside’, we shall try to show how the formal and technically advanced component of those 3D-depth films impairs, on the contrary, their apparent conceptual purpose on the level of contents, and we will assume, drawing on Merleau-Ponty and Deleuze, that this technological mistake is due to a lack of recognition of the nature of perception and sensation in relation to space and human experience.

Collaborative business process modeling using 3D virtual environments

Process modeling is a complex organizational task that requires many iterations and communication between the business analysts and the domain specialists involved in the process modeling. The challenge of process modeling is exacerbated, when the process of modeling has to be performed in a cross-organizational, distributed environment. Some systems have been developed to support collaborative process modeling, all of which use traditional 2D interfaces. We present an environment for collaborative process modeling, using 3D virtual environment technology. We make use of avatar instantiations of user ego centres, to allow for the spatial embodiment of the user with reference to the process model. We describe an innovative prototype collaborative process modeling approach, implemented as a modeling environment in Second Life. This approach leverages the use of virtual environments to provide user context for editing and collaborative exercises. We present a positive preliminary report on a case study, in which a test group modelled a business process using the system in Second Life.

Collaborative 3D BPMN Editor Two

Video presented as part of AMCIS 2010 conference in Lima Peru. New improved collaborative BPMN editor video, showing a new interface and collaboration capabilities via remote login of another avatar.

Comparação de parâmetros biomecânicos entre sistemas de captura de movimentos: avaliação do Microsoft Kinect

O objetivo do presente trabalho foi avaliar comparativamente parâmetros biomecânicos (tanto antropométricos, quanto cinemáticos) de dados obtidos a partir do console Microsoft Kinect (2010). A avaliação destes parâmetros foi realizada para validar seu uso para obter informações complementares à Análise Ergonomica do Trabalho (AET) e em outras pesquisas, cujos objetivos envolvem o diagnóstico de uso de produtos ou ambientes de trabalho a partir da análises posturais e interações da população que o utiliza. A pesquisa com este console em particular é justificada uma vez que seu lançamento modificou o cenário da biomecânica, já que se trata de um equipamento acessível e portátil. Porém, sua precisão em relação à outros equipamentos ainda está em aberto, sendo inclusive, objeto de estudo de muitas pesquisas em andamento. Os dados obtidos por meio de sistemas de captura de movimentos tridimensionais permitem a avaliação de produtos, atividades e análises de interações homem-objeto. No campo do Design, é uma importante realização, uma vez que permite que profissionais tenham acesso à ferramenta que, anteriormente, era limitada à nichos especializados. O console foi comparado com o sistema de captura de movimentos inercial MVN Biomech (XSENS TECHNOLOGIES) e com o tradicional registro por meio de vídeo. Para obter dados do console Kinect, um software disponível no mercado foi selecionado a partir de critérios predefinidos para obter dados cinemáticos do console. Dois experimentos laboratoriais foram realizados: o primeiro, teve como objetivo obter dados operacionais dos equipamentos e suas limitações de uso; e o segundo foi realizado de forma a obter dados biomecânicos e compará-los a partir de três parâmetros estáticos e um dinâmico. Os parâmetros estáticos envolveram ângulos articulares e segmentares em posturas selecionadas e dimensões segmentares, onde a proposta foi avaliar dados antropométricos e as características do modelo biomecânico referente à manter os corpos rígidos durante a movimentação. O parâmetro dinâmico foi realizado de forma a obter dados de deslocamento global das articulações em movimentações selecionadas. Para possibilitar esta análise, uma plataforma digital foi desenvolvida, constituindo um campo neutro para o tratamento dos dados. A plataforma mantém os dados originais dos sistemas, permitindo a distinção entre os modelos biomecânicos e a retirada de dados que possam ser comparados. Os experimentos realizados permitiram avaliar a usabilidade do console, fornecendo diretrizes para seu uso. Para avaliar a utilização do console em ambientes reais de trabalho, foram realizados registros preliminares em laboratórios químicos, os quais se mostraram viáveis se as limitações, semelhantes às de sistemas baseados em tecnologia ótica, sejam consideradas. Futuras análises devem ser conduzidas para validar estatisticamente os resultados obtidos. Porém, considerando o objetivo do trabalho, pode-se concluir que o sistema avaliado é uma alternativa confiável no contexto proposto.

Kernelized structural classification for 3D dogs body parts detection

Despite pattern recognition methods for human behavioral analysis has flourished in the last decade, animal behavioral analysis has been almost neglected. Those few approaches are mostly focused on preserving livestock economic value while attention on the welfare of companion animals, like dogs, is now emerging as a social need. In this work, following the analogy with human behavior recognition, we propose a system for recognizing body parts of dogs kept in pens. We decide to adopt both 2D and 3D features in order to obtain a rich description of the dog model. Images are acquired using the Microsoft Kinect to capture the depth map images of the dog. Upon depth maps a Structural Support Vector Machine (SSVM) is employed to identify the body parts using both 3D features and 2D images. The proposal relies on a kernelized discriminative structural classificator specifically tailored for dogs independently from the size and breed. The classification is performed in an online fashion using the LaRank optimization technique to obtaining real time performances. Promising results have emerged during the experimental evaluation carried out at a dog shelter, managed by IZSAM, in Teramo, Italy.

A frontal view gait recognition based on 3D imaging using a time of flight camera

Studies have been carried out to recognize individuals from a frontal view using their gait patterns. In previous work, gait sequences were captured using either single or stereo RGB camera systems or the Kinect 1.0 camera system. In this research, we used a new frontal view gait recognition method using a laser based Time of Flight (ToF) camera. In addition to the new gait data set, other contributions include enhancement of the silhouette segmentation, gait cycle estimation and gait image representations. We propose four new gait image representations namely Gait Depth Energy Image (GDE), Partial GDE (PGDE), Discrete Cosine Transform GDE (DGDE) and Partial DGDE (PDGDE). The experimental results show that all the proposed gait image representations produce better accuracy than the previous methods. In addition, we have also developed Fusion GDEs (FGDEs) which achieve better overall accuracy and outperform the previous methods.

Automating the creation of 3D animation from annotated fiction text

This paper describes a strategy for automatically converting fiction text into 3D animations. It assumes the existence of fiction text annotated with avatar, object, setting, transition and relation annotations, and presents a transformation process that converts annotated text into quantified constraint systems, the solutions to which are used in the population of 3D environments. Constraint solutions are valid over temporal intervals, ensuring that consistent dynamic behaviour is produced. A substantial level of automation is achieved, while providing opportunities for creative manual intervention in animation process. The process is demonstrated using annotated examples drawn from popular fiction text that are converted into animation sequences, confirming that the desired results can be achieved with only high-level human direction.