inVídeo: uma aplicação de vídeo interactivo sobre a Internet

A utilização de vídeo e áudio sobre a Internet tem ganho nos últimos anos um interesse crescente. Na verdade, o interesse não é recente, mas os limites tecnológicos de variadíssimas ordens impediam o desenvolvimento e a utilização alargada de aplicações com media ricos. Os avanços nas tecnologias relacionadas com, por exemplo, a compressão, as redes e as ferramentas multimédia possibilitaram o desenvolvimento e o funcionamento, de uma forma alargada, de sistemas multimédia. O trabalho apresentado nesta dissertação descreve a especificação e a implementação de um sistema de formação à distância, designado inVídeo, que utiliza o vídeo como elemento central. O sistema tem como objectivo proporcionar formação por intermédio de uma aplicação que permite a visualização paralela de um vídeo com imagens ou animações, acompanhada com outros dados, como texto e acesso a ficheiros que podem ser descarregados. O enquadramento para esta aplicação surgiu das necessidades de formação contínua de um centro hospitalar, todavia a aplicação foi desenvolvida para poder ser utilizada noutras instituições. A especificação passou pela descrição do problema e sua modelação utilizando um método para o desenvolvimento de aplicações interactivas, o WISDOM. A implementação descreve o sistema desenvolvido, a justificação das opções tecnológicas e os resultados de um inquérito feito aos utilizadores do sistema. O desenvolvimento do sistema levou ao estudo e, em alguns casos, à utilização de um conjunto de tecnologias distintas. Os estudos iniciais abordaram as tecnologias que possibilitam a utilização do vídeo sobre a Internet e algumas das suas condicionantes. Seguiram-se a composição, sincronização e interactividade multimédia, e por fim o uso de metadados para conteúdos educacionais. A resposta dada pelos utilizadores durante a utilização do sistema foi bastante satisfatória e revelou um grande interesse no uso do vídeo sobre a Internet. A construção de aplicações para Internet utilizando media exigentes deixou de ser a tarefa complexa que era há alguns anos, isto devido aos avanços tecnológicos. Todavia o desenvolvimento ainda necessita de muita ponderação e do enquadramento de muitos factores relacionados com a codificação dos media e com a heterogeneidade das redes, dos utilizadores e dos equipamentos.

Compressão de imagem e vídeo com controlador ARM

Este trabalho foi desenvolvido num estágio na empresa ABS GmbH sucursal em Portugal, e teve como foco a compressão de imagem e vídeo com os padrões JPEG e H.264, respetivamente. Foi utilizada a plataforma LeopardBoard DM368, com um controlador ARM9. A análise do desempenho de compressão de ambos os padrões foi realizada através de programas em linguagem C, para execução no processador DM368. O programa para compressão de imagem recebe como parâmetros de entrada o nome e a resolução da imagem a comprimir, e comprime-a com 10 níveis de quantização diferentes. Os resultados mostram que é possível obter uma velocidade de compressão até 73 fps (frames per second) para a resolução 1280x720, e que imagens de boa qualidade podem ser obtidas com rácios de compressão até cerca de 22:1. No programa para compressão de vídeo, o codificador está configurado de acordo com as recomendações para as seguintes aplicações: videoconferência, videovigilância, armazenamento e broadcasting/streaming. As configurações em cada processo de codificação, o nome do ficheiro, o número de frames e a resolução do mesmo representam os parâmetros de entrada. Para a resolução 1280x720, foram obtidas velocidades de compressão até cerca de 68 fps, enquanto para a resolução 1920x1088 esse valor foi cerca de 30 fps. Foi ainda desenvolvida uma aplicação com capacidades para capturar imagens ou vídeos, aplicar processamento de imagem, compressão, armazenamento e transmissão para uma saída DVI (Digital Visual Interface). O processamento de imagem em software permite melhorar dinamicamente as imagens, e a taxa média de captura, compressão e armazenamento é cerca de 5 fps para a resolução 1280x720, adequando-se à captura de imagens individuais. Sem processamento em software, a taxa sobe para cerca de 23 fps para a resolução 1280x720, sendo cerca de 28 fps para a resolução 1280x1088, o que é favorável à captura de vídeo.

Metodologia, Sistema de Codificação e Ferramenta de software para Modelagem de Móveis Modulados

On this research we investigated how new technologies can help the process of design and manufacturing of furniture in such small manufacturers in Rio Grande do Norte state. Google SketchUp, a 3D software tool, was developed in such a way that its internal structures are opened and can be accessed using SketchUp s API for Ruby and programs written in Ruby language (plugins). Using the concepts of the so-called Group Technology and the flexibility that enables adding new functionalities to this software, it was created a Methodology for Modeling of Furniture, a Coding System and a plugin for Google s tool in order to implement the Methodology developed. As resulted, the following facilities are available: the user may create and reuse the library s models over-and-over; reports of the materials manufacturing process costs are provided and, finally, detailed drawings, getting a better integration between the furniture design and manufacturing process

Uso de vídeo-estereocâmara para reconstrução de superfícies à curta distância

Pós-graduação em Ciências Cartográficas - FCT

Um sistema para extração automática de keyframes a partir de fluxos de vídeo direcionado à reconstrução tridimensional de cenários virtuais

Pós-graduação em Televisão Digital: Informação e Conhecimento - FAAC

Prótese protocolo com barra pré-fabricada: comportamento ósseo variando o tipo de osso e a configuração horizontal do arco mandibular no MEF-3D

Pós-graduação em Odontologia - FOA

Modelagem Cross-Layer da qualidade de experiência para transmissões de vídeo em sistemas sem fio OFDM

Este trabalho apresenta um estudo sobre transmissões de vídeo em sistemas sem fio. O objetivo da metodologia aplicada é comprovar a existência de uma relação direta entre a BER e a perda de qualidade (Perda de PSNR) nas transmissões de vídeo em sistemas OFDM (Orthogonal Frequency Division Multiplexing). Os resultados foram obtidos a partir de simulações, desenvolvidas no ambiente computacional Matlab®, e, aferições em cenários reais, realizadas no campus universitário e dentro do laboratório de estudos, em ambiente controlado. A partir da comparação entre dados simulados e aferidos, foi comprovada a relação entre BER e Perda de PSNR, resultando na formulação de um modelo empírico Cross-Layer com característica exponencial. A modelagem obteve erro RMS e desvio padrão próximos de 1,65 dB quando comparada com as simulações. Além disso, sua validação foi realizada a partir dos dados obtidos de cenários reais, que não foram usados para ajustar os parâmetros da equação obtida. O modelo obtido não necessita da especificação do tipo de canal ou codificação utilizada no FEC (Forward Error Correction), possibilitando uma futura integração com softwares de planejamento de redes, em versões comerciais ou open-sources.

Procesado de vídeo digital

Programa de doctorado: Cibermética y Telecomunicación.

Evaluación de habilidades motoras en cirugía de mínima invasión basada en el análisis del vídeo laparoscópico

En el presente trabajo se muestran los resultados preliminares de validación de un sistema de evaluación de habilidades motoras en cirugía de mínima invasión (CMI) basado en el seguimiento por vídeo del instrumental quirúrgico. El sistema, en fase de prototipo aún, se valida con 42 participantes (16 noveles, 22 residentes y 4 expertos). En esta primera fase del trabajo se han analizado varias métricas obtenidas a partir del 2D de la imagen. El sistema presenta validez para las métricas de tiempo, camino recorrido, velocidad media y eficiencia de espacio. A falta de implementar una versión definitiva capaz de llevar a cabo procesamiento en tiempo real de múltiples herramientas, y de la validación de métricas obtenidas a partir del 3D, se demuestra la viabilidad de construir entornos de formación basados en tecnologías de video, que sean transparentes al cirujano.

Comparación de algoritmos detectores de puntos singulares para reconocimiento de objetos en vídeo quirúrgico.

El análisis de vídeo laparoscópico ofrece nuevas posibilidades a la navegación quirúrgica al garantizar una incorporación mínima de tecnología en quirófano, evitando así alterar la ergonomía y los flujos de trabajo de las intervenciones. Una de sus principales ventajas es que puede servir como fuente de datos para reconstruir tridimensionalmente la escena laparoscópica, lo que permite dotar al cirujano de la sensación de profundidad perdida en este tipo de cirugía. En el presente trabajo de investigación se comparan dos detectores de puntos singulares, SIFT y SURF, para estimar cuál de los dos podría integrarse en un algoritmo de cálculo de coordenadas 3D, MonoSLAM, basado en la detección y el seguimiento de estos puntos singulares en los fotogramas del vídeo. Los resultados obtenidos posicionan a SURF como la mejor opción gracias a su rapidez y a su mayor capacidad de discriminación entre estructuras anatómicas e instrumental quirúrgico.

El vídeo como herramienta de análisis y representación de la arquitectura

Resulta sorprendente la escasa utilización que tiene el video como herramienta de representación arquitectónica. No nos referimos al video divulgativo que se emite en programas culturales, donde los edificios son mostrados con un ritmo lento e imparcial por una cámara que pretende sustituir al posible visitante; sino al video realizado por el propio autor del proyecto. En este caso, el video debería tener un grado de intención y subjetividad similar al del proyecto que muestra. Su contenido no tendría porque limitarse a imágenes reales, podría combinarlas con imágenes virtuales, animaciones 3D, planos, fotos, etc. Podría ser, incluso, completamente virtual, es decir, emplearse en la presentación y representación de proyectos. Asímismo, se echa de menos la utilización del video digital –basado en el montaje– como parte del trabajo de análisis y crítica arquitectónica. Es decir, su empleo, por parte del crítico, en la interpretación de la arquitectura y en la búsqueda de las posibles relaciones que se presentan en la misma. En nuestro caso, utilizamos el video como parte de las conclusiones de la tesis doctoral La arquitectura de Mondrian1. El trabajo consistía en discriminar entre las obras arquitectónicas realizadas por miembros del grupo De Stijl –o de su órbita– aquéllas que entroncaran con el elaborado discurso teórico de Mondrian. Nuestro interés se centró en buscar en la arquitectura moderna ejemplos en los que pudiéramos encontrar paralelismos fundamentales (de fondo) entre determinados edificios y la teoría de las artes de Mondrian. Para ello el video se mostró como una herramienta capaz de ilustrar –y enfatizar–, de forma intuitiva y gráfica, las conclusiones del trabajo.

User experience with immersive and interactive media = Experiencia de usuario en entornos 3D inmersivos e interactivos

Estudios recientes promueven la integración de estímulos multisensoriales en activos multimedia con el fin de mejorar la experiencia de usuario mediante la estimulación de nuevos sentidos, más allá de la tradicional experiencia audiovisual. Del mismo modo, varios trabajos proponen la introducción de componentes de interacción capaces de complementar con nuevas características, funcionalidades y/o información la experiencia multimedia. Efectos sensoriales basados en el uso de nuevas técnicas de audio, olores, viento, vibraciones y control de la iluminación, han demostrado tener un impacto favorable en la sensación de Presencia, en el disfrute de la experiencia multimedia y en la calidad, relevancia y realismo de la misma percibidos por el usuario. Asimismo, los servicios basados en dos pantallas y la manipulación directa de (elementos en) la escena de video tienen el potencial de mejorar la comprensión, la concentración y la implicación proactiva del usuario en la experiencia multimedia. El deporte se encuentra entre los géneros con mayor potencial para integrar y explotar éstas soluciones tecnológicas. Trabajos previos han demostrado asimismo la viabilidad técnica de integrar éstas tecnologías con los estándares actualmente adoptados a lo largo de toda la cadena de transmisión de televisión. De este modo, los sistemas multimedia enriquecidos con efectos sensoriales, los servicios interactivos multiplataforma y un mayor control del usuario sobre la escena de vídeo emergen como nuevas formas de llevar la multimedia immersiva e interactiva al mercado de consumo de forma no disruptiva. Sin embargo, existen numerosas interrogantes relativas a los efectos sensoriales y/o soluciones interactivas más adecuadas para complementar un contenido audiovisual determinado o a la mejor manera de de integrar y combinar dichos componentes para mejorar la experiencia de usuario de un segmento de audiencia objetivo. Además, la evidencia científica sobre el impacto de factores humanos en la experiencia de usuario con estas nuevas formas de immersión e interacción en el contexto multimedia es aún insuficiente y en ocasiones, contradictoria. Así, el papel de éstos factores en el potencial de adopción de éstas tecnologías ha sido amplia-mente ignorado. La presente tesis analiza el impacto del audio binaural, efectos sensoriales (de iluminación y olfativos), interacción con objetos 3D integrados en la escena de vídeo e interacción con contenido adicional utilizando una segunda pantalla en la experiencia de usuario con contenidos de deporte. La posible influencia de dichos componentes en las variables dependientes se explora tanto a nivel global (efecto promedio) como en función de las características de los usuarios (efectos heterogéneos). Para ello, se ha llevado a cabo un experimento con usuarios orientado a explorar la influencia de éstos componentes immersivos e interactivos en dos grandes dimensiones de la experiencia multimedia: calidad y Presencia. La calidad de la experiencia multimedia se analiza en términos de las posibles variaciones asociadas a la calidad global y a la calidad del contenido, la imagen, el audio, los efectos sensoriales, la interacción con objetos 3D y la interacción con la segunda pantalla. El posible impacto en la Presencia considera dos de las dimensiones definidas por el cuestionario ITC-SOPI: Presencia Espacial (Spatial Presence) e Implicación (Engagement). Por último, los individuos son caracterizados teniendo en cuenta los siguientes atributos afectivos, cognitivos y conductuales: preferencias y hábitos en relación con el contenido, grado de conocimiento de las tecnologías integradas en el sistema, tendencia a involucrarse emocionalmente, tendencia a concentrarse en una actividad bloqueando estímulos externos y los cinco grandes rasgos de la personalidad: extroversión, amabilidad, responsabilidad, inestabilidad emocional y apertura a nuevas experiencias. A nivel global, nuestro estudio revela que los participantes prefieren el audio binaural frente al sistema estéreo y que los efectos sensoriales generan un aumento significativo del nivel de Presencia Espacial percibido por los usuarios. Además, las manipulaciones experimentales realizadas permitieron identificar una gran variedad de efectos heterogéneos. Un resultado interesante es que dichos efectos no se encuentran distribuidos de forma equitativa entre las medidas de calidad y Presencia. Nuestros datos revelan un impacto generalizado del audio binaural en la mayoría de las medidas de calidad y Presencia analizadas. En cambio, la influencia de los efectos sensoriales y de la interacción con la segunda pantalla se concentran en las medidas de Presencia y calidad, respectivamente. La magnitud de los efectos heterogéneos identificados está modulada por las siguientes características personales: preferencias en relación con el contenido, frecuencia con la que el usuario suele ver contenido similar, conocimiento de las tecnologías integradas en el demostrador, sexo, tendencia a involucrarse emocionalmente, tendencia a a concentrarse en una actividad bloqueando estímulos externos y niveles de amabilidad, responsabilidad y apertura a nuevas experiencias. Las características personales consideradas en nuestro experimento explicaron la mayor parte de la variación en las variables dependientes, confirmando así el importante (y frecuentemente ignorado) papel de las diferencias individuales en la experiencia multimedia. Entre las características de los usuarios con un impacto más generalizado se encuentran las preferencias en relación con el contenido, el grado de conocimiento de las tecnologías integradas en el sistema y la tendencia a involucrarse emocionalmente. En particular, los primeros dos factores parecen generar un conflicto de atención hacia el contenido versus las características/elementos técnicos del sistema, respectivamente. Asimismo, la experiencia multimedia de los fans del fútbol parece estar modulada por procesos emociona-les, mientras que para los no-fans predominan los procesos cognitivos, en particular aquellos directamente relacionados con la percepción de calidad. Abstract Recent studies encourage the integration of multi-sensorial stimuli into multimedia assets to enhance the user experience by stimulating other senses beyond sight and hearing. Similarly, the introduction of multi-modal interaction components complementing with new features, functionalities and/or information the multimedia experience is promoted. Sensory effects as odor, wind, vibration and light effects, as well as an enhanced audio quality, have been found to favour media enjoyment and to have a positive influence on the sense of Presence and on the perceived quality, relevance and reality of a multimedia experience. Two-screen services and a direct manipulation of (elements in) the video scene have the potential to enhance user comprehension, engagement and proactive involvement of/in the media experience. Sports is among the genres that could benefit the most from these solutions. Previous works have demonstrated the technical feasibility of implementing and deploying end-to-end solutions integrating these technologies into legacy systems. Thus, sensorially-enhanced media, two-screen services and an increased user control over the displayed scene emerge as means to deliver a new form of immersive and interactive media experiences to the mass market in a non-disruptive manner. However, many questions remain concerning issues as the specific interactive solutions or sensory effects that can better complement a given audiovisual content or the best way in which to integrate and combine them to enhance the user experience of a target audience segment. Furthermore, scientific evidence on the impact of human factors on the user experience with these new forms of immersive and interactive media is still insufficient and sometimes, contradictory. Thus, the role of these factors on the potential adoption of these technologies has been widely ignored. This thesis analyzes the impact of binaural audio, sensory (light and olfactory) effects, interaction with 3D objects integrated into the video scene and interaction with additional content using a second screen on the sports media experience. The potential influence of these components on the dependent variables is explored both at the overall level (average effect) and as a function of users’ characteristics (heterogeneous effects). To these aims, we conducted an experimental study exploring the influence of these immersive and interactive elements on the quality and Presence dimensions of the media experience. Along the quality dimension, we look for possible variations on the quality scores as-signed to the overall media experience and to the media components content, image, audio, sensory effects, interaction with 3D objects and interaction using the tablet device. The potential impact on Presence is analyzed by looking at two of the four dimensions defined by the ITC-SOPI questionnaire, namely Spatial Presence and Engagement. The users’ characteristics considered encompass the following personal affective, cognitive and behavioral attributes: preferences and habits in relation to the content, knowledge of the involved technologies, tendency to get emotionally involved and tendency to get absorbed in an activity and block out external distractors and the big five personality traits extraversion, agreeableness, conscientiousness, neuroticism and openness to experience. At the overall level, we found that participants preferred binaural audio than standard stereo audio and that sensory effects increase significantly the level of Spatial Presence. Several heterogeneous effects were also revealed as a result of our experimental manipulations. Interestingly, these effects were not equally distributed across the quality and Presence measures analyzed. Whereas binaural audio was foud to have an influence on the majority of the quality and Presence measures considered, the effects of sensory effects and of interaction with additional content through the tablet device concentrate mainly on the dimensions of Presence and on quality measures, respectively. The magnitude of these effects was modulated by individual’s characteristics, such as: preferences in relation to the content, frequency of viewing similar content, knowledge of involved technologies, gender, tendency to get emotionally involved, tendency to absorption and levels of agreeableness, conscientiousness and openness to experience. The personal characteristics collected in our experiment explained most of the variation in the dependent variables, confirming the frequently neglected role of individual differences on the media experience. Preferences in relation to the content, knowledge of involved technologies and tendency to get emotionally involved were among the user variables with the most generalized influence. In particular, the former two features seem to present a conflict in the allocation of attentional resources towards the media content versus the technical features of the system, respectively. Additionally, football fans’ experience seems to be modulated by emotional processes whereas for not fans, cognitive processes (and in particular those related to quality judgment) prevail.

Bin picking de objetos polimórficos convexos usando perceção 3D

O bin picking é um processo de grande interesse na indústria, uma vez que permite maior automatização, aumento da capacidade de produção e redução dos custos. Este tem vindo a evoluir bastante ao longo dos anos e essa evolução fez com que sistemas de perceção 3D começassem a ser implementados. Este trabalho tem como principal objetivo desenvolver um sistema de bin picking usando apenas perceção 3D. O sistema deve ser capaz de determinar a posição e orientação de objetos com diferentes formas e tamanhos, posicionados aleatoriamente numa superfície de trabalho. Os objetos utilizados para fazer os testes experimentais, são esferas, cilindros e prismas, uma vez que abrangem as formas geométricas existentes em muitos produtos submetidos a bin picking. Após a identi cação e seleção do objeto a apanhar, o manipulador deve autonomamente posicionar-se para fazer a aproximação e recolha do mesmo. A aquisição de dados é feita através de uma câmara Kinect. Dos dados recebidos apenas são trabalhados os referentes à profundidade, centrando-se assim este trabalho na análise e tratamento de nuvem de pontos. O sistema desenvolvido cumpre com os objetivos estabelecidos. Consegue localizar e apanhar objetos em várias posições e orientações. Além disso apresenta uma velocidade de processamento compatível com a aplicação em causa.

Sistema integrado de generación de mapas de profundidad para videoconferencia 3D en tiempo real

This paper presents the implementation of a high quality real-time 3D video system intended for 3D videoconferencing -- Basically, the system is able to extract depth information from a pair of images coming from a short-baseline camera setup -- The system is based on the use of a variant of the adaptive support-weight algorithm to be applied on GPU-based architectures -- The reason to do it is to get real-time results without compromising accuracy and also to reduce costs by using commodity hardware -- The complete system runs over the GStreamer multimedia software platform to make it even more flexible -- Moreover, an autoestereoscopic display has been used as the end-up terminal for 3D content visualization