A multimodal tablet-based interface for designing and reviewing 3D engineering models

The ability to view and interact with 3D models has been happening for a long time. However, vision-based 3D modeling has only seen limited success in applications, as it faces many technical challenges. Hand-held mobile devices have changed the way we interact with virtual reality environments. Their high mobility and technical features, such as inertial sensors, cameras and fast processors, are especially attractive for advancing the state of the art in virtual reality systems. Also, their ubiquity and fast Internet connection open a path to distributed and collaborative development. However, such path has not been fully explored in many domains. VR systems for real world engineering contexts are still difficult to use, especially when geographically dispersed engineering teams need to collaboratively visualize and review 3D CAD models. Another challenge is the ability to rendering these environments at the required interactive rates and with high fidelity. In this document it is presented a virtual reality system mobile for visualization, navigation and reviewing large scale 3D CAD models, held under the CEDAR (Collaborative Engineering Design and Review) project. It’s focused on interaction using different navigation modes. The system uses the mobile device's inertial sensors and camera to allow users to navigate through large scale models. IT professionals, architects, civil engineers and oil industry experts were involved in a qualitative assessment of the CEDAR system, in the form of direct user interaction with the prototypes and audio-recorded interviews about the prototypes. The lessons learned are valuable and are presented on this document. Subsequently it was prepared a quantitative study on the different navigation modes to analyze the best mode to use it in a given situation.

Modelação de diálogos com o Midiki: um gestor de diálogo do tipo Information State Update

Nesta dissertação investigamos a problemática da criação de sistemas e interfaces que permitam a interacção entre pessoas e máquinas através de linguagem natural(LN), recorrendo a Gestores de Diálogo (GD). Esse tipo de interacção concretiza-se através do estabelecimento de diálogos entre uma pessoa (cliente ou utilizador de um serviço) e a máquina, por exemplo, e em particular, através da fala. Quando disponibilizado da forma tradicional, o acesso ao serviço exige um intermediário Humano ou a adaptação da Pessoa a interfaces menos naturais, tais como linhas de comandos num computador, digitadas através de teclado ou o recurso (usual) a janelas, cliques de rato e preenchimento de formulários. Os sistemas que possibilitam a intermediação com esses serviços através de LN chamam-se Sistemas de Diálogo (SD), no núcleo dos quais se encontram os chamados Gestores de Diálogo. A implementação de SDs robustos ainda constitui um desafio, dada a complexidade, problemas e dificuldades que apresenta. Um SD, e em particular um GD, tem de ser configurado para levar a cabo um diálogo em linguagem natural com um Humano, por mais restrito ou mais genérico que seja o domínio (ou tarefa) considerado. Infelizmente, existem poucas metodologias e ferramentas de autoria que possibilitem a modelação fácil e intuitiva de tais diálogos (sobre os GDs). Nesta dissertação apresentamos uma metodologia [Quintal & Sampaio, 2007] e uma ferramenta para a autoria de diálogos com base no Gestor de Diálogo MIDIKI [Burke, 2005b]. A ferramenta de autoria automatiza as partes mais importantes da geração de código com vista à execução de um diálogo nesse GD.