Quantifying epistemic actions in human-computer interaction

As digital systems move away from traditional desktop setups, new interaction paradigms are emerging that better integrate with users’ realworld surroundings, and better support users’ individual needs. While promising, these modern interaction paradigms also present new challenges, such as a lack of paradigm-specific tools to systematically evaluate and fully understand their use. This dissertation tackles this issue by framing empirical studies of three novel digital systems in embodied cognition – an exciting new perspective in cognitive science where the body and its interactions with the physical world take a central role in human cognition. This is achieved by first, focusing the design of all these systems on a contemporary interaction paradigm that emphasizes physical interaction on tangible interaction, a contemporary interaction paradigm; and second, by comprehensively studying user performance in these systems through a set of novel performance metrics grounded on epistemic actions, a relatively well established and studied construct in the literature on embodied cognition. The first system presented in this dissertation is an augmented Four-in-a-row board game. Three different versions of the game were developed, based on three different interaction paradigms (tangible, touch and mouse), and a repeated measures study involving 36 participants measured the occurrence of three simple epistemic actions across these three interfaces. The results highlight the relevance of epistemic actions in such a task and suggest that the different interaction paradigms afford instantiation of these actions in different ways. Additionally, the tangible version of the system supports the most rapid execution of these actions, providing novel quantitative insights into the real benefits of tangible systems. The second system presented in this dissertation is a tangible tabletop scheduling application. Two studies with single and paired users provide several insights into the impact of epistemic actions on the user experience when these are performed outside of a system’s sensing boundaries. These insights are clustered by the form, size and location of ideal interface areas for such offline epistemic actions to occur, as well as how can physical tokens be designed to better support them. Finally, and based on the results obtained to this point, the last study presented in this dissertation directly addresses the lack of empirical tools to formally evaluate tangible interaction. It presents a video-coding framework grounded on a systematic literature review of 78 papers, and evaluates its value as metric through a 60 participant study performed across three different research laboratories. The results highlight the usefulness and power of epistemic actions as a performance metric for tangible systems. In sum, through the use of such novel metrics in each of the three studies presented, this dissertation provides a better understanding of the real impact and benefits of designing and developing systems that feature tangible interaction.

Geração automática de interfaces com o utilizador: uma abordagem baseada em MDA para a plataforma PHP

Os modelos e as técnicas de modelação são, hoje em dia, fundamentais na engenharia de software, devido à complexidade e sofisticação dos sistemas de informação actuais.A linguagem Unified Modeling Language (UML) [OMG, 2005a] [OMG, 2005b] tornou-se uma norma para modelação, na engenharia de software e em outras áreas e domínios, mas é reconhecida a sua falta de suporte para a modelação da interactividade e da interface com o utilizador [Nunes and Falcão e Cunha, 2000].Neste trabalho, é explorada a ligação entre as áreas de engenharia de software e de interacção humano-computador, tendo, para isso, sido escolhido o processo de desenvolvimento Wisdom [Nunes and Falcão e Cunha, 2000] [Nunes, 2001]. O método Wisdom é conduzido por casos de utilização essenciais e pelo princípio da prototipificação evolutiva, focando-se no desenho das interfaces com o utilizador através da estrutura da apresentação, com a notação Protótipos Abstractos Canónicos (PAC) [Constantine and Lockwood, 1999] [Constantine, 2003], e do comportamento da interacção com a notação ConcurTaskTrees (CTT) [Paternò, 1999] [Mori, Paternò, et al., 2004] em UML.É proposto, também, neste trabalho um novo passo no processo Wisdom, sendo definido um modelo específico, construído segundo os requisitos da recomendação Model Driven Architecture (MDA) [Soley and OMG, 2000] [OMG, 2003] elaborada pela organização Object Managent Group (OMG). Este modelo específico será o intermediário entre o modelo de desenho e a implementação da interface final com o utilizador. Esta proposta alinha o método Wisdom com a recomendação MDA, tornando possível que sejam gerados, de forma automática, protótipos funcionais de interfaces com o utilizador a partir dos modelos conceptuais de análise e desenho.Foi utilizada a ferramenta de modelação e de metamodelação MetaSketch [Nóbrega, Nunes, et al., 2006] para a definição e manipulação dos modelos e elementos propostos. Foram criadas as aplicações Model2Model e Model2Code para suportar as transformações entre modelos e a geração de código a partir destes. Para a plataforma de implementação foi escolhida a framework Hydra, desenvolvida na linguagem PHP [PHP, 2006], que foi adaptada com alguns conceitos de modo a suportar a abordagem defendida neste trabalho.

Utilização do computador em contexto escolar por alunos do 4º ano: representações e atitudes (um estudo efectuado em duas escolas do Ensino Básico da Ilha da Madeira)

A presente investigação visa perceber como os alunos de três turmas de 4º ano, de duas escolas da Ilha da Madeira, experienciam o uso do computador em contexto escolar e se esse uso, à luz das novas teorias da aprendizagem, promove alguma inovação em termos pedagógicos. Por termos resolvido abordar o problema indo ao encontro do sentir dos alunos,focámo-nos nas suas representações e atitudes, para captarmos relacionamentos específicos na utilização das ferramentas de informação e comunicação, associadas ao computador e outros tipos de software didáctico/educativo. Tivemos como sustentáculo o ponto de vista segundo o qual as crianças de hoje estão modificadas, consequência da evolução tecnológica, por sua vez as pessoas sujeitas à acção educativa estão a mudar as suas práticas. Este é um estudo exploratório, no qual utilizámos uma metodologia do tipo descritivo, que se enquadra no paradigma interpretativo da investigação qualitativa, baseada numa análise de conteúdo temática. Recorremos à utilização de técnicas de natureza qualitativa aplicada (observação naturalista, observação participante, entrevista directiva e semi-directiva). Os resultados obtidos mostram que há aspectos de natureza pessoal (educação dos alunos) e contextuais (relativos à escola) associados a diferenças na utilização do computador. Destes destaca-se o contexto da escola, as suas condições materiais e humanas, o clima de trabalho e a dinamização de actividades apoiadas por computador por parte dos docentes, que limitam o seu uso pelos alunos, dificultando a inovação. Não obstante foi visível alguma ruptura com os paradigmas tradicionais: interacções frequentes, o professor lança os desafios, dá as ferramentas aos alunos, reconstrói a sua acção e proporciona ambientes que facilitam uma aprendizagem construtiva. Aos poucos foram-se afirmando os aspectos da aprendizagem com as tecnologias o que permite modelagens de aprendizagens novas e são um recurso relevante tanto do ponto de vista da clareza e substância da informação, como da motivação. Os sinais detectados levam-nos a afirmar que o processo de mudança se encontra em marcha, ainda que de forma lenta, devido a uma estrutura muito enraizada do sistema de ensino e os alunos ao transportarem para o quotidiano das escolas os procedimentos intuitivos inerentes às tecnologias são os agentes principais de pressão para essa mudança.Não acreditamos em soluções óptimas, mas o empenho de todos nós em melhorarmos o nosso conhecimento sobre a forma como se aprende, hoje em dia, com o advento do computador, ajudará a uma maior compreensão e articulação dos problemas existentes nas escolas. Facilitará, ainda, as adaptações curriculares a promover no 1º Ciclo do Ensino Básico, com vista à adopção de práticas inovadoras que visem o uso da tecnologia de forma aliciante, desafiadora, eficaz e verdadeiramente educativa.

Interactive interface for stress relief

Every time more we hear in our everyday statements like "I'm stressed!", "Don´t worry me more than I am." But in what sense can we use technology to combat these congestions that we deal with daily? Well, one way would be to use technology to create objects, systems or applications that can spoil us and preferably be imperceptible by the user and, for this we have the ubiquitous computing and nurturant technologies. The ubiquitous computing is increasingly discussed as well as ways to make your computer more subtle in the view of the user, which is subject of research and development. The use of technology as a source of relaxation and spoil us is a strand that is being explored in the context of nurturant technologies. Accordingly, this thesis is focused on the development of an object and several applications with which we can interact. The object and applications have the purpose to spoil us and help us relax after a long day at work or in some situation more stressful. The object developed employs technologies like the use of accelerometers and the applications developed employs communications between computers and Web cameras. This thesis begins with a brief introduction to the areas of research and others that we can include in this thesis, such as ubiquitous computing and the nurturant technologies, providing yet general information on stress and ways to mitigate it. Later is described some of the work already done and that influenced this thesis as well as the prototypes developed and the experiences performed, ending with a general conclusion and future work.

O uso do computador na disciplina de educação visual: um desafio à inovação pedagógica?

Num mundo em que as novas tecnologias abarcam todos os domínios da vida e provocam alterações na sociedade, estas reflectem-se inevitavelmente na escola exercendo pressão no sentido do acompanhamento, modernização e adaptação a esta nova realidade. A escola tem demonstrado dificuldades em se adaptar e em apresentar as transformações necessárias face a este novo cenário contemporâneo, insistindo na manutenção das práticas radicadas na sua origem paradigmática. Procurou dar resposta através da introdução das novas tecnologias, mas tal não significa induzir automaticamente novas formas de ensino ou de aprendizagem, apenas constitui um pequeno passo em direcção à mudança. Contrariando a ideia que a incorporação da tecnologia na educação, por si só, constitui inovação pedagógica, procuramos esclarecer, à luz do próprio conceito de inovação, de que forma a incorporação da tecnologia se processou, e se deverá ser considerada como inovação pedagógica. Assim, tendo como objectivo interpretar e descrever a cultura emergente na sala de aula num contexto de integração curricular das Tecnologias da Informação e Comunicação na Disciplina de Educação Visual, numa turma de uma escola básica do Funchal, empreendemos esta investigação com o intuito de compreender de que forma ela se aproxima ou afasta da ortodoxia vigente. Desenvolvemos um estudo com uma abordagem metodológica de natureza qualitativa, de cariz etnográfico, através da imersão no ambiente natural dos sujeitos, procurando relevar e confrontar subjectividades, atendendo às percepções dos intervenientes neste estudo. As conclusões deste estudo apontam para uma Inovação Pedagógica que se opera ao nível micro, na sala de aula, enquanto ruptura ao nível cultural, atendendo às culturas escolares tradicionais.

Object modeling for user-centered development and user interface design: the wisdom approach

João Bernardo de Sena Esteves Falcão e Cunha

Hovercraft telemanipulation virtual models and interface design

A control system was designed to allow humans to manually drive an, usually automatic, two wheeled hovercraft. The size, the mass and the way of driving this vehicle proves to be an issue for the everyday, untrained person to achieve. During this thesis several control layouts were designed with the objective of creating an intuitive and easy way of driving such a vehicle. At the end two where usertested using a simulation (also developed during this thesis) of the said hovercraft set against obstacles similar to those expected to be encountered on its real environment. The two layouts are just slightly apart in performance but numerous issues were found that can be used to redesign a better control layout. This means that no definitive winner was found but a foundation for a better design was indeed found.

A situation awareness interface for a bi-wheeled industrial hovercraft: design, development and evaluation

The intention of this thesis is to develop a prototype interface that enables an operator to control a bi-wheeled industrial hovercraft that will work within a fusion power plant if the automation system fails. This fusion power plant is part of the ITER project a conjoint effort of various industrialized countries to develop cleaner sources of energy. The development of the interface prototype will be based on situation awareness concepts, which provide a means to understand how human operators perceive the world around, then process that information and make decisions based on the knowledge that they already have and the projected knowledge of the reactions that will occur in the world in response to the actions the operator makes. Two major situation awareness methods will be used, GDTA as a means to discover the requirements the interface needs to solve, and SAGAT to conduct the evaluation on the three interfaces. This technique can isolate the differences an operator has in situation awareness when presented with relevant information given by each of the three interfaces that were built for this thesis. Where the first interface presents the information within the operator’s focal point of view in a pictorial style, the second interface shows the same information within the same point of view has the first interface but only shows it in a textual manner. While the third interface shows the relevant information in the operator’s peripheral field of view. Also SAGAT can provide insight on the question to know if providing the operator with feed-forward information about the stoppage distances of the bi-wheeled industrial hovercraft has any effect on the operator’s decision making.

Graphical constraints: a graphical user interface for constraint problems

A constraint satisfaction problem is a classical artificial intelligence paradigm characterized by a set of variables (each variable with an associated domain of possible values), and a set of constraints that specify relations among subsets of these variables. Solutions are assignments of values to all variables that satisfy all the constraints. Many real world problems may be modelled by means of constraints. The range of problems that can use this representation is very diverse and embraces areas like resource allocation, scheduling, timetabling or vehicle routing. Constraint programming is a form of declarative programming in the sense that instead of specifying a sequence of steps to execute, it relies on properties of the solutions to be found, which are explicitly defined by constraints. The idea of constraint programming is to solve problems by stating constraints which must be satisfied by the solutions. Constraint programming is based on specialized constraint solvers that take advantage of constraints to search for solutions. The success and popularity of complex problem solving tools can be greatly enhanced by the availability of friendly user interfaces. User interfaces cover two fundamental areas: receiving information from the user and communicating it to the system; and getting information from the system and deliver it to the user. Despite its potential impact, adequate user interfaces are uncommon in constraint programming in general. The main goal of this project is to develop a graphical user interface that allows to, intuitively, represent constraint satisfaction problems. The idea is to visually represent the variables of the problem, their domains and the problem constraints and enable the user to interact with an adequate constraint solver to process the constraints and compute the solutions. Moreover, the graphical interface should be capable of configure the solver’s parameters and present solutions in an appealing interactive way. As a proof of concept, the developed application – GraphicalConstraints – focus on continuous constraint programming, which deals with real valued variables and numerical constraints (equations and inequalities). RealPaver, a state-of-the-art solver in continuous domains, was used in the application. The graphical interface supports all stages of constraint processing, from the design of the constraint network to the presentation of the end feasible space solutions as 2D or 3D boxes.

O impacto do uso do computador nas práticas pedagógicas do ensino fundamental I: o construcionismo como inovação pedagógica

O processo de inserção do computador nas escolas públicas brasileiras decorre das políticas de Informática Educativa do Governo Federal, sendo o seu programa atual conhecido como Proinfo (Programa Nacional de Tecnologia Educacional). Esse programa tem, em seus objetivos principais, pretensões de que sejam criados ambientes de aprendizagem inovadores decorrentes da inserção do computador na educação e apresenta o Construcionismo como referencial teórico principal nas suas prescrições para a criação de tais ambientes. Uma Inovação Pedagógica seria uma ruptura com práticas educacionais tradicionais, possibilitando a criação de ambientes de aprendizagem novos, onde o foco não estaria mais na transmissão de saber por parte do professor e, sim, na construção ativa do conhecimento por parte dos alunos. Uma política educacional (como o Proinfo, por exemplo), inovações tecnológicas (como o computador) ou quaisquer outros fatores externos à escola podem até apoiar as rupturas necessárias a uma Inovação Pedagógica, mas esta não é algo intrínseco a tais fatores: a Inovação vem de dentro da escola, é algo construído em contexto pela ação local dos professores e alunos. Visto que o computador não traz em si nenhuma pedagogia, podendo ser usado tanto para reforçar pedagogias tradicionais quanto para potencializar uma Inovação Pedagógica e que esta não necessariamente decorrerá das prescrições presentes no Proinfo, o presente estudo objetivou analisar se as mudanças que aconteceram nas práticas pedagógicas do Ensino Fundamental I (2º. ao 5º. ano), após a inserção do computador em sala de aula, representam uma Inovação Pedagógica ou não, assumindo-se como referencial de Inovação Pedagógica o mesmo referencial presente nas prescrições do Proinfo, o Construcionismo. Foi realizada uma observação participante do cotidiano das aulas e do processo de inserção do computador, entrevistas com alunos e professores bem como uma análise documental das prescrições presentes nos livros do Proinfo.