Projecto de avaliação de interfaces – PAI

Para obtenção do grau de Doutor pela Universidade de Vigo com menção internacional Departamento de Informática

Ao longo de quase trinta nos a IHC tem vindo a integrar os objectivo da engenharia no melhoramento da usabilidade dos sistemas computacionais e das suas aplicações. A investigação ‘PAI — Projecto de Avaliação de Interfaces’ explora a avaliação da usabilidade de interfaces de sítios Web sustentada nos fundamentos da IHC. A análise realizada da história da usabilidade e da sua avaliação levou a concluir ser necessário, oportuno e pertinente a criação de um modelo, com base na metodologia do PAI capaz de sintetizar os métodos e técnicas mais relevantes existentes na literatura desta área científica da IHC. O trabalho realizado nesta investigação originou assim um metamodelo universal de avaliação da usabilidade, aplicável a qualquer interface Web (sítio Web), sendo uma proposta completa e coerente que representa um novo paradigma de avaliação da usabilidade de interfaces Web. A aplicação da metodologia desenvolvida tem cinco fases, nomeadamente a fase 1, a avaliação preliminar do grau de acessibilidade do sítio Web (funciona como um filtro permitindo detectar e eliminar os problemas mais óbvios), a fase 2, as entrevistas (funcionam como uma primeira abordagem aos utilizadores de um sítio Web), a fase 3, o teste de usabilidade (consiste na execução de um conjunto de tarefas: as mais frequentemente executadas), a fase 4, o questionário (não só mede o grau de satisfação dos utilizadores ao usarem o sítio Web mas também é um indicador da existência de problemas) e a fase 5, a avaliação heurística (avalia o grau de conformidade de um conjunto de ecrãs seleccionados, parte de um sítio Web, com directrizes de usabilidade). A investigação realizada no PAI foi validada com um estudo de caso. Foi avaliada a usabilidade da secretaria virtual de uma escola de ensino superior do Porto, com mais de dezoito mil alunos, um sítio Web dinâmico e complexo. Este estudo validou o método geral de avaliação de interfaces desenvolvido, como se verifica no extenso trabalho de campo e nos resultados e respectiva análise estatística. A investigação revelou que a extensão e nível de recursos necessários na sua aplicação completa, só o recomendam em casos que constituem uma ‘missão crítica’ onde o custo não é uma consideração primordial. Caracterizada a arquitectura do PAI e exemplificada em pormenor a sua aplicação num caso de estudo, termina-se com a consideração de vários cenários de desenvolvimentos possíveis e a clarificação dos limites e expansões do método. As considerações finais sumariam a investigação realizada quer ao nível geral conceptual quer ao nível do estudo de caso que o valida. Equacionam-se ainda trabalhos posteriores para o PAI no contexto dos modernos desenvolvimentos que a problemática da IHC tem tido nas suas recentes transformações.

Durante casi treinta años, la IHO ha formado parte de los objetivos de la ingeniería en lo que respecta a la mejora de la usabilidad de los sistemas computacionales y sus aplicaciones. La investigación ‘PAI — Projecto de Avaliação de Interfaces’ explora la evaluación de la usabilidad de interfaces de páginas Web con base en los fundamentos de la IHO. El análisis realizado de la historia de la usabilidad y de su evaluación llevó a la conclusión de que resulta necesaria, oportuna y pertinente la creación de un modelo, con base en la metodología del PAI, capaz de sintetizar los métodos y técnicas más relevantes existentes en la literatura de esta área científica de la IHO. El trabajo llevado a cabo en esta investigación dio origen a un metamodelo universal de evaluación de usabilidad, aplicable a cualquier interface Web (página Web), y constituye una propuesta completa y coherente, que representa un nuevo paradigma de evaluación de la usabilidad de interfaces Web. La aplicación de la metodología desarrollada tiene cinco fases: — fase 1, evaluación preliminar del grado de accesibilidad de la página Web (funciona como un filtro que permite detectar y eliminar los problemas más evidentes); — fase 2, entrevistas (funcionan como un primer abordaje a los usuarios de una página Web); — fase 3, prueba de usabilidad (consiste en la ejecución de un conjunto de tareas, aquellas ejecutadas con mayor frecuencia); — fase 4, cuestionario (no solo mide el grado de satisfacción de los usuarios de la página Web, sino también resulta un indicador de la existencia de problemas); y — fase 5, evaluación heurística (evalúa el grado de conformidad de un conjunto de pantallas seleccionadas, parte de una página Web, con directrices de usabilidad). La investigación realizada en el PAI fue validada con un estudio de caso. Se evaluó la usabilidad de la secretaría virtual de una institución de enseñanza del tercer ciclo en Oporto, Portugal, con más de dieciocho mil alumnos, que cuenta con una página Web dinámica y compleja. Este estudio corroboró el método general de evaluación de interfaces desarrollado, como se observa tanto en el extenso trabajo de campo como en los resultados y respectivo análisis estadístico. La investigación reveló que, por la extensión y nivel de recursos necesarios para su aplicación completa, esta evaluación se recomienda en casos que constituyan una ‘misión crítica’, en la que los costes no sean una consideración primordial. Después de caracterizada la arquitectura del PAI y ejemplificada en detalle su aplicación en un caso de estudio, se concluye con la consideración de varios escenarios de desarrollos posibles y la clarificación de los límites y expansiones del método. Las consideraciones finales sintetizan la investigación realizada tanto a nivel general conceptual, como a nivel del estudio de caso que lo valida. Se prevén asimismo trabajos posteriores para el PAI en el contexto de los modernos desarrollos que ha experimentado la problemática de la IHO en sus recientes transformaciones.

For almost thirty years, the HCI has made its way into being part of the engineering’s objectives in the improvement of the usability of the computational systems and its applications. The research ‘PAI* — Interface Assessment Project’, explores the assessment of a website’s usability based on the foundations of the HCI. The analysis performed over the history of usability and its evaluations led to conclude that it is necessary, appropriate and relevant to create a model, based on the methodology of PAI, capable of synthesizing the most relevant methods and techniques in the literature of the scientific area of HCI. The work carried out in this investigation originated a universal meta-model of the user testing, applicable to any web interface (or website), being a coherent and complete proposal that represents a new paradigm of user testing a web interface. The application of the methodology developed is divided into five steps, namely the step 1, the preliminary evaluation of the website’s level of accessibility ( works as a filter, making it possible to detect and eliminate the most obvious issues), the step 2, the interviews (they work as a first approach to a website’s users ), the step 3, the user testing (consists in the execution of a set of tasks: the ones that are most frequently executed), the step 4, the questionnaire (it not only measures the degree of the users’ satisfaction while using a website but it serves as an indicator to the existence of issues) and the step 5, the heuristic evaluation (evaluates the degree of conformity of a selected set of screens, part of a website with usability guidelines). The research performed at the PAI was validated with a case-study. The usability of a complex and dynamic website of a secretariat of a school of higher education in Porto, with over eighteen thousand students, was evaluated. This study validated the general method of the evaluation of interfaces developed, as it’s demonstrated in the broad fieldwork and in the results and respective statistical analysis. The research unveiled that the extension and the level of resources necessary to its full application is only recommended to situations which consist a ‘critical mission’ where the cost is not the main concern. Characterized the PAI’s architecture and exemplified in detail its application on a case‑study, it has been concluded with the consideration of several scenarios of possible developments and the clarification of the method’s limits and expansions. The final considerations summarize the research conducted at both the level of conceptual as at the case-study that validates it. Subsequent works for PAI are still expected in the context of modern developments that the problematics of HCI has had in its recent transformations.