the tilt cursor: enhancing stimulus-response compatibility by providing 3d orientation cue of pen

In order to improve stimulus-response compatibility of touchpad in pen-based user interface, we present the tilt cursor, i.e. a cursor dynamically reshapes itself to providing the 3D orientation cue of pen. We also present two experiments that evaluate the tilt cursor’s performance in circular menu selection and specific marking menu selection tasks. Results show that in a specific marking menu selection task, the tilt cursor significantly outperforms the shape-fixed arrow cursor and the live cursor [4]. In addition, results show that by using the tilt cursor, the response latencies for adjusting drawing directions are smaller than that by using the other two kinds of cursors.

crossmodal error correction of continuous handwriting recognition by speech

In recognition-based user interface, users’ satisfaction is determined not only by recognition accuracy but also by effort to correct recognition errors. In this paper, we introduce a crossmodal error correction technique, which allows users to correct errors of Chinese handwriting recognition by speech. The focus of the paper is a multimodal fusion algorithm supporting the crossmodal error correction. By fusing handwriting and speech recognition, the algorithm can correct errors in both character extraction and recognition of handwriting. The experimental result indicates that the algorithm is effective and efficient. Moreover, the evaluation also shows the correction technique can help users to correct errors in handwriting recognition more efficiently than the other two error correction techniques.

基于场景方法的笔式界面软件设计工具

为缩短的笔式用户界面软件的开发周期,让设计人员对软件的整体构思在开发过程中得以保持,提高团队人员的交流效率,提出了有关笔式界面软件的文档描述规范PUIML(pen-based user interface modeling language),并设计实现了一个笔交互的笔式用户界面软件设计工具。以笔式操作平台为软件平台,以PUIML为数据模型,采用基于场景设计的开发方法,为设计人员和用户提供自然的纸笔交互方式,设计结果形成PUIML形式的文档,通过主控程序执行。实践结果表明,使用PUI Maker可以解决笔式用户界面开发中存在的以开发人员为中心,原始设计与开发结果不一致等问题,提高了笔式界面软件的开发效率。

协作笔式用户界面开发工具研究

笔式用户界面是一种重要的Post-WIMP(window icon menu pointer)界面,它给用户提供了自然的交互方式.然而,当前的笔式用户界面工具箱大多是面向单用户任务的,不能很好地支持协作应用场景.通过对笔式交互特征和协作环境功能需求的分析,设计并实现了一个工具箱CoPen Toolkit,用于支持协作笔式用户界面的开发.它提供了灵活的架构和可扩展的组件,支持笔迹描述、事件处理和网络协作等功能.基于CoPen Toolkit,构造了多个原型系统,实践表明,它能够很好地支持协作笔式用户界面的开发.

自适应笔式用户界面开发的概念框架

提出了一个指导自适应笔式用户界面开发的概念框架CFAPUI(a conceptual framework for developing adaptive pen-based user interface).该框架详细描述了自适应笔式用户界面的软件体系结构,阐述了自适应笔式用户界面的软件体系结构中的各组成模块及其相互间的关系.同时,在体系结构的基础上提出自适应笔式用户界面开发时的具体过程步骤和方法,并通过一个笔式表单应用来说明该开发框架在指导自适应笔式用户界面开发中的具体应用.

基于知网的文本推理

文本推理在自然语言处理的应用中占有极为重要的位置,本文介绍了基于知网的一种推理方法,该方法以语义网络的形式表示知网中的知识,利用“标记传递”实现推理。其特点是引入构造-融合模型的思想,动态生成知识结构,有引导地在文本词汇间建立推理路径。利用16种推理类的实例对其进行测试,结果表明在有足够上下文的条件下,该方法能够得出较为理想的推理,并且代价不高。

基于场景树的笔式用户界面设计

从增加笔式用户界面的可用性和提供自然、方便的交互操作的角度,提出一种使用场景树的界面设计方法,并将该方法用于管理会议系统相关环节,包括会议过程、查询和阅读会议文档、记录等.

UIDT:一种基于摄像头的用户界面模型

为了弥补WIMP界面模型对视觉交互描述的不足,提出一种基于视觉交互的用户界面模型.首先在分析和总结视觉交互过程的基础上,以活动理论为基础,提出一种以用户为中心、面向任务和基于事件驱动的用户界面模型;然后描述了该模型的组成结构及其相互关系;最后给出了一个基于此模型的视频手势交互系统实例.实验结果表明,该模型能够有效地支持视觉交互设计,使用户界面满足可用性要求.

基于TUI的场景规划系统中的交互技术

单摄像头条件下,基于桌面TUI,划分出4类具有不同场景语义的用户界面操作实物;分析实物用户界面中执行通用交互任务的特点,建立支持4类语义的3层系统设计框架;结合场景规划系统自身特征,设计了4类承载上述场景语义的标记,并提出标记任务分配策略;为解决大场景与小视域之间的矛盾,结合paddle技术,提出动态比例空间、动态成组、双手交互和遮挡处理等交互技术;借鉴认知心理学原理,提出时空复用交互技术;开发基于TUI的交互工具箱,并进行了应用验证.

双手交互界面研究进展

用户界面的发展趋势已经从“以技术为中心”发展为“以用户为中心”的新阶段,双手交互作为适应这种趋势的一种主要界面形式,以其自然直观等特点逐渐受到人们重视.系统地阐述了这种界面的研究现状,从双手操作的行为学和心理学基础出发,由实验评估总结出双手交互界面的基本设计准则,分类比较几种典型的交互技术,最后指出了存在的问题和下一步的研究方向.

笔式用户界面的eGOMS模型研究

认知心理学是构建人机交互模型的基础,从认知心理学角度对笔式用户界面(PUI)进行了建模和分析,以eGOMS模型为基础对PUI进行了评估。从认知过程的视知觉特征和心理加工机制、知识表征系统的组织形式以及单通道和多通道交互中的信息的加工和整合的方面、注意选择与分配的机制与特点等进行了细致的探讨了PUI的特点。PUI交互模式更加自然,可以减轻用户的认知负担。

动态调度系统中自适应用户界面的设计与实现

该文以炼化企业的动态调度系统为应用背景,以面向动态调度的自适应用户界面的设计与实现为主要研究内容,分析了当前炼化企业动态调度系统用户操作的流程以及界面的需求并建立起相应的数学模型。借鉴自适应用户界面的相关研究成果,设计了自适应用户界面的体系结构以及用户的动态行为过程,针对流程行业的应用特点提出了利用产生式推理和基于上下文的用户意图捕捉的方法,最后给出应用实例。文中所述方法已经成功在企业中得到应用。使用结果表明,该方法能够有效地开发动态调度系统的自适应用户界面,获得满意效果。

语音用户界面研究进展

语音是人们日常生活中高效、自然的交流方式之一。但是直到目前为止,语音交互方式在计算机技术上的应用还是比较少的。近年来,随着Ubiquitous Computing和便携式计算机的出现,再次对语音用户界面的应用提出了迫切的需求。而且语音识别、合成技术的发展也为语音交互界面的实现提供了技术基础。本文综合参考了国内外语音界面的一些应用系统实例以及语音这种独特的交流媒体的优点和局限性.总结了语音用户界面的适用环境和设计指导原则,并提出了对语音界面的发展展望。

自适应笔式用户界面研究

笔式用户界面是HCI领域重要的研究方向，是Post-WIMP用户界面时代的主要界面形态之一，其在思维捕捉或记录、概念设计、观点研讨和交流等领域已经有较好的应用。笔式用户界面在得到良好应用的同时，也存在着以下三个方面的挑战：(1)相比于图形用户界面而言，笔式用户界面具有交互的模糊性，离散交互和连续交互的混合性等交互特征，我们将笔式用户界面的这些交互特性称为笔式用户界面的交互复杂性，交互复杂性无疑增加了笔式用户界面的设计和实现的复杂度；(2)由于笔式交互基于纸笔隐喻，相比传统的键盘鼠标输入的图形用户界面具有更加自然高效的交互特性，这种自然高效的交互特性会使更多更广的用户使用笔式用户界面，这些用户之间的笔式输入习惯会存在差异，会自然的期望笔式用户界面能够较好的适应特定用户的个性化。(3)普适计算是二十一世纪的计算模式，在普适计算环境下，用户要求能够随时、随地根据任务的需要来访问和操作各种信息，而支持多种环境下的不同的笔式交互设备无疑便利了用户的需求，因此笔式交互是普适计算环境下重要的交互方式，普适计算下也同时要求笔式用户界面能够适应设备和环境的多样化的计算要求。综上所述，解决笔式用户界所面对的交互复杂性和用户、设备、环境的适应性需求将是笔式用户界面的重要研究方向之一。 本文在总结笔式用户界面的发展的情况下，分析了笔式用户界面面临的上述三个方面的挑战。在分析面临挑战的基础上，阐述了本文研究的动机，即用自适应的方法来解决上述笔式用户界面所面临的挑战，即将本文的工作定位在自适应笔式用户界面研究上。 本文在分析了自适应用户界面和笔式用户界面相关研究的基础上，先后从以下几个方面展开研究：(1)研究了什么样的笔手势是良好的笔手势，提出了意义性的笔手势及其分类，并通过定量实验评估的方法验证了意义性笔手势的易学易记特性，为设良好的笔手势提供了参考依据；(2)提出了用自适应的策略来解决手势在使用时适应用户个性化输入的问题；(3)提出了自适应的基于笔和语音的多通道交互技术，并在此基础上建立了一个自适应的多通道几何白板系统；(4)提出了实现笔式用户界面的交互框架，并且在此框架的基础上与实践相结合总结性地提出了自适应笔式用户界面的软件体系结构；(5)在自适应笔式软件体系结构的基础上，本文最后描述了自适应笔式用户界面的软件开发方法，并通过实例来说明该方法的具体应用；(6)最后本文基于上述研究实现了一个自适应的多通道几何白板应用和一个自适应的表单系统。综上所述，本文从不同的层次展开了对自适应笔式用户界面的研究。这些层次是：(1)用户研究层次；(2)相关技术及框架研究层次；(3)软件体系结构和开发方法层次；(4)应用原型。 在自适应笔式用户界面的研究中，我们从上述五个方面展开了研究工作，其中主要的创新点有： (1)意义性笔手势及其实验评估 提出了意义笔手势的定义、分类及其易记性优势的假设。并通过定量的评估实验验证假设。在文献调研和用户调查的基础上，提出与所代表的命令有形象性的，意义性连接的笔手势是设计良好的笔手势，称为意义性笔手势，并将意义性笔手势分成三类，即为：指示性笔手势、实物隐喻笔手势和文化约定笔手势。最后，我们通过一个定量实验，评估意义性笔手势在易学性上是否优于非意义性笔手势。 (2)自适应的笔手势界面框架 在笔式用户界面中，静态识别器不能解决如下问题：不同用户对同一命令手势的输入差异大于某一用户在输入不同手势时的差异。本文提出了自适应的笔手势界面框架来解决这种用户手势输入的个性化问题。 (3)自适应的基于笔和语音交互的多通道交互技术 在多通道用户界面中，自适应性能够更好的发挥多通道交互的优势，本文提出了自适应的基于笔和语音的多通道交互技术，阐述了该自适应多通道的交互框架，详细阐述了输入模块、融合模块和自适应模块。对多通道的输入，融合，自适应策略进行了详细描述。 (4)笔式用户界面的交互框架和自适应笔式用户界面的软件体系结构 针对笔式用户界面的交互复杂性，在相关研究的基础上，提出了基于层次状态机的交互框架。同时基于框架，面向笔式用户界面的多设备、多环境、多用户的应用需求，提出了自适应笔式用户界面的软件体系结构，为自适应笔式用户界面的设计和开发提供指导。 (5)自适应笔式用户界面的软件开发方法 在以人为中心的设计方法和极限编程XP的开发方法的基础上，和实践相结合，根据自适应笔式用户界面的特点，提出了自适应笔式用户界面开发的总体流程，该流程重点描述了笔式用户界面自适应性的需求分析、设计开发及评估。在自适应笔式用户界面软件体系结构和总体开发流程的基础上，提出了自适应笔式用户界面的设计和开发流程，用以指导自适应笔式用户界面的设计和开发。 (6)原型实例 本部分在上述研究的基础上，建立了两个原型应用，一个为自适应的多通道用应用，本部分详细描述了该应用的模块组成及其关系，特别针对自适应模块，描述了自适应的策略。另一个为自适应表单应用，详细描述了该表单应用的需求分析、设计和实现、评估。

笔式界面软件快速开发工具

笔式界面软件快速开发工具Visual PBAP(pen-based application)Creator可以根据用户的个性化需求快速设计和开发相应软件,缩短开发周期。一方面,Visual PBAP Creator通过场景和UI编辑方便开发人员和用户确定需求;另一方面,自动生成代码可以缩短开发周期。Visual PBAP Creator以笔式操作平台为软件平台,采用基于场景设计的开发方法,设计结果形成XML格式的文档,通过解析这些XML文档最终生成C代码。实践表明,VisualPBAP Creator可以提高笔式界面软件的开发效率。