自适应笔式用户界面研究

笔式用户界面是HCI领域重要的研究方向，是Post-WIMP用户界面时代的主要界面形态之一，其在思维捕捉或记录、概念设计、观点研讨和交流等领域已经有较好的应用。笔式用户界面在得到良好应用的同时，也存在着以下三个方面的挑战：(1)相比于图形用户界面而言，笔式用户界面具有交互的模糊性，离散交互和连续交互的混合性等交互特征，我们将笔式用户界面的这些交互特性称为笔式用户界面的交互复杂性，交互复杂性无疑增加了笔式用户界面的设计和实现的复杂度；(2)由于笔式交互基于纸笔隐喻，相比传统的键盘鼠标输入的图形用户界面具有更加自然高效的交互特性，这种自然高效的交互特性会使更多更广的用户使用笔式用户界面，这些用户之间的笔式输入习惯会存在差异，会自然的期望笔式用户界面能够较好的适应特定用户的个性化。(3)普适计算是二十一世纪的计算模式，在普适计算环境下，用户要求能够随时、随地根据任务的需要来访问和操作各种信息，而支持多种环境下的不同的笔式交互设备无疑便利了用户的需求，因此笔式交互是普适计算环境下重要的交互方式，普适计算下也同时要求笔式用户界面能够适应设备和环境的多样化的计算要求。综上所述，解决笔式用户界所面对的交互复杂性和用户、设备、环境的适应性需求将是笔式用户界面的重要研究方向之一。 本文在总结笔式用户界面的发展的情况下，分析了笔式用户界面面临的上述三个方面的挑战。在分析面临挑战的基础上，阐述了本文研究的动机，即用自适应的方法来解决上述笔式用户界面所面临的挑战，即将本文的工作定位在自适应笔式用户界面研究上。 本文在分析了自适应用户界面和笔式用户界面相关研究的基础上，先后从以下几个方面展开研究：(1)研究了什么样的笔手势是良好的笔手势，提出了意义性的笔手势及其分类，并通过定量实验评估的方法验证了意义性笔手势的易学易记特性，为设良好的笔手势提供了参考依据；(2)提出了用自适应的策略来解决手势在使用时适应用户个性化输入的问题；(3)提出了自适应的基于笔和语音的多通道交互技术，并在此基础上建立了一个自适应的多通道几何白板系统；(4)提出了实现笔式用户界面的交互框架，并且在此框架的基础上与实践相结合总结性地提出了自适应笔式用户界面的软件体系结构；(5)在自适应笔式软件体系结构的基础上，本文最后描述了自适应笔式用户界面的软件开发方法，并通过实例来说明该方法的具体应用；(6)最后本文基于上述研究实现了一个自适应的多通道几何白板应用和一个自适应的表单系统。综上所述，本文从不同的层次展开了对自适应笔式用户界面的研究。这些层次是：(1)用户研究层次；(2)相关技术及框架研究层次；(3)软件体系结构和开发方法层次；(4)应用原型。 在自适应笔式用户界面的研究中，我们从上述五个方面展开了研究工作，其中主要的创新点有： (1)意义性笔手势及其实验评估 提出了意义笔手势的定义、分类及其易记性优势的假设。并通过定量的评估实验验证假设。在文献调研和用户调查的基础上，提出与所代表的命令有形象性的，意义性连接的笔手势是设计良好的笔手势，称为意义性笔手势，并将意义性笔手势分成三类，即为：指示性笔手势、实物隐喻笔手势和文化约定笔手势。最后，我们通过一个定量实验，评估意义性笔手势在易学性上是否优于非意义性笔手势。 (2)自适应的笔手势界面框架 在笔式用户界面中，静态识别器不能解决如下问题：不同用户对同一命令手势的输入差异大于某一用户在输入不同手势时的差异。本文提出了自适应的笔手势界面框架来解决这种用户手势输入的个性化问题。 (3)自适应的基于笔和语音交互的多通道交互技术 在多通道用户界面中，自适应性能够更好的发挥多通道交互的优势，本文提出了自适应的基于笔和语音的多通道交互技术，阐述了该自适应多通道的交互框架，详细阐述了输入模块、融合模块和自适应模块。对多通道的输入，融合，自适应策略进行了详细描述。 (4)笔式用户界面的交互框架和自适应笔式用户界面的软件体系结构 针对笔式用户界面的交互复杂性，在相关研究的基础上，提出了基于层次状态机的交互框架。同时基于框架，面向笔式用户界面的多设备、多环境、多用户的应用需求，提出了自适应笔式用户界面的软件体系结构，为自适应笔式用户界面的设计和开发提供指导。 (5)自适应笔式用户界面的软件开发方法 在以人为中心的设计方法和极限编程XP的开发方法的基础上，和实践相结合，根据自适应笔式用户界面的特点，提出了自适应笔式用户界面开发的总体流程，该流程重点描述了笔式用户界面自适应性的需求分析、设计开发及评估。在自适应笔式用户界面软件体系结构和总体开发流程的基础上，提出了自适应笔式用户界面的设计和开发流程，用以指导自适应笔式用户界面的设计和开发。 (6)原型实例 本部分在上述研究的基础上，建立了两个原型应用，一个为自适应的多通道用应用，本部分详细描述了该应用的模块组成及其关系，特别针对自适应模块，描述了自适应的策略。另一个为自适应表单应用，详细描述了该表单应用的需求分析、设计和实现、评估。