草图用户界面及其应用研究

伴随着计算机技术的发展，用户界面经历了一次次的变革。基于WIMP界面范式的图形用户界面以“所见即所得”的桌面隐喻方式表达计算机复杂、抽象的指令，成为划时代的革命。然而，随着计算机软件的功能和界面复杂程度的不断增加，传统WIMP界面逐渐不适宜于一些应用领域，随之发展起诸多新兴用户界面以满足新的需求，如三维界面、笔式界面等。其中，草图用户界面模拟传统纸笔的交互方式符合人们沿袭了几千年的习惯，因此近年来在概念设计、思维捕捉、3D建模、教学、计算机动画等领域得到了广泛的研究和应用。 然而，当前关于草图用户界面的研究仍然存在以下问题：关于草图界面的理论研究或侧重草图支撑技术的研究与实现，或侧重分析现有笔交互系统的基本功能需求，力图封装Ink操作，缺乏统一的理论模型与应用框架指导。关于草图界面的应用研究多集中于特定领域具体功能和技术的实现，缺乏对基于草图形式的人机交流方式的两个核心问题——草图信息表征与草图交互技术的研究。此外，很多关于草图应用系统与现有基于WIMP交互范式的图形用户界面相混合，其研究的重点并不在草图用户界面本身。本文正是从上述问题出发，围绕着草图用户界面从理论、方法与应用等方面展开研究。 本文首先综述了草图用户界面及其关键技术的研究进展，分析了草图用户界面应用研究所面临的两个核心问题——草图信息表征与草图交互技术。从认知心理学理论出发，分析了草图信息的表征特征和用户草图绘制时的行为特征，分别从信息、人以及人机之间的交互过程三个方面论述了草图信息描述模型、用户模型及交互策略。结合草图界面应用的领域相关性和无关性，研究了草图界面应用系统开发所应遵循设计目标和流程，并在草图界面模型指导下构建了草图界面统一应用框架。最后，分别以视频内容的组织与可视化和纺织行业的产品概念设计两个领域为典型应用环境，研究了面向各领域的草图信息表征方法与草图交互技术，以验证草图界面模型与应用框架的研究结果。 本文的创新点主要包括： 1.从信息、人、交互过程三个要素出发，构建了草图用户界面统一的界面模型与应用框架。 在传统用户界面模型研究的基础上研究了草图界面的理论模型。从人机交互的三要素——信息、人和交互出发，分析了草图信息的构成、基于草图交互的用户行为过程特征，阐述了基于分布式认知的用户模型和基于上下文感知的交互策略模型。进一步在此基础上结合草图界面应用的领域相关性和无关性，构建了草图界面应用框架。 2.提出了一种基于草图形式的视频内容表征方法，并在此基础上实现视频多种交互方式。 从人的认知角度出发研究了视频信息的基本认知特性和交互特性，分析了视频语义空间；结合草图信息的表征模型，构建了基于草图的视频语义表征方法。基于面向视频语义的草图视图，并研究了基于该草图视图的视频非线性组织和交互式浏览技术。实现了面向视频领域的草图界面应用原型系统StoryMap，并通过实验加以验证。 3.提出了一种基于草图的、面向设计过程的设计方案表征方法，并在基础上实现设计方案的灵活复用。 针对传统计算机辅助设计领域缺乏考虑设计过程中隐含的领域知识和过程信息的问题，提出了面向设计过程的草图信息建模方法。并在此基础上研究了设计活动中的草图交互推荐技术，以支持面向过程的设计方案复用。最后，实现了面向服装工艺设计的草图工艺图板系统，并通过实验加以验证。