在线草图理解技术研究

手绘草图是一种自然而直接的思路外化和交流方式。用户传统使用草图的方式为先用草图记录早期想法，想法成熟时转化为正规电子文档，这样存在着冗余性和低效性的问题。随着笔计算设备的普及，数码笔、手写板、手写屏、电子白板、PDA、UMPC等设备不断融入人们的生活，在线手绘草图将成为笔计算设备的主要应用之一。近年来，手绘草图也开始在互联网上出现，成为用户体现个性的方式。理解在线手绘草图将为手绘草图的高效利用和高效编辑提供了保障。 草图理解包括在线草图理解和离线草图理解。在线草图理解的对象为用户用数字笔绘制的在线草图，而离线草图理解的对象为图像。目前，在线草图理解技术是当前的研究热点，但它仍然面临很多挑战，例如草图的自适应识别、新领域草图的理解、草图的高效交互等。本文的研究对象为在线草图理解技术以及面向在线草图理解的交互技术。具体地，从多个层次和角度展开研究，依次为：草图符号识别、手写公式理解、草图结构理解、面向在线草图理解的交互技术、原型系统。 本文首先概述了草图理解技术的发展历史，介绍了在线草图理解技术的需求、输入设备和关键技术，并分析了在线草图理解技术的研究进展。之后，本文对自适应的草图符号识别、手写无机化学公式理解、手绘概念图的结构理解这三个问题进行了讨论，并对面向在线草图理解的交互技术进行了分析，最后研发了一个原型系统IdeaNote。本文研究内容和创新点如下： 1. 自适应的草图符号识别 在草图符号的自适应学习中，不同用户的训练样本数量可能不同，保持在不同样本数量下良好的学习效果成为需要解决的一个重要问题。本文提出一种自适应的草图符号识别方法，该方法采用与训练样本个数相关的分类器组合策略将模板匹配方法和SVM统计分类方法进行了高效组合。它通过利用支持小样本学习的模板匹配方法和支持更多样本学习的SVM方法，并同时利用草图符号中的在线信息和离线信息，实现了不同样本个数下自适应的符号学习和识别。评估表明，该方法可以在24类草图符号分别使用1到20个训练样本时具有较高的识别正确率和较好的时间性能。 2. 手写无机化学公式理解 手写公式是人们学习和生活中的重要部分，本文提出手写无机化学公式的同步识别和异步识别方法。同步识别方法在用户书写无机化学公式的同时进行识别，异步识别方法在用户完成一个或几个化学公式的时候进行识别。两类方法均充分利用了无机化学领域的知识，具有较高的识别正确率。其中，异步识别方法的正确率为93.08%。基于手写无机化学公式的理解结果，可以支持无机化学公式的手写输入、多通道输入、自动错误检测和自动配平等。 3. 手绘概念图的结构理解 草图结构理解是草图编辑和草图应用的基础。手绘概念图是思维产生和交流的重要工具，与正规形式的概念图相比更加自然且符合用户的纸笔习惯。本文提出一种手绘概念图的结构理解方法。它采用动态规划方法提取概念图中的节点和连线笔划块，通过图划分的方法降低图的动态规划的时间复杂度，在此基础上提取由节点、连线和节点连线关系组成的概念图结构。评估表明，该方法可以取得95.18%的节点和连线提取正确率，且概念图结构理解的时间满足实时性要求。 4. 面向在线草图理解的交互技术 草图的交互技术对草图系统至关重要。本文提出手绘概念图的结构化编辑技术和基于语音和笔的多通道输入和纠错技术。其中，手绘概念图的结构化编辑技术，支持结构化的选择、移动、缩放和节点互换等编辑操作。评估表明，该结构化编辑方法比基于笔划的编辑方法更加高效。多通道交互技术包括基于语音和笔的多通道化学公式输入方法和基于语音和笔的多通道数学公式纠错方法。评估表明，基于语音和笔的手写数学公式识别纠错方法比基于笔的纠错方法取得更好的效果。 5. 原型系统IdeaNote 笔记系统是笔计算设备上的重要应用。IdeaNote是一个基于数字笔的笔记系统。它支持数字笔迹的自由输入，并支持笔迹的高效编辑。IdeaNote的基础为在线草图理解技术和面向在线草图理解的交互技术。在线草图理解技术包含笔手势识别方法、支持小样本学习的草图符号识别方法、列表结构理解方法、手绘概念图的结构理解方法和手写公式理解方法。面向在线草图理解的交互技术包括结构化编辑技术和多通道交互技术。另外，系统包含一个用于操纵笔迹的笔手势集合。