Novel approach for region merging and image segmentation for human-computer interaction

For the purpose of human-computer interaction (HCI), a vision-based gesture segmentation approach is proposed. The technique essentially includes skin color detection and gesture segmentation. The skin color detection employs a skin-color artificial neural network (ANN). To merge and segment the region of interest, we propose a novel mountain algorithm. The details of the approach and experiment results are provided. The experimental segmentation accuracy is 96.25%. (C) 2003 Society of Photo-Optical Instrumentation Engineers.

概念设计中基于笔式手势的交互计算研究

基于笔式手势的自然交互是支持概念设计创新的有效方式.提出了一种笔式手势的层次概念模型,结合基于约束的自由勾画和上下文感知技术描述了手势设计方式,进一步讨论了手势内部的约束建立和求解算法;基于手势应用的范式,给出了概念设计中特征手势建模的应用实例,通过与传统建模和交互方式的对比,验证了特征手势建模的方便性.给出一个自然、高效的方法,以基于手势的方式来完成概念设计构思过程,采用笔式交互快速自然地记录下设计思路,所实现的系统方便了用户的创新设计,改善了人机交互模式.

research on user-centered design and recognition pen gestures

Pen-based user interface has become a hot research field in recent years. Pen gesture plays an important role in Pen-based user interfaces. But it’s difficult for UI designers to design, and for users to learn and use. In this purpose, we performed a research on user-centered design and recognition pen gestures. We performed a survey of 100 pen gestures in twelve famous pen-bases systems to find problems of pen gestures currently used. And we conducted a questionnaire to evaluate the matching degree between commands and pen gestures to discover the characteristics that a good pen gestures should have. Then cognition theories were applied to analyze the advantages of those characteristics in helping improving the learnability of pen gestures. From these, we analyzed the pen gesture recognition effect and presented some improvements on features selection in recognition algorithm of pen gestures. Finally we used a couple of psychology experiments to evaluate twelve pen gestures designed based on the research. It shows those gestures is better for user to learn and use. Research results of this paper can be used for designer as a primary principle to design pen gestures in pen-based systems.

基于结构分析的手势识别

该文从分割和表示(建模)两方面着手,提出了一种新颖的手势分割和整体及局部手势特征提取算法.用模糊集合来描述视频流中空域和时域上的背景、颜色、运动等信息,通过对它们执行模糊运算,分割出人手;使用结构分析的方法来表示手势,根据人手不同部分在几何尺寸上的变化,从低到高逐次分析图像金字塔中各种分辨率的图像,以获取手势的整体和局部结构特征;将人手划分成手掌和手指几个部分,使用手掌和各手指的中心点的坐标和从手掌中心到所有手指的中心的方向(作为手势方向)来表示一个2D手势.实验结果证明,该文算法具有很好的鲁棒性,对手势分割中间结果的精确性要求不高,因此能适应环境的变化.

一种面向实时交互的变形手势跟踪方法

变形手势跟踪是基于视觉的人机交互研究中的一项重要内容.单摄像头条件下,提出一种新颖的变形手势实时跟踪方法.利用一组2D手势模型替代高维度的3D手模型.首先利用贝叶斯分类器对静态手势进行识别,然后对图像进行手指和指尖定位,通过将图像特征与识别结果进行匹配,实现了跟踪过程的自动初始化.提出将K-means聚类算法与粒子滤波相结合,用于解决多手指跟踪问题中手指互相干扰的问题.跟踪过程中进行跟踪状态检测,实现了自动恢复跟踪及手势模型更新.实验结果表明,该方法可以实现对变形手势快速、准确的连续跟踪,能够满足基于视觉的实时人机交互的要求.

一种基于模糊集合论的手势分割算法

提出了一种基于单目的复杂环境下强抗干扰性的手势分割算法,使用模糊集合的概念来描述视频流时域和空域上的不同信息,以模糊运算作为信息加工处理的工具。定义了三个模糊集合非背景集、肤色集和模糊手势集,讨论了对模糊集合的腐蚀和膨胀运算。通过对非背景集和肤色集进行模糊运算,得到原始的模糊手势集,然后对原始的模糊手势集进行求精处理。试验结果证明,该文算法实现了对人手的精确分割,且能满足实时性要求。

基于手势输入构造三维概念模型的研究进展

综述了国内外基于手势输入构造三维概念模型的最新研究进展,讨论分析了手势交互过程及其关键技术:手势设计、手势识别、手势交互的层次结构以及手势交互的三维实现·最后对今后的发展方向进行了展望·

基于手势和草图的概念设计协同交互的研究

基于手势和草图的交互模式提供了一种自然和谐的方式来支持概念设计协同操作,促进协同工作系统的发展与应用.基于以用户为中心的设计,比较了不同方式的概念设计过程,提出了基于手势和草图的协同设计方法,进一步讨论了以草图为设计过程中的信息载体,分析了草图信息模型;基于手势操作,提出了协同上下文感知的概念和协同设计上下文描述模型;最后分析并给出面向同步编辑的草图交互设计和双向约束求解方法.所提出的协同设计方法自然简便,提高了设计效率,改善了人机交互方式.

基于HMM-FNN模型的复杂动态手势识别

复杂动态手势识别是利用视频手势进行人机交互的关键问题.提出一种HMM-FNN模型结构.它整合了隐马尔可夫模型对时序数据的建模能力与模糊神经网络的模糊规则构建与推理能力,并将其应用到复杂动态手势的识别中.复杂动态手势具备两大特点:运动特征的可分解性与定义描述的模糊性.针对这两种特性,复杂手势被分解为手形变化、2D平面运动与Z轴方向运动3个子部分,分别利用HMM进行建模,HMM模型对观察子序列的似然概率被作为FNN的模糊隶属度,通过模糊规则推理,最终得到手势的分类类别.HMM-FNN方法将高维手势特征分解为低维子特征序列,降低了模型的复杂度.此外,它还可以充分利用人的经验辅助模型结构的创建与优化.实验表明,该方法是一种有效的复杂动态手势识别方法,并且优于传统的HMM模型方法.

面向虚拟现实的层次化交互手势建模与理解方法

虚拟现实中的交互手势包括多种不同类型,层次化建模方法避免了采用单一模型导致效率不高的问题.识别是一个由粗到精的过程,通过滑动窗技术实时提取手势的统计特征,实现手势类别的粗略划分,然后采用不同方法对各类手势进行分析.交互环境及上下文信息用以辅助手势的类别划分,提高了识别效率.最后通过虚拟家居系统对该方法进行了验证.

基于视觉的手势界面关键技术研究

针对视觉手势界面存在的问题,提出了一套行之有效的解决方案.首先,为了解决视觉手势交互中的Midas Touch问题,以人类注意的信息加工模型为理论依据提出了一个可扩展的视觉手势交互模型,该模型将手势交互过程分为选择性处理、分配性处理和集中处理3个不同阶段;然后,基于该模型提出了一个视觉手势识别框架,并结合认知心理学从手势检测、跟踪和识别3个方面对该框架的各个组成模块的关键技术进行了阐述,其中手势检测模块和识别管理模块能够辅助系统在复杂的背景中滤除掉不相关信息而选择性地搜索人手并根据上下文信息对手势识别任务重定向,从而避免了系统时刻都处于激活状态并对所有的手势动作都进行识别分析,有效解决了Midas Touch问题.文中介绍了使用该方法实现的IEToolkit手势界面工具平台,并基于一个视觉手势交互系统进行了实验测试与评估,结果验证了文中方法的可用性.

基于手绘草图的概念设计工具研究与设计

从认知心理学的角度,研究了概念设计的过程,探讨性地指出辅助设计工具应当以灵感为中心。阐述了适合概念设计过程的新的设计方法和交互技术,并介绍了基于手势的草图技术及新一代交互范式———PIBG交互范式。全面分析了约束捕捉、约束求解等关键问题,最后在此基础上给出智能图板系统的设计与实现,为用户提供了一种自然和谐的界面。

一种肤色干扰下的变形手势跟踪方法

介绍了一种基于单目视觉的肤色干扰下的变形手势跟踪方法.根据跟踪过程中所用到的基本手势特征,提出了一种基于PGH(成对几何直方图)的静态手势识别方法.为了解决跟踪过程中的肤色干扰问题,实现了基于Kalman滤波器的手势预测跟踪.为了解决跟踪过程中的初始化问题,提出了一种基于层次结构的跟踪初始化解决方案.实验结果表明,该方法能够在肤色干扰的情况下有效地对变形手势进行跟踪,并能够满足基于视觉的实时人机交互的要求.

基于手势的视觉用户界面研究

随着人机交互技术的发展，各种新的交互手段不断涌现，使人机交互朝着更加自然、高效和智能化的方向前进。基于手势的视觉用户界面是post-WIMP时代的一种重要的界面形式，与传统的WIMP交互方式相比视觉手势交互能够使用户摆脱鼠标键盘的束缚而采用一种更加自然、无约束的交互方式，从而提供给用户更大的交互空间、更多的交互自由度和更逼真的交互体验，具有较高的应用价值和良好的应用前景，因此被国内外越来越多的研究者所关注，迅速成为了人机交互领域一个热门的研究方向，并被广泛应用于虚拟/增强现实、普适计算、智能空间以及基于计算机的互动游戏等多个领域。 视觉交互是自然人机交互的核心和热点研究内容之一，视觉交互可以通过手势、目光、头部运动或者面部表情等多种方式进行。其中，手势是人类进行视觉交互的主要手段，手势所能表达的语义信息十分丰富。在人机交互中使用视觉手势完成交互任务不仅自然、直观和方便，而且从计算机的角度出发来看系统实现起来也较为容易。因此，基于手势的视觉用户界面得到了广泛的关注并取得了许多研究成果。从目前的研究现状来看，在基于手势的视觉用户界面研究中，仍然存在着以下的问题： （1）传统的WIMP界面模型已经不适合描述视觉手势界面这种post-WIMP界面的特点，需要对传统的用户界面模型加以扩展，构造适于描述视觉交互特征的界面模型帮助用户清晰、准确地分析和表达界面功能及其变化，描述出用户与系统的交互过程，指导软件系统的设计和实现； （2）具体的交互设计过程中还存在着许多关键技术没有解决好，例如手势的正确理解问题、算法的鲁棒性问题以及手势的可扩展性问题等； （3）传统视觉工具箱复杂难用的问题。需要降低开发难度，开发出便捷、易用、可扩展的软件界面开发工具及相应的开发方法，支持领域内非专家用户快速开发出视觉手势原型系统。 本文正是从以上问题出发，围绕着视觉手势界面交互技术，从理论、方法与应用等几个方面展开了深入的研究。首先论述了用户界面的发展历程，继而对视觉界面研究现状进行了综述。在充分研究和对比国内外相关研究成果的基础上提出了一种基于手势的视觉用户界面模型UIDT。接下来针对视觉手势交互中存在的难题，以认知心理学为理论依据提出了一种可扩展的手势交互状态转移模型，并在此基础上构建了视觉手势处理框架。随后对该框架中的关键技术进行了针对性的研究。针对非专家用户在构建具有个性化视觉手势界面过程中所遇到的问题，设计开发了一个支持视觉手势交互的开发工具IEToolkit并给出了一套基于该工具的通用的软件开发方法。最后，将上述成果应用于互动娱乐领域，取得了满意的效果。 本文的创新点主要表现在以下几个方面： 1. 提出了一种基于手势的视觉用户界面模型UIDT 在充分分析视觉交互特征的基础上，以传统的用户界面模型为基础提出了一种基于手势交互的视觉界面模型UIDT。该模型从用户模型、任务模型、设备模型和交互模型等几个方面对视觉手势交互进行了深入分析和描述，给出了各个模型的形式化定义，介绍了模型的各个组成模块以及它们之间的相互关系，讨论了视觉手势界面设计中应该遵循的设计规范。评估结果表明，该模型具有较强的通用性，有助于设计者对VBI的任务、用户、设备以及交互的不同层次进行抽象描述，使用户界面满足可用性要求，提高界面设计和原型开发的效率。 2. 提出了一个可扩展的视觉手势交互模型及一种新的视觉手势识别处理框架，围绕着该框架提出了一种新的视觉手势跟踪和识别方法 首先，提出了一个可扩展的视觉手势交互模型。根据认知心理学原理将视觉手势交互处理过程细分为选择性处理、分配性处理和集中处理三个不同的阶段，有效解决了Midas Touch问题；基于该模型提出了一个视觉手势识别框架，并结合认知心理学从手势检测、跟踪和识别三个方面对该框架的各个组成模块的关键技术进行了阐述。其中手势检测模块和识别管理模块能够辅助系统在复杂的背景中滤除掉不相关信息而选择性地搜索人手并根据上下文信息对手势识别任务重定向，从而避免了系统时刻都处于激活状态并对所有的手势动作都进行识别分析，有效解决了Midas Touch问题；为了提高系统的性能，提出了一种鲁棒的面向实时交互的变形手势跟踪方法和基于小样本学习的模板匹配方法用于动态手势识别。评估结果表明，上述技术有效地提高了系统的实时性、准确性和鲁棒性。 3. 设计开发了一个支持快速原型开发的视觉手势工具箱系统 针对目前大多数视觉手势工具箱复杂难用的问题，设计开发了一个简单、易用、可扩展的手势工具箱系统IEToolkit，实现了本文所述的各种关键交互技术。它包含了构造一个基于视觉手势的交互系统所需要的方方面面，从事件模型、交互模型、数据流模型等几个方面对工具箱的组成结构进行了描述，并给出了一个基于IEToolkit的通用的软件系统开发流程，开发人员可以将更多的精力集中在具体的高层逻辑语义处理上，而不需要过多考虑底层的技术细节与支撑结构。应用实例及评估结果表明IEToolkit能够降低开发门槛，较好地支持基于视觉手势交互的应用系统的快速构造，具有较高的应用价值。 4. 基于上述研究成果设计开发了一系列典型的视觉手势交互系统 将上述理论模型与具体的交互技术进行有效结合，在视觉手势开发工具平台基础上开发了一系列典型的互动娱乐系统，在实践中对本文的研究成果进行了有效性验证。

在线双向适应的笔手势界面框架研究

提出一个在线双向适应的笔手势界面框架,该框架针对传统笔手势界面中静态手势识别器不能支持用户的个性化输入以及用户在笔手势界面中面临的手势记忆问题,提出了在线双向适应的策略:一方面系统能够适应用户(系统可以在线支持用户的个性化输入);另一方面用户可以学习系统(用户可以学习系统提供的某些笔手势).该框架包括5个部分:(1)双向适应笔手势输入解释模型;(2)双向适应笔手势输入解释流程;(3)上下文优先级定义;(4)纠错和模糊消解界面;(5)在线笔手势查询帮助系统.在该框架的指导下作者开发了一个原型系统并进行了对比实验评估.结果表明该框架在可用性上具有较大的优势.