Post-WIMP环境下笔式交互范式的研究

提出了一种在Post-WIMP环境下的笔式交互范式:PIBG.PIBG范式采用纸笔隐喻,与WIMP范式相比,承载应用信息的交互组件由Window变为Paper和Frame,用户的交互动作由鼠标的点击变为笔的手势.对PIBG范式中静态的界面形式和动态的交互手势进行了研究和设计.结合认知心理学,从信息呈现和交互方式两个方面对该范式的特点进行了阐述.利用GOMS模型,从界面呈现方式、手势的效率、用户满意度三个方面对该范式进行了心理学评估.从评估结果可以看,PIBG范式通过模拟日常纸笔环境,利用用户原有的知识,可以明显地减轻认知负担,提高操作效率.

Post-WIMP界面隐式交互特征研究

首先从认知心理学的角度对Post—WIMP界面下的隐式交互特征进行分析和描述。然后通过对传统界面的交互任务生成结构和Post—WIMP界面的交互任务生成结构进行比较,分析Post—WIMP界面交互任务的生成特点。根据这些特点提出了利用识别技术、上下文感知技术和用户修正技术(User Mediation)相结合的方法来支持Post—WIMP界面的隐式交互，并构造了Post—WIMP界面的交互任务生成框架。这些隐式交互特征的研究将为建立Post—WIMP界面软件框架和交互平台提供底层支持。

基于混合自动机的Post-WIMP界面的建模

Post- WIMP界面作为继当前的主流界面范式—— WIMP界面后的下一代界面范式 ,它和 WIMP界面有着很大的不同 ,通过使用虚拟现实、语音交互、手势交互等技术 ,它能够提供更加自然高效的交互方式 .然而 ,它却难以构造 .为了有效地构造 Post- WIMP界面 ,在构造之前不考虑实现细节 ,而在一个抽象的层次上描述它是一个较好的方法 .首先 ,分析了 Post- WIMP界面的交互本质 ,交互混合性是 Post- WIMP界面一个最为重要的特点 .从形式化系统的角度分析 Post- WIMP界面 ,通过将 Post- WIMP界面抽象为混合系统能够更为准确和严格地分析Post- WIMP界面的特性 .混合自动机是用于描述混合系统的形式化工具 ,将 Post- WIMP界面建模为一组相互协作的混合自动机 .设计了一基于混合自动机理论的半形式化语言 L EAFF作为 Post- WIMP界面的描述工具 .LEAFF通过结合文本描述和图形描述描述 Post- WIMP界面中的交互行为 ,能够准确地反映交互中的控制关系、时序关系 .给出了对两个典型 Post- WIMP界面——虚拟现实交互和笔式交互的描述实例 ,同时讨论了 Post- WIMP界面中交互并行性的描述、交互实时性的验证和从描述到实际交互系统构造的转换 .

一种Post-WIMP界面：PGIS的实现

随着计算机应用从桌面环境扩展到移动环境，计算机用户从专业化走向大 众化，传统的 WIMP界面的缺点逐渐体现出来。笔式用户界面作为 Post-WIMP 界面的一种重要形式，具有自然、和谐的交互特性，成为当前研究的热点之一。 针对这一方向，本文对笔式用户界面范式展开了研究。首先，本文阐述了一种 新的基于笔交互的界面范式 PGIS，定义了纸、小工具等交互组件，以及各种组 件的显示形态及交互形式。然后，实现了 PGIS 界面，包括交互对象的管理、 显示等内容。最后，详细介绍了 PGIS 界面的使用过程，并用一个应用实例加 以验证。为了支持上层应用程序的可移植性和可维护性，PGIS界面的使用采用 了模型驱动构架的开发思想。目前，我们基于 PGIS 界面开发了几款优秀的笔 式交互软件，如幼儿教学系统、便签本系统、篮球战术板系统等。这些系统完 全满足用户对笔交互应用程序的需求，目前可在 Linux 系统、Windows 系统等 多种系统上运行。PGIS界面范式的可行性也因此得到了很好的验证。 本文的主要内容有以下几点： 1. 阐述了一种 Post-WIMP范畴下的新的界面范式：PGIS。 本文在对Post-WIMP界面做了充分地理解和分析的基础上，阐述了一种新 的界面范式：PGIS。这是一种基于笔交互的界面范式，文中对该范式的纸笔隐 喻方式、所包含的内容、各交互组件的表现形式、以及各组件间的静态及动态 关系做出了详细的描述。 2. 实现了PGIS界面。 为了验证PGIS界面范式的可行性，并直接支持基于 PGIS范式的应用程序 开发，本文详细介绍了PGIS界面的实现细节，其中包括PGIS界面中所包含的 元素、PGIS界面中交互对象的显示、交互对象的管理、以及交互对象对基本原 语的转换和响应。 3. 介绍了 PGIS界面的使用过程。 整个使用过程采用模型驱动架构的思想，引入对以下三个子模块的调用： 与平台相关的底层核心库和 PGIS 引擎、与平台无关的场景设计工具。这三个 子模块决定了上层应用程序的可移植性和可维护性。另外，场景设计工具提供 了代码自动生成的功能，大幅度缩短了应用程序的开发周期。 4. 实现了一个基于 PGIS界面的幼儿教学系统。 为了说明 PGIS界面的使用流程，本文设计并实现了一个基于PGIS界面的 幼儿教学系统。在开发过程中，大部分工作在场景设计工具中快速完成，小部 分工具集中在数据管理库、场景任务库的开发上。该系统的评估结果很好地验 证了 PGIS界面范式的可行性。

UPIM:以用户为中心的笔式交互系统设计

笔式用户界面是Post-WIMP界面的一种重要形态，有自然、易学、易用等潜在性优点，但是在开发笔式交互系统时，以应用为中心的设计方法无法保证笔式用户界面继续拥有这些优点J为此，首先分析了软件设计的交流模型，在此基础上提出了一种以用户为中心的笔式交互系统的设计方法，并结合科学跳水训练管理系统对该方法进行了详细描述J从实际应用系统的评估结果来看，该设计方法在提高笔式交互系统的可用性方面非常有效.

一种新的笔式交互范式的可用性评估

笔式用户界面是Post-WIMP界面的一种重要形态，具有自然、和谐的交互特性。尽管笔式用户界面广泛应用于无处不在计算环境中，但很少专门对它的可用性进行评估。针对笔式用户界面的特征，提出了一种新的笔式用户界面范式，基于此范式设计并实现了一个面向教学的笔式交互系统(PenOffice)，利用此系统对范式从易学性、效率、出错率和用户满意度这几个方面进行了可用性评估，从中分析了笔式用户界面以及这种新的界面范式的优点和不足。

协作笔式用户界面开发工具研究

笔式用户界面是一种重要的Post-WIMP(window icon menu pointer)界面,它给用户提供了自然的交互方式.然而,当前的笔式用户界面工具箱大多是面向单用户任务的,不能很好地支持协作应用场景.通过对笔式交互特征和协作环境功能需求的分析,设计并实现了一个工具箱CoPen Toolkit,用于支持协作笔式用户界面的开发.它提供了灵活的架构和可扩展的组件,支持笔迹描述、事件处理和网络协作等功能.基于CoPen Toolkit,构造了多个原型系统,实践表明,它能够很好地支持协作笔式用户界面的开发.

基于手势的视觉用户界面研究

随着人机交互技术的发展，各种新的交互手段不断涌现，使人机交互朝着更加自然、高效和智能化的方向前进。基于手势的视觉用户界面是post-WIMP时代的一种重要的界面形式，与传统的WIMP交互方式相比视觉手势交互能够使用户摆脱鼠标键盘的束缚而采用一种更加自然、无约束的交互方式，从而提供给用户更大的交互空间、更多的交互自由度和更逼真的交互体验，具有较高的应用价值和良好的应用前景，因此被国内外越来越多的研究者所关注，迅速成为了人机交互领域一个热门的研究方向，并被广泛应用于虚拟/增强现实、普适计算、智能空间以及基于计算机的互动游戏等多个领域。 视觉交互是自然人机交互的核心和热点研究内容之一，视觉交互可以通过手势、目光、头部运动或者面部表情等多种方式进行。其中，手势是人类进行视觉交互的主要手段，手势所能表达的语义信息十分丰富。在人机交互中使用视觉手势完成交互任务不仅自然、直观和方便，而且从计算机的角度出发来看系统实现起来也较为容易。因此，基于手势的视觉用户界面得到了广泛的关注并取得了许多研究成果。从目前的研究现状来看，在基于手势的视觉用户界面研究中，仍然存在着以下的问题： （1）传统的WIMP界面模型已经不适合描述视觉手势界面这种post-WIMP界面的特点，需要对传统的用户界面模型加以扩展，构造适于描述视觉交互特征的界面模型帮助用户清晰、准确地分析和表达界面功能及其变化，描述出用户与系统的交互过程，指导软件系统的设计和实现； （2）具体的交互设计过程中还存在着许多关键技术没有解决好，例如手势的正确理解问题、算法的鲁棒性问题以及手势的可扩展性问题等； （3）传统视觉工具箱复杂难用的问题。需要降低开发难度，开发出便捷、易用、可扩展的软件界面开发工具及相应的开发方法，支持领域内非专家用户快速开发出视觉手势原型系统。 本文正是从以上问题出发，围绕着视觉手势界面交互技术，从理论、方法与应用等几个方面展开了深入的研究。首先论述了用户界面的发展历程，继而对视觉界面研究现状进行了综述。在充分研究和对比国内外相关研究成果的基础上提出了一种基于手势的视觉用户界面模型UIDT。接下来针对视觉手势交互中存在的难题，以认知心理学为理论依据提出了一种可扩展的手势交互状态转移模型，并在此基础上构建了视觉手势处理框架。随后对该框架中的关键技术进行了针对性的研究。针对非专家用户在构建具有个性化视觉手势界面过程中所遇到的问题，设计开发了一个支持视觉手势交互的开发工具IEToolkit并给出了一套基于该工具的通用的软件开发方法。最后，将上述成果应用于互动娱乐领域，取得了满意的效果。 本文的创新点主要表现在以下几个方面： 1. 提出了一种基于手势的视觉用户界面模型UIDT 在充分分析视觉交互特征的基础上，以传统的用户界面模型为基础提出了一种基于手势交互的视觉界面模型UIDT。该模型从用户模型、任务模型、设备模型和交互模型等几个方面对视觉手势交互进行了深入分析和描述，给出了各个模型的形式化定义，介绍了模型的各个组成模块以及它们之间的相互关系，讨论了视觉手势界面设计中应该遵循的设计规范。评估结果表明，该模型具有较强的通用性，有助于设计者对VBI的任务、用户、设备以及交互的不同层次进行抽象描述，使用户界面满足可用性要求，提高界面设计和原型开发的效率。 2. 提出了一个可扩展的视觉手势交互模型及一种新的视觉手势识别处理框架，围绕着该框架提出了一种新的视觉手势跟踪和识别方法 首先，提出了一个可扩展的视觉手势交互模型。根据认知心理学原理将视觉手势交互处理过程细分为选择性处理、分配性处理和集中处理三个不同的阶段，有效解决了Midas Touch问题；基于该模型提出了一个视觉手势识别框架，并结合认知心理学从手势检测、跟踪和识别三个方面对该框架的各个组成模块的关键技术进行了阐述。其中手势检测模块和识别管理模块能够辅助系统在复杂的背景中滤除掉不相关信息而选择性地搜索人手并根据上下文信息对手势识别任务重定向，从而避免了系统时刻都处于激活状态并对所有的手势动作都进行识别分析，有效解决了Midas Touch问题；为了提高系统的性能，提出了一种鲁棒的面向实时交互的变形手势跟踪方法和基于小样本学习的模板匹配方法用于动态手势识别。评估结果表明，上述技术有效地提高了系统的实时性、准确性和鲁棒性。 3. 设计开发了一个支持快速原型开发的视觉手势工具箱系统 针对目前大多数视觉手势工具箱复杂难用的问题，设计开发了一个简单、易用、可扩展的手势工具箱系统IEToolkit，实现了本文所述的各种关键交互技术。它包含了构造一个基于视觉手势的交互系统所需要的方方面面，从事件模型、交互模型、数据流模型等几个方面对工具箱的组成结构进行了描述，并给出了一个基于IEToolkit的通用的软件系统开发流程，开发人员可以将更多的精力集中在具体的高层逻辑语义处理上，而不需要过多考虑底层的技术细节与支撑结构。应用实例及评估结果表明IEToolkit能够降低开发门槛，较好地支持基于视觉手势交互的应用系统的快速构造，具有较高的应用价值。 4. 基于上述研究成果设计开发了一系列典型的视觉手势交互系统 将上述理论模型与具体的交互技术进行有效结合，在视觉手势开发工具平台基础上开发了一系列典型的互动娱乐系统，在实践中对本文的研究成果进行了有效性验证。

基于模型驱动的个人信息管理系统

随着计算机硬件技术的提高、信息技术的不断发展，以及互联网的广泛应用，人们拥有的个人信息不仅种类繁多而且增长迅猛，已成为影响个人生活秩序和生活质量的重要因素。纷繁复杂的个人信息给人们理解、查询和获取知识带来沉重的负担。个人信息管理通过对个人信息提供计算机支持的、交互式的、可视化的管理方式，不断帮助人们提高个人信息的处理能力，成为人们处理信息、分类信息、访问信息、有效利用信息的强有力工具。 人机交互是个人信息管理的重要研究领域。然而，对于个人信息管理中的人机交互的研究仍存在以下挑战：一是大多数的个人信息管理系统是以结构化的呈现方式作为个人信息的表征，不符合人们非结构化的信息处理模式，因此在信息的呈现上需要由结构化方式向非结构化方式进行扩展。二是如何为用户提供真正符合认知规律和习惯的交互技术，让用户以自然的方式专注于个人信息管理任务本身，提高其交互效率进而提高个人信息管理效率。三是针对大众用户需要构建具有个性化用户界面的问题，如何提供面向最终用户的快速开发方法，能够简单、高效地构建特定平台下的个人信息管理应用。本文正是从上述问题出发，围绕着个人信息管理中的交互技术，从理论、方法与应用研究等方面展开研究。 本文首先论述了个人信息爆炸带来的挑战以及个人信息管理的发展趋势，继而对个人信息管理、笔式用户界面、模型驱动架构等相关研究进行了综述。接着分析了个人信息管理系统的需求，在分析了个人信息管理设备特点、信息处理流程以及知识工作者的信息管理任务特征的基础上，提出了面向知识工作者的个人信息管理系统目标。基于此建立了基于PGIS界面范式的笔式个人信息管理界面模型。然后，针对个人信息管理的功能问题，构建了个人信息的数据模型、提出了基于实物界面的BCDP管理方式、基于笔迹标签的个人信息检索技术和基于标签的个人信息推荐技术。针对大众用户构建具有个性化个人信息管理系统用户界面的问题，提出了基于模型驱动的笔式个人信息管理系统开发方法，并开发了支持该方法的工具箱。最后，将上述研究成果应用于面向知识工作者的办公室场景和移动环境下的个人信息管理系统开发，给出了两个应用实例。 本文的创新点主要包括： 1. 建立了基于PGIS界面范式的笔式个人信息管理界面模型。 本文基于Puerta提出的基于模型的界面开发通用框架中的界面模型，建立了基于PGIS界面范式的个人信息管理的用户界面模型。讨论了该模型的抽象组成元素即用户模型、任务模型、领域模型，以及具体组成元素即表现模型与对话模型，建立了各个模型间的映射关系，并给出了模型的建模方法。该模型能够有效地描述具有个性化用户界面的笔式个人信息管理系统。 2. 实现了笔式个人信息管理系统的三个关键技术。 针对个人信息的管理方式问题，提出了基于实物界面的BCDP个人信息管理方式；针对个人信息检索问题，提出了一种基于笔迹标签的个人信息检索技术；针对信息推荐问题，提出了一种基于标签的个人信息推荐技术。实验结果表明：上述三个技术能够有效支持知识工作者管理个人信息的任务，具有较高任务完成效率和用户满意度。 3. 提出了一种基于模型驱动的笔式个人信息管理系统开发方法。 提出了一种基于模型驱动的笔式个人信息管理系统开发方法。描述了笔式个人信息管理系统的平台无关模型和平台相关模型的组成部分，提出了平台无关模型到相关模型的转换方法，给出了基于模型驱动的笔式个人信息管理系统开发框架。构建了支持此方法的工具箱。实验表明，该方法可以为大众用户构建个性化的笔式个人信息管理系统应用提供一种有效的解决方案。 4. 基于上述研究成果完成了办公室环境和移动环境下的两个笔式个人信息管理原型系统的开发。 将研究成果应用于面向知识工作者的办公室环境和移动环境两个场景下的 笔式个人信息管理系统。应用实例表明，本文研究成果既具有理论价值又具有应用价值。

笔式用户界面敏捷开发工具及其应用

笔式用户界面软件是 Post-WIMP用户界面的一种主要形式，在普适计算环境下有着广泛的应用。笔式用户界面敏捷开发工具用可视化的方法支持用户界面的快速设计、减少手动开发的工作量，从而提高系统的开发效率。同时笔式用户界面软件敏捷开发工具还可以满足用户的个性化需求。具体来说，笔式用户界面敏捷开发工具就是通过场景和 UI 编辑来对用户需求建模并且通过 UI 来形象地展示。笔式用户界面软件敏捷开发工具采用基于场景设计的开发方法，设计结果形成 XML 格式的文档，通过解析这些 XML 文档自动生成基于 PBOP 平台的 C 代码。它可以将用户的业务逻辑层和系统应用层有效地分离，使得设计人员能够专注于业务逻辑和系统呈现，开发人员能够专注于具体应用逻辑的实现。 本文用到的主要理论与方法有：敏捷开发方法、模型驱动（MDA）开发方法、基于场景的设计方法、笔式用户界面PGIS范式、UI 形式化描述方法、代码生成模板。 本文通过对基于场景设计方法的研究分析，设计并实现了支持场景设计方法的场景设计工具。该工具将软件用户界面场景以图形形式展示给设计人员来发掘用户对软件用户界面的需求，同时又通过形式化的描述方法描述了场景的结构，使得代码生成工具能够根据场景形式化描述生成相应代码。通过定义笔式用户界面 PGIS 范式和它的形式化描述语言，使得 UI 编辑工具能够方便用户界面设计人员设计用户个性化的用户界面外观，并且形式化的描述语言能够方便代码生成工具生成笔式用户界面 UI 相关的代码结构。实践表明，笔式用户界面敏捷开发工具可以提高笔式用户界面软件的开发效率。 本文的主要工作有： 1、研究敏捷开发方法和 MDA 开发方法并提出通过实现 MDA 工具来实践敏捷开发方法。通过 MDA 工具来建立平台无关模型和平台相关模型之间的映射，帮助开发人员快速构建需求模型和搭建程序框架。 2、通过场景设计方法对用户的业务逻辑进行建模。通过场景树和状态迁移图的图形化表示帮助开发人员理解用户需求，通过场景的形式化描述方便代码生成工具抽取业务流程信息。 3、设计并实现了场景 UI 编辑器。通过场景 UI 编辑器可以直观地呈现应用系统的用户界面，并且通过修改 UI 属性可以满足用户对用户界面外观的个性化需求。引入了场景 UI 的形式化描述语言来帮助代码生成工具生成用户界面程序。 4、设计并实现了代码生成工具。通过解析场景形式化描述语言和场景 UI 形式化描述语言，抽取出有用信息，并通过定义好的程序模板将这些信息填入模板,从而提高了应用系统的开发效率。 5、以笔式 Email 系统作为一个应用实例串联使用笔式用户界面敏捷开发工具的流程。在此基础上介绍了几个实际的开发系统使用笔式用户界面敏捷开发工具设计的情况，以及对笔式用户界面敏捷开发工具未来的应用和改进做了展望。 关键词：笔式用户界面；用户界面设计工具；场景设计方法；UI 形式化描述与编辑；代码生成

自适应笔式用户界面研究

笔式用户界面是HCI领域重要的研究方向，是Post-WIMP用户界面时代的主要界面形态之一，其在思维捕捉或记录、概念设计、观点研讨和交流等领域已经有较好的应用。笔式用户界面在得到良好应用的同时，也存在着以下三个方面的挑战：(1)相比于图形用户界面而言，笔式用户界面具有交互的模糊性，离散交互和连续交互的混合性等交互特征，我们将笔式用户界面的这些交互特性称为笔式用户界面的交互复杂性，交互复杂性无疑增加了笔式用户界面的设计和实现的复杂度；(2)由于笔式交互基于纸笔隐喻，相比传统的键盘鼠标输入的图形用户界面具有更加自然高效的交互特性，这种自然高效的交互特性会使更多更广的用户使用笔式用户界面，这些用户之间的笔式输入习惯会存在差异，会自然的期望笔式用户界面能够较好的适应特定用户的个性化。(3)普适计算是二十一世纪的计算模式，在普适计算环境下，用户要求能够随时、随地根据任务的需要来访问和操作各种信息，而支持多种环境下的不同的笔式交互设备无疑便利了用户的需求，因此笔式交互是普适计算环境下重要的交互方式，普适计算下也同时要求笔式用户界面能够适应设备和环境的多样化的计算要求。综上所述，解决笔式用户界所面对的交互复杂性和用户、设备、环境的适应性需求将是笔式用户界面的重要研究方向之一。 本文在总结笔式用户界面的发展的情况下，分析了笔式用户界面面临的上述三个方面的挑战。在分析面临挑战的基础上，阐述了本文研究的动机，即用自适应的方法来解决上述笔式用户界面所面临的挑战，即将本文的工作定位在自适应笔式用户界面研究上。 本文在分析了自适应用户界面和笔式用户界面相关研究的基础上，先后从以下几个方面展开研究：(1)研究了什么样的笔手势是良好的笔手势，提出了意义性的笔手势及其分类，并通过定量实验评估的方法验证了意义性笔手势的易学易记特性，为设良好的笔手势提供了参考依据；(2)提出了用自适应的策略来解决手势在使用时适应用户个性化输入的问题；(3)提出了自适应的基于笔和语音的多通道交互技术，并在此基础上建立了一个自适应的多通道几何白板系统；(4)提出了实现笔式用户界面的交互框架，并且在此框架的基础上与实践相结合总结性地提出了自适应笔式用户界面的软件体系结构；(5)在自适应笔式软件体系结构的基础上，本文最后描述了自适应笔式用户界面的软件开发方法，并通过实例来说明该方法的具体应用；(6)最后本文基于上述研究实现了一个自适应的多通道几何白板应用和一个自适应的表单系统。综上所述，本文从不同的层次展开了对自适应笔式用户界面的研究。这些层次是：(1)用户研究层次；(2)相关技术及框架研究层次；(3)软件体系结构和开发方法层次；(4)应用原型。 在自适应笔式用户界面的研究中，我们从上述五个方面展开了研究工作，其中主要的创新点有： (1)意义性笔手势及其实验评估 提出了意义笔手势的定义、分类及其易记性优势的假设。并通过定量的评估实验验证假设。在文献调研和用户调查的基础上，提出与所代表的命令有形象性的，意义性连接的笔手势是设计良好的笔手势，称为意义性笔手势，并将意义性笔手势分成三类，即为：指示性笔手势、实物隐喻笔手势和文化约定笔手势。最后，我们通过一个定量实验，评估意义性笔手势在易学性上是否优于非意义性笔手势。 (2)自适应的笔手势界面框架 在笔式用户界面中，静态识别器不能解决如下问题：不同用户对同一命令手势的输入差异大于某一用户在输入不同手势时的差异。本文提出了自适应的笔手势界面框架来解决这种用户手势输入的个性化问题。 (3)自适应的基于笔和语音交互的多通道交互技术 在多通道用户界面中，自适应性能够更好的发挥多通道交互的优势，本文提出了自适应的基于笔和语音的多通道交互技术，阐述了该自适应多通道的交互框架，详细阐述了输入模块、融合模块和自适应模块。对多通道的输入，融合，自适应策略进行了详细描述。 (4)笔式用户界面的交互框架和自适应笔式用户界面的软件体系结构 针对笔式用户界面的交互复杂性，在相关研究的基础上，提出了基于层次状态机的交互框架。同时基于框架，面向笔式用户界面的多设备、多环境、多用户的应用需求，提出了自适应笔式用户界面的软件体系结构，为自适应笔式用户界面的设计和开发提供指导。 (5)自适应笔式用户界面的软件开发方法 在以人为中心的设计方法和极限编程XP的开发方法的基础上，和实践相结合，根据自适应笔式用户界面的特点，提出了自适应笔式用户界面开发的总体流程，该流程重点描述了笔式用户界面自适应性的需求分析、设计开发及评估。在自适应笔式用户界面软件体系结构和总体开发流程的基础上，提出了自适应笔式用户界面的设计和开发流程，用以指导自适应笔式用户界面的设计和开发。 (6)原型实例 本部分在上述研究的基础上，建立了两个原型应用，一个为自适应的多通道用应用，本部分详细描述了该应用的模块组成及其关系，特别针对自适应模块，描述了自适应的策略。另一个为自适应表单应用，详细描述了该表单应用的需求分析、设计和实现、评估。

Ruby:一个基于移动设备的个人信息管理系统

为满足移动环境对非结构化个人信息管理的自然性和高效性的需求,提出一个基于移动设备的个人信息管理系统Ruby.首先分析了移动环境对个人信息管理的需求,描述了系统框架,接着介绍了系统界面和交互过程,并阐述了支持该系统的2个主要技术:非结构化笔记编辑技术和基于笔迹标签的检索技术.对2个技术和整个系统的评估结果表明,该系统能够满足移动环境对自然交互、非结构化信息采集加工及个人信息自然检索的需求.

Evoluzione delle user interface: dalla metafora del desktop al Wearable Computing

Negli ultimi decenni abbiamo assistito ad una graduale evoluzione delle interfacce utente e della tecnologia. Sono stati introdotti nuovi dispositivi mobile e wearable che negli ultimi anni hanno subito un incremento tecnologico esponenziale arrivando a fondersi con la vita di tutti i giorni. Le classiche interfacce grafiche WIMP, la metafora del desktop e le linee guida di progettazione fino ad ora sviluppate non risultano ideali per la nuova tecnologia di wearable computing. Il proposito che la tesi vuole andare ad affrontare è proprio quello di indagare lo sviluppo di nuove user inteface basate sulla tecnologia wearable ed in particolare per smart glasses.

The Coming of Post-reflexive Society: Commodification and Language in Digital Capitalism

Language is a unique aspect of human communication because it can be used to discuss itself in its own terms. For this reason, human societies potentially have superior capacities of co-ordination, reflexive self-correction, and innovation than other animal, physical or cybernetic systems. However, this analysis also reveals that language is interconnected with the economically and technologically mediated social sphere and hence is vulnerable to abstraction, objectification, reification, and therefore ideology – all of which are antithetical to its reflexive function, whilst paradoxically being a fundamental part of it. In particular, in capitalism, language is increasingly commodified within the social domains created and affected by ubiquitous communication technologies. The advent of the so-called ‘knowledge economy’ implicates exchangeable forms of thought (language) as the fundamental commodities of this emerging system. The historical point at which a ‘knowledge economy’ emerges, then, is the critical point at which thought itself becomes a commodified ‘thing’, and language becomes its “objective” means of exchange. However, the processes by which such commodification and objectification occurs obscures the unique social relations within which these language commodities are produced. The latest economic phase of capitalism – the knowledge economy – and the obfuscating trajectory which accompanies it, we argue, is destroying the reflexive capacity of language particularly through the process of commodification. This can be seen in that the language practices that have emerged in conjunction with digital technologies are increasingly non-reflexive and therefore less capable of self-critical, conscious change.