论文部分内容阅读
众所周知，正是图形用户界面技术使得计算机应用的普及成为现实，正如网络技术让计算无处不在一样，随着计算机及网络技术的不断发展及其向人类工作和生活的不断渗透，对用户界面的要求也越来越高，尤其需要实现以计算机系统为中心向以用户为中心的交互模式转变，自然化、人性化、个性化、智能化成为这一领域的主导，多媒体、多通道支撑下的感知用户界面(PeceptualUserInterface)呼之欲出。笔式交互(Pen-basedHumanComputerInteraction)以模拟现实的纸和笔为目标，它通过将用户的交互意图映射为由压力、方向、位置和旋转等信息组成的多维矢量序列拓宽了人机交互的频带，拥有强大的信息表达能力，有利于创造性思想的快速表达、抽象思维的外化和自然交流，从而有效地改善传统用户界面固有的缺陷。总之，笔式交互以其易用、自然、高效和利于创造性思维的特性而成为感知用户界面中不可缺少的部分引起了学术界和产业界越来越多的兴趣。然而，由于笔式交互具有输入随意性和语义模糊性，尤其是对于没有固定结构和模板的图形输入及其过程(也称为手绘草图，Sketching)而言，计算机的草图理解(SketchingUnderstanding)能力成为笔式交互走向实用化的主要瓶颈，而成为用户界面领域的一个十分重要的研究课题。
本文以笔式交互输入图形为对象，以支持UML构思设计为背景，以解决草图输入的随意性和语义的模糊性为目标，从草图理解系统功能构架、草图图形表示、草图图形识别、草图输入交互设计及草图方案解释等方面对草图理解进行了系统的研究和开发，设计并实现了一个面向UML构思设计的草图理解原型系统SkechEI(FreehandSketchingSystemForExternalizingIdeas)，重点研究并提出了草图识别的属性关系图表示方法及其匹配和剪枝策略，对草图输入的交互方式和语义解释也进行了初步的研究。本文的主要贡献在于以下几个方面：
(1)草图理解系统功能构架的设计：对面向图标生成的草图输入原型系统Sketchpad进行了拓展和修正，设计了面向构思设计的草图理解原型系统SketchEI，该系统以支持构思的创造性思维为目的，以草图不同层次问的特征演化和映射来模拟草图理解过程，将系统分成笔划识别、基本图形识别、几何结构识别、功能结构推理和草图方案解释等多个部分。这为建立基于草图输入的智能化人机交互环境提供了框架。
(2)基于属性关系图的草图输入及其过程的统一特征表示：将构成基本图形、几何结构等不同演化层次的草图特征的元素抽象成为属性关系图的节点，并将这些元素之间的拓扑空间位置等关系抽象成为属性关系图的边，元素和它们之间关系的结构特征信息之外的各种信息抽象表示为属性关系图的节点和边的属性，从而使得草图及其演化过程不同层次具有统一的特征表示方法。这为建立面向草图理解全过程的系统模型奠定了基础。
(3)基于属性关系图的草图识别方法：本文基于草图识别本质上是不同演化层次特征间映射的认识，采用属性关系图表示后的草图识别转化为属性关系图问的相似度计算，不同层次的识别对应不同信息粒度的相似度计算。在属性关系图相似度计算过程中动态生成匹配约束条件，并根据生成的匹配约束条件使用约束的部分枚举算法智能预测当前匹配状态的后继有效的枚举状态以跳过无效的中间匹配状态，达到状态空间剪枝的目的。该方法有效的降低了属性关系图匹配过程中状态搜索空间。这为建立面向草图理解全过程的系统方法论奠定了基础。
(4)草图输入人机交互设计：在继承SmartSketchpad的实时反馈系统识别结果和智能预测用户输入的草图形状的基础上，系统地设计了一套用于辅助编辑的手势集，用户使用既定的手势集能够便捷地完成草图编辑操作，有效节省了用于草图绘制的时间和精力。
(5)基于XML表示的草图解释：设计了基于XML的草图描述模型，为草图语义解释提供统一格式的草图表示方法，在此基础上，初步研究了面向UML构思设计的基于上下文的草图语义解释方法，通过分析UML语义图符之间的空间位置关系进行语义推理获得UML草图设计的语义解释。同时，这也为草图理解领域DTD和基于笔式交互协同交流环境的建立提供了基础。
本文从支持创造性设计目的出发，并基于特征映射贯串草图理解过程始终的认识，并提出了基于属性关系图的草图特征统一表示方法和基于属性关系图的草图识别方法，并对人性化、自然化的人机交互方式及基于XML表示的草图解释方法进行了初步的探讨，设计并实现了草图理解原型系统SketchEI。所提出的方法和实现的原型系统不仅拓展了原有SketchPad原型系统的使用范围，而且取得了较好的效果。