从二十世纪五十年代用户界面出现至今，用户界面的发展经历了三次演变:批处理界面、命令行界面和WIMP(Window，Icon，Menu，Pointing Device)界面。由于WIMP界面与以前的界面风格相比具有明显的优点，因此在近二十年中一直处于统治地位。　　 目前，人机交互正进入一个蓬勃发展的新时代。研究者们研发了大量与传统WIMP界面不同的新型人机交互方式。它们的共性特征是都利用了用户对日常生活中非数字世界的既有知识，使得人与计算机的交互更加自然和直觉，如同人们与真实物理世界交互一样，因此这些交互方式被统称为基于真实的交互(Reality-Based Interaction，RBI)。在RBI框架中，四个层级的“真实”，包括简单物理感知，身体意识和技能，环境意识和技能，以及社会意识和技能构成了RBI的主体。　　 身体意识和技能层级在RBI框架中是重中之重。通过对该层级的研究，可以充分利用人类在真实世界中的自然运动行为，弥补人机交互过程中面临的执行阶段和评估阶段的两大鸿沟。本文基于RBI框架，着眼于身体意识和技能层级，针对运动建模、设计方法和评估方法展开研究。　　 本文首先深入分析了RBI研究目前所面临的问题和挑战，进而对笔交互和肢体交互两种RBI的主流交互技术进行了运动建模，探索了用户的运动能力和限制;以RBI框架为基础，研究了基于“真实”的用户界面设计方法;兼顾“真实”性和界面风格多样性，研究了RBI用户界面的评估方法;基于以上研究成果，分别在两个典型领域（儿童汉字学习和儿童素质教育）设计和评估了Multimedia Word、Drumming Stroke和ShadowStory三个系统。　　 本文的创新点主要包括:　　 1.构建了基于笔交互和肢体交互的运动模型针对笔交互和肢体交互这两种RBI主流的交互方式，通过实验，研究用户完成交互任务时的绩效表现，探索用户的运动能力和限制，并给出交互运动的基本参数。　　 2.提出了一种基于“真实”的用户界面设计方法通过引入运动建模和真实隐喻提取两个环节，扩展了传统以用户为中心的设计方法，强调从用户运动能力和真实隐喻出发进行RBI用户界面设计。　　 3.提出了一种灵活且可扩展的RBI用户界面评估方法该方法综合客观绩效指标、生理状态指标、用户主观指标对RBI用户界面进行评估，以肌电图(Electromyography，EMG)为例详细描述了从生理数据到评估指标的转化方法，还针对具体交互任务和目标，给出了评估的侧重点。