人机交互(HCI:human computer interaction)是计算机科学的一个相当重要的研究领域。语音合成、语音识别、面部表情识别、姿势识别以及姿势合成等研究都是这一领域的重要组成部分,并且都取得了很好的进展。但是这些研究都是在单一交互通道上进行的。而现实中人与人在交际过程并不是仅仅通过一种途径来表达和传递信息,而是多种途径共同表达。所以想要使计算机能够和人进行自然的交流,就必须理解人的这多种途径表达信息之间的相互关系。本文的研究目的就是以解释多种途径表达信息之间的关系为出发点,研究交际过程中的姿态表达和言语特征的关系,具体来说就是研究姿态表达和语音表达的关系。本研究得到国家863项目“自然人机交互中口语产生新方法的研究”(编号2006AA01Z138)支持。本文以4段电视访谈节目的视频和音频为原始数据,在本文提出的多模态标注系统的基础上对视频信息进行了姿态标注,并对语音信息进行了韵律标注。然后对音频和视频的标注信息进行提取,用统计学的方法对数据进行了分析。研究结论支持语音与姿态表达之间的关联理论(Interface Hypothesis)。本文的结构分成3个部分:首先提出了多模态标注系统,然后通过一个感知实验来观察姿态与语音信息在语言理解中的关系,最后分析了语流中重音与手部动作之间的关系,手部动作和头部动作在协助语音表达时的关系,还分析了语流中韵律边界和手部动作之间的关系。