自上世纪80年代以来,计算机视觉领域中的人体行为识别引起研究者的广泛关注。在当前的各种行为识别方法中,较大部分通过使用传统相机来解决这一问题。过去十年见证了3D数据获取技术的快速发展,尤其是微软推出Kinect以后,深度图像开始得到了广泛的应用。使用深度序列进行人体行为识别能够克服图像对光照变化,遮挡,环境变化等因素造成的影响。因此,本文主要研究基于深度序列的人体行为识别,对深度行为特征的提取进行了深入的研究。针对传统行为识别精度不高的问题,采用深度图像序列与RGB图像序列结合的方法,并将在深度图像上提取的HOGD特征与可见光图像上提取的LBP特征进行融合从而得到HOGD-LBP特征,此融合特征克服HOG特征只提取人体几何边缘信息而忽略平坦表面的问题。实验证明此融合特征比单一特征有更高的识别精度和更好的稳定性。针对深度视频序列的人体行为识别精度不高的问题,采用在深度视频序列上提取一种新的时空局部法向量特征(STLN)对行为进行描述,STLN特征描述符采用4D空间法向量直方图捕获人体运动和几何信息。本文使用多边体对4D空间进行量化。实验证明此STLN描述符能够取得较好的识别效果。针对特征袋(BoF)编码不能较好的描述特征空间布局信息,无法定位行为对象或抓取行为形态,从而导致识别精度低的问题,采用局部约束编码方法代替特征袋编码。此方法使用局部约束线性编码(LLC)标准代替特征袋编码来训练码本。LLC使用局部约束代替稀疏约束,从而可以得到局部光滑稀疏,解决大量计算时的优化过程,并且可以更好的描述4维特征空间信息。针对深度视频序列,建立一个完整的行为识别系统。首先,在深度视频序列上进行局部兴趣点检测。然后,使用4D局部法向量对兴趣点进行描述从而得到局部时空法向量特征(STLN)。其次,使用一种局部约束线性编码对得到的特征进行编码从而得到行为表示。最后,使用SVM对编码表示的行为进行识别。本文深入研究深度行为识别的特征描述。在公开的DHA、MSRAction3D、MSRDaily Activity3D深度数据库上进行实验,结果证明本文所提出的算法均能取得较好的识别效果。