在大数据时代,随着人们对高速、高质量视频信息的需求日益增长,智能视频分析技术显得越来越看重。人体行为分析是智能视频分析的关键技术之一,是计算机视觉研究领域的一个重要课题,具有非常大的研究价值和意义,其广泛地应用在智能视频监控、老年人监护、虚拟现实、运动分析等领域。现有的大多数人体行为识别方法都是针对图像或RGB视频的研究。然而,当在复杂的背景和噪声实际环境中时,这些方法存在严重的缺陷。随着价格低廉的Kinect出现,针对RGB-D(RGB-Depth)数据的人体行为识别研究已经成为计算机视觉和图像处理领域新的研究热点。本文主要针对Kinect获取的深度图和RGB图像,对人体行为识别展开研究。首先,在RGB视频序列中,为了减少RGB视频序列中复杂的背景对行为识别的影响,本文利用自动抠像的方法,提取RGB视频序列中的运动人体,准确提取运动人体是人体行为识别的前提。本文利用显著性检测作为先验知识来替代人工标注的三分图,提出了一种新的能量函数,判定该像素点是属于前景还是背景,该能量函数综合考虑了先验知识、颜色以及与图像中心的距离等对像素点判断的影响。其次,针对Histogram of Oriented Gradients(HOG)特征丢失了时间信息的问题,在HOG特征的基础上提出了 Histograms of Temporal Gradient(HTG)特征,该特征可以同时获得空间信息和时间信息,同时,提出了一种新的HTGHOG行为特征表示方法。首先,对深度图像或提取出的运动人体图像提取HTG特征;其次,为了使提取的特征更具有代表性,采用HOG特征方法提取HTG特征在整个时间序列上的特征;最后,为了使其能更好的区分不同时间顺序上的相似动作,构建了一个简单的时间分层结构,采用了基于核函数的极限学习机KELM(Kernel Extreme Learning Machine)来进行行为分类。实验结果表明本文提出的运动对象提取方法能较好地提取运动人体对象。同时,验证了本文提出的特征在深度视频序列和RGB视频序列上具有较好的分辨能力。该方法优于现有的大部分人体行为识别方法。