论文部分内容阅读
智能家居、视频监控和人机交互一直是视觉领域研究的重点。行为识别作为智能家居和安防领域的重要任务,研究意义重大。目前,对于行为识别的研究主要集中在基于RGB视频特征的行为识别和基于骨骼特征的行为识别上。随着研究的不断深入,RGB视频特征和传统骨骼特征的局限性逐渐显露:RGB视频难以排除复杂背景的干扰而目前主流的骨骼获取设备笨重且昂贵。Kinect深度摄像是微软推出的一款能同时采集RGB视频、深度序列和骨骼数据的设备。该设备除了能获得普通的RGB数据,还能获得人体深度数据和质量可以接受的骨骼数据(得益于微软强大的机器学习技术)。 本文就如何通过多特征融合的方法进行人体行为识别展开了研究。所谓的多特征融合,指的是同时使用RGB视频输入,深度序列输入和骨骼输入中的两个或多个进行人体行为识别。研究的重点在于深度特征提取、骨骼特征提取以及融合方法的创新。基于RGB视频特征的行为识别研究已经较为成熟,研究者们也在不断的探索中获得了很多特征提取技巧,这些都可以为我们深度特征的设计提供参考。同样,传统的骨骼特征提取方式也可供借鉴。本文的第二章介绍了现阶段行为识别的研究状况,第三章介绍我们在深度数据集和骨骼数据集上提出的行为识别特征,第四章介绍了一种基于图模型的特征融合算法,第五章对我们提出的特征和特征融合算法进行了评估。