基于RGBD多模态特征的行为识别

来源 :浙江大学 | 被引量 : 0次 | 上传用户:persistence2005
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
智能家居、视频监控和人机交互一直是视觉领域研究的重点。行为识别作为智能家居和安防领域的重要任务,研究意义重大。目前,对于行为识别的研究主要集中在基于RGB视频特征的行为识别和基于骨骼特征的行为识别上。随着研究的不断深入,RGB视频特征和传统骨骼特征的局限性逐渐显露:RGB视频难以排除复杂背景的干扰而目前主流的骨骼获取设备笨重且昂贵。Kinect深度摄像是微软推出的一款能同时采集RGB视频、深度序列和骨骼数据的设备。该设备除了能获得普通的RGB数据,还能获得人体深度数据和质量可以接受的骨骼数据(得益于微软强大的机器学习技术)。  本文就如何通过多特征融合的方法进行人体行为识别展开了研究。所谓的多特征融合,指的是同时使用RGB视频输入,深度序列输入和骨骼输入中的两个或多个进行人体行为识别。研究的重点在于深度特征提取、骨骼特征提取以及融合方法的创新。基于RGB视频特征的行为识别研究已经较为成熟,研究者们也在不断的探索中获得了很多特征提取技巧,这些都可以为我们深度特征的设计提供参考。同样,传统的骨骼特征提取方式也可供借鉴。本文的第二章介绍了现阶段行为识别的研究状况,第三章介绍我们在深度数据集和骨骼数据集上提出的行为识别特征,第四章介绍了一种基于图模型的特征融合算法,第五章对我们提出的特征和特征融合算法进行了评估。
其他文献
得益于智能手机和可穿戴设备的发展,移动感知有了很大的突破,但还面临着许多挑战。可穿戴设备数据和接口的异构性、设备之间缺乏协同以及缺少数据汇聚平台等问题,都给感知应用的
伴随着机电产品复杂性的增加,传统的设计方法已经不再适用。为了实现高层次的复用、重构以及需求验证,系统设计成为了设计过程中的重要环节。控制系统和机械系统是机电产品中的
信息爆炸导致了过量信息资源,使得人们无法集中注意力去寻找对自己有价值的信息,而迷失在海量的信息资源里,这样会降低信息的使用效率。推荐系统因此产生。传统的推荐方法存在评
随着计算机技术的不断发展,增强现实已成为近年来计算机视觉领域的研究热点。与室内场景相比,室外场景具有景物几何复杂多样、阴影复杂、光照情况多变等特点,本文主要针对室外场
农业信息化极大的促进了农业生产力的发展,但是在这个过程中,出现了越来越多的信息孤岛。因此,如何重复而集成地应用这些信息是我们现在最关心的问题之一。要实现这个目标,首先必
基于包含的指向分析由于在分析精度上和时间开销上具有良好的平衡,得到了最为深入的研究,但是它的时间复杂度为O(n3),n为指向分析的变量总数。本文利用投机并行优化了约束求解过
目标跟踪技术是计算机视觉中最核心的研究课题之一,究其原因是目标跟踪技术在人们的日常生活和高端的军事领域有重要的作用,并且有广阔的应用前景。然而,由于场景中的光照变化、
我们中华民族创造了世界上灿烂的物质和文化文明,这是人类社会中的一大财富。我们发明的科举制度,影响着世界范围内优秀人才的选拔;制作的丝绸、种植的茶树、烧制的瓷器,影响着
随着网络技术的发展,WEB应用已经进入到了人们生活的各个行业。网络规模的增大和应用数量的增多给管理员带来越来越多的管理问题,不仅需要监控服务器本身是否正常启动运行,更多
个性化推荐系统作为信息过滤的有效工具越来越受人们关注。作为迄今为止最成功的推荐技术,协同过滤的核心首先是从用户对物品的评分中计算用户相似度或者物品相似度,进而基于相