随着社会的发展,人们更加关注生活质量的提高,第一视角行为识别为健康监测、家庭自动化、智能娱乐等领域提供了重要技术,吸引大量科研工作者投入其中。本文针对自然场景的各类行为类别,研究基于深度学习的第一视角行为识别方法,构建第一视角行为类别数据库,结合运动矢量与全局运动参数,解决第一视角行为识别问题。本文的主要研究内容如下:1.本文构建了第一视角日常行为识别数据库。在分析了日常生活中常见且有检测必要的行为类别之后,确定本文数据库的20类行为。该数据库包含不同场景、不同分辨率、不同光照以及头部和胸部两种视角的行为视频。此外,本文构建的数据库将作为后续章节研究第一视角行为识别算法的训练集和测试集,为本文算法准确率的提升奠定基础。2.本文研究一种基于时间多尺度的行为识别方法。针对不同行为类别的背景变化速率差异较大问题,本文构建了时间多尺度网络模型,通过三维反卷积扩展时间维度尺寸,并与对应的特征谱通道级联。最终在不同时间尺度下分别预测对应背景变化情况的行为,有效地捕捉不同行为类别的背景变化速率差异,提高了行为识别的准确率。3.本文研究了一种基于运动矢量的行为识别方法。通过提取压缩视频中的运动矢量,为卷积神经网络模型提供运动信息。同时,针对运动矢量较粗糙问题,本文运用特征融合的思想融合原始图像流特征与运动矢量特征,并改进现有的特征融合方法,以运动矢量特征加权到图像流特征,增强了融合后特征的表达能力,使得网络兼顾运行时间与准确率。4.本文研究了一种基于全局运动参数的行为识别方法。针对第一视角相机移动可能对行为识别造成干扰或者提供有用信息,本文采用六参数模型计算全局运动参数,并通过运用特征融合方法将全局运动参数特征加权到图像流特征,以此来解决第一视角行为的相机移动问题。实验结果表明了本文算法的有效性,并在一定程度上提高了行为识别的准确率。