基于视觉的动作识别与检测方法是目标行为理解的基础,对于提升智能无人系统的人机协同协作能力与智能化水平具有重要意义。传统的动作识别与检测方法大多依赖于手工设计的特征,这种特征仅能够表征浅层局部信息,缺乏对全局语义和时域序贯信息的表征能力。本文以基于多层视觉特征的动作识别与检测方法为研究对象,着眼利用卷积网络的特征学习与提取能力,充分融合时域、空域和语义信息,以提升动作识别与检测的准确率。本文的主要工作和创新点如下:1.改进了一种基于卷积神经网络的人体关键点检测方法,通过加深网络层次提升了该算法对人体关键点的检测定位精度,并通过在Penn数据库上的测试,验证了改进的关键点检测方法的性能。进一步地,结合关键点亲合场对关键点进行连接,并对多目标姿态进行解析。基于姿态解析结果,提出了一种应用于“人车跟随”系统中的待跟踪目标初始化方法。在实车采集的数据上进行的测试,验证了该方法的有效性。2.提出了一种新的基于多层特征融合的动作识别方法。该方法面向已裁剪的视频片段,以一种新的特征融合与特征编码层为核心,融合连续多帧图像的表观信息、帧间运动流场信息,并以本文提出的姿态运动轨迹为牵引进行特征编码,进而计算得到用于分类的视频表示特征向量,并利用支持向量机进行分类。通过在KTH数据库、Penn数据库、HMDB-51数据库和UCF-101数据库等开源数据库上的实验,验证了本文方法的有效性。3.提出了一种新颖的卷积方法,并利用该卷积方法改进了一种三维卷积网络结构。利用多层网络的动作检测框架完成对未裁剪视频的时域动作检测,更进一步地,结合待检测视频的帧间运动流场,对输入数据进行增强,进一步提升了检测算法的准确率。并通过在THOMUS-2014开源数据库上的实验,验证了该改进方法的有效性。