司机行为识别是人体行为识别的一个应用场景。在行车途中,司机的驾驶行为是否符合安全规范直接关系到全车人的人身安全,所以对司机进行视频监控是一项重要的安防措施。传统的行为识别方法需要手工设计目标特征,并通过特定的方法提取特征。深度神经网络因为具有自学习的特性,所以拥有更大的自由度去自动提取数据中的有效信息。深度学习与人体行为识别的结合,推动了相关技术和应用的发展。本文主要针对公交车司机驾驶行为的应用场景,分析实拍采集的真实视频数据,对数据进行必要的预处理,采用深度神经网络模型提取数据特征、识别数据类别,以此展开对司机行为识别的研究和实现,主要工作包括:(1)针对视频拍摄时的行车速度对视频进行初步筛选。通过视频画面中的字幕信息,用模板匹配的方法识别出视频拍摄时的行车速度,速度小于阈值的视频不再继续进行检测。(2)提出一种通过检测方向盘进而定位出司机的位置的方案。通过实验分析发现,画面中的方向盘和司机之间的相对位置稳定,具有目标小、圆弧特征突出的优势,采用梯度方向直方图作为特征描述子、支持向量机作为分类模型,并使用多尺度检测算法和筛选方法,能够很好地检测到方向盘区域,并通过扩展方向盘区域得到司机画面区域。(3)提出深度的VGG16-Bi LSTM司机行为识别模型。使用深度卷积神经网络提取帧图片的特征,并把特征按顺序送入双向长短期记忆模型,识别视频的类别。实验表明,本文提出的模型在时间和空间上都具有深度,与浅层的识别模型相比具有更好的识别效果。为满足课题的误报率特殊指标的需求,本文对模型输出的结果向量进行了阈值化处理,获得了误报率的下降。(4)基于以上研究和工作,实现了一套司机违章行为检测系统,适用于对车载监控视频进行抽查送检的方式,集中在远程的监控平台非实时地对司机行为进行检测,可以减少前端摄像机硬件的制作成本,降低推广难度。通过理论分析和实验验证,系统能够良好地识别送检视频,应用到车载视频监控中可以对司机起到监督作用,并且智能识别能在监控平台帮助减少人力劳作。