随着物联网技术的发展,在物联网系统中的视频流量将会呈指数增长趋势。视频中包含的人脸信息,也会随之大大增加。利用边缘设备识别视频中的人脸信息,逐渐成为科技界的发展趋势。由于边缘设备的资源有限,如何在资源受限的设备中完成人脸检测与识别,是一个具有重要理论意义与工程应用价值的研究方向。针对视频的相邻帧中存在冗余信息的问题,本文提出了一种基于d Hash算法与图像分块技术结合的双阈值关键帧提取算法。该算法结合了d Hash算法与图像分块技术,通过双阈值的设置,能够提高d Hash算法的关键帧提取准确性。该算法在资源受限的设备中部署时,关键帧提取精度能够达到90%以上,且每一帧的处理时间小于10ms,达到了关键帧提取精度与速度的平衡。在提取的每一个关键帧中完成人脸检测与识别的过程。针对基于神经网络的人脸检测算法精度不够高、计算量过大、网络参数众多的问题,本文首先改进了基于CNN的MTCNN人脸检测框架,利用批量归一化、残差网络与SE网络的思想重建网络,提出了IMTCNN方案,在MTCNN方案的基础上进一步提高人脸检测的准确性。然后通过网络修整、改变输入维度的方法改造IMTCNN网络,提出了Mobile MTCNN方案。相比于IMTCNN,其三个子网络P-Net、R-Net与O-Net所需的浮点运算次数下降了14%、40%和70%,精度仅下降1.3%,并减少了20%以上的时间消耗。轻量级网络Mobile Net存在减少网络中卷积核数目时准确率下降严重的问题。为此,在人脸识别算法的研究中,本文利用分支网络结合残差网络与SE网络的思想,设计了Mobile-Inception结构与Mobile-Resnet结构,并利用卷积层代替池化层,重构了Mobile Net网络,提出IMobile Net-Small网络结构,其准确率比Mobile Net-0.5提高了0.9%,参数量仅为Mobile Net-0.5的40%,部署在资源受限的设备中时,所需时间减少1/3以上。本文利用RK3399开发板作为资源受限的设备,对基于d Hash与图像分块的双阈值关键帧提取算法、Mobile MTCNN人脸检测算法与基于IMobile Net-Small网络的人脸识别算法进行了测试,测试结果表明本文提出的算法能够适应视频中复杂的背景变化与光照变化,能在各种不同环境中达到预期效果。最后在会议场景中展示了关键人物注册、人脸检测、人脸识别、关键人物添加马赛克等功能。