论文部分内容阅读
随着人工智能的发展,以人为主体的智能识别研究成为了计算机领域的热门方向,且研究成果已逐渐应用于日常生活中,如人脸识别、表情识别、物体检测等等。表情识别作为一种智能检测人类情绪的方式自然也引起了广泛的关注和研究,但是目前的研究大多是以成人为主体。而婴儿阶段作为人类最重要的阶段,语言表达能力尚未完善,对婴儿情绪和状态的判断仅能通过面部表情和肢体动作。若能实现对婴儿表情的智能识别,将能在婴儿的看护、培育、健康检测等诸多方面带来极大便利。本文以婴儿表情识别为课题,主要研究内容分为以下几点:第一,建立了适用于本文分类研究的婴儿表情库。由于目前国内外表情库大多为成人表情图片或序列,且婴儿面部特征与成人存在很大区别。因此,本文采用从互联网采集图片的方式,对采集的图片进行了相应预处理和数据增强,最终建立了适用于本文研究的婴儿表情库,该表情库图片分为四类:高兴、哭泣、平静、睡觉。第二,对现有局部二值模式LBP(Local Binary Pattern)算子进行了改进。针对本文表情数据来自于互联网,具有光照和噪声复杂的特殊性,本文对现有的LBP算子进行了改进。并经实验证明,该算子与传统的LBP算子相比,更能凸显婴儿面部特征,且对光照和噪声具有更好的鲁棒性。第三,采用深度学习的方法对婴儿表情进行识别,并提出了一种结合浅层网络与深度网络的双通道模型。本文对婴儿表情识别的研究分为三个部分:基于浅层网络、基于深度网络以及结合两种模型的双通道网络。浅层网络部分引入了LBP特征图,使得网络性能提升了近十个百分点,识别率最高为82.6%;深层网络部分,首先对经典的图片识别网络VGGNet进行微调,使其适用于本文婴儿表情的识别,并达到最高为87.3%的准确率;双通道网络模型部分,将前两种网络进行特征融合,将准确率进一步提升至了91.6%。第四,应用一种新型的二阶卷积神经网络进行婴儿表情识别。由于卷积神经网络仅提取了图像的一阶特征,近年来深度学习中关于图像二阶特征的应用越来越多,且部分研究表明,其性能优于一阶特征。所以,本文进一步采用了二阶卷积神经网络对婴儿表情识别进行研究,并针对应用过程存在的问题对模型进行了进一步改进。