论文部分内容阅读
人工智能作为如今发展前景广阔、研究人数众多的领域,一定程度上研究手势识别,能够保障听障人群的学习工作和生活,促进社会和谐发展,具有重要的社会现实意义。另一方面,人工智能技术在近年来的迅猛发展,极大促进了现代人科技生活的进步,其中包括了更为智能便捷的人机交互方式,例如利用手势,语音等来控制生活中常用的电子产品。本文的研究内容是基于卷积神经网络和循环神经网络的手势识别及改进算法优化,将视频数据处理成含有动态信息的图片数据库,围绕卷积神经网络和循环神经网络来进行优化,得到的识别结果进行对比,因此主要是神经网络与数据处理的综合应用。本文首先利用手机相机作为数据采集器,将获得的彩色图像信息,作为原始数据,结合图像处理,研究图像特征,构建手语识别数据库。然后研究静态手语的识别,主要介绍了SVM和改进SVM的数学原理和依据,从数据的分割和HOG特征提取开始构建静态SVM手语识别框架,选取Sigmoid函数为核函数,优化乘子的取值及优化后阈值的更新,针对这个本文使用元启发式搜索算法对SVM的优化算法SMO进行改进,实现参数的智能的选取通过实验对比,验证了改进后的SVM网络相比较原来的SVM,不管是在识别率还是识别耗时都得到了改善。最后研究动态手语的识别,基于神经网络识别算法研究及改进方法的研究,对于卷积神经网络和循环神经网络相结合的模型来说,改进了3D卷积神经网络与LSTM神经网络相结合的神经网络进行识别,由于LSTM网络能够很好的处理时序性的问题,LSTM网络在实际的应用中有许多的变种,神经网络中的激活函数也有许多种。本文在三维(3D)卷积与循环神经网络相结合的基础之上,将3D卷积网络中的ReLU激活函数改为PReLU激活函数,同时,将LSTM网络的单元结构做一些改进。并用拍摄的数据集进行训练,与之前的3D卷积神经网络进行对比性能和效果都得到一定的提升。同时也在改进的3D卷积神经网络和RNN神经网络相结合的神经网络进行识别,在CNN加入BN层,BN有快速收敛的特性,在改进的RNN中,循环输入用Hadamard乘积处理,相较于之前的3D卷积神经网络模型、3D卷积神经网络和长短时循环神经网络相结合的模型以及改进后的3D卷积神经网络和长短时循环神经网络相结合的模型实验结果,改进的3D卷积神经网络和RNN神经网络模型在收敛的很快,避免了梯度爆炸的同时识别准确率得到了提升,改进后的准确率达到92.5%,召回率达到0.846。