论文部分内容阅读
随着图像和文本等数据的处理向深度学习等智能算法的方向不断深入发展，涌现出了如卷积神经网络、循环神经网络、生成对抗网络等基于深度神经网络的机器学习算法。近年出现的胶囊网络（Capsule Networks）作为这类智能处理算法最新研究方向的代表之一，成为了本领域的研究热点。
胶囊网络是一种新兴的神经网络结构，该结构的特点是能够在较少数据样本时提升分类准确率。然而与传统的卷积神经网络相比，它的特征神经元数量较多，导致计算效率较差。本论文通过分析胶囊网络与传统的卷积神经网络的异同点，发现适用于传统神经网络的模型压缩方式无法直接用于胶囊网络。这阻碍了胶囊网络的结构往深层次堆叠的方向发展。
本论文从胶囊网络的模型压缩处理和数据降维处理入手，将胶囊网络用于优化计算机视觉中的目标识别任务与用户画像中的属性分析任务，主要研究工作如下。
（1）针对胶囊网络的计算效率偏低的问题，提出了以计算能量效率的方式来分析胶囊网络的整体结构，得出胶囊网络的能耗热区在原始胶囊层的结论。根据该结论，结合胶囊网络的结构特点提出了基于能量效率与实例化参数的胶囊网络压缩算法IPC-CapsNet。该算法能够在保持模型分类准确率的同时压缩模型参数的规模，从而改善计算效率。
本论文在标准数据集MNIST、Fashion-MNIST与人脸识别数据集UMIST上进行了实验，获得了以下的实验结果：在MNIST数据集上获得了模型压缩率为9.4%时top-1分类准确率为97.01%、加速率为40%的结果。在Fashion-MNIST数据集上获得了模型压缩率为6.3%时top-1分类准确率为86.31%、加速率为36%的结果。在UMIST数据集上获得了模型压缩率为6.3%时top-1分类准确率为80.21%、加速率为47%的结果。实验结果表明，论文提出的IPC-CapsNet模型压缩算法能够在保持分类准确率的同时，获得较好的模型压缩率与计算性能加速率。
（2）为了解决“维度灾难”引出的数据降维问题，本论文提出了一种基于快速K值选择的降维算法FSLLE，使用经由该降维算法处理后的样本数据集进行训练，能够提高模型的收敛性能。
本论文将降维算法FSLLE与IPC-CapsNet算法结合，在人脸识别数据集UMIST进行了实验。与PCA、ISOMAP、LLE、LTSA、Laplacian Eigenmaps降维算法进行了数据可分性的实验比较，FSLLE算法在实验中取得最优可分性评价。与IPC-CapsNet结合的人脸识别实验中，使用经过FSLLE算法降维后的样本数据集训练，在100轮迭代后达到了76.41%的分类准确率，比经典LLE算法提高了22.1%。实验结果表明，该算法在数据降维效果与数据降维的计算效率中取得较好的平衡，模型收敛性能得到了提升。
（3）道路监控中的车型识别任务存在车型样本尺度变化较大以及运行速度要求较高的问题。本论文结合IPC-CapsNet算法与FSLLE算法提出了基于多尺度胶囊网络的目标识别算法MS-CapsNet-R-CNN。该算法能够在满足运行速度的前提下，提高车型识别的准确率。
本论文在标准数据集PASCAL VOC2007、PASCAL VOC2012和车型识别数据集BIT-Vehicle上进行了实验。在PASCAL VOC2007上获得了平均识别率55%的结果，分别领先R-CNN网络模型15.29%、领先Faster R-CNN网络模型0.73%。在PASCAL VOC2012上获得了平均识别率48.98%的结果，分别比R-CNN网络模型提高13.99%，比Faster R-CNN网络模型提高0.75%。在运行速度上，获得了每张图片平均处理时间为0.286秒的结果，比Faster R-CNN网络模型快0.008秒。在BIT-Vehicle数据集上，采用多尺度胶囊网络的结构获得了74.56%的平均识别率，比采用单一尺度胶囊网络结构提升7.15%的平均识别率。实验分析表明在目标识别任务中，本论文提出的算法MS-CapsNet-R-CNN拥有较好的平均识别率，在车型识别任务中多尺度网络模型优于单一尺度输入的网络模型，可进一步提升平均识别率。
（4）针对微博用户属性分析中性别分类问题，本论文首先通过迁移学习为微博数据标注情感标签，然后结合IPC-CapsNet与FSLLE算法提出了一种基于情感分析的胶囊网络性别分类算法SPT-CapsNet。通过与Logistic Regression、Random Forest、Support Vector Machine、BPNN分类器进行了性别分类的实验比较，SPT-CapsNet算法取得了最好的效果，获得了性别分类准确率为85.59%，比BPNN性别分类算法提升了2.7%。实验结构表明，SPT-CapsNet算法在微博数据上有较好性别分类准确率。
在目标识别任务与用户属性分类任务中，本论文提出的胶囊网络模型压缩算法IPC-CapsNet与数据降维算法FSLLE能够在保持较高准确率的同时进行模型压缩与数据降维的处理，提高了运行速度，保持了分类准确率与计算效率的平衡，从而扩展了胶囊网络的应用领域与适用范围。
胶囊网络是一种新兴的神经网络结构，该结构的特点是能够在较少数据样本时提升分类准确率。然而与传统的卷积神经网络相比，它的特征神经元数量较多，导致计算效率较差。本论文通过分析胶囊网络与传统的卷积神经网络的异同点，发现适用于传统神经网络的模型压缩方式无法直接用于胶囊网络。这阻碍了胶囊网络的结构往深层次堆叠的方向发展。
本论文从胶囊网络的模型压缩处理和数据降维处理入手，将胶囊网络用于优化计算机视觉中的目标识别任务与用户画像中的属性分析任务，主要研究工作如下。
（1）针对胶囊网络的计算效率偏低的问题，提出了以计算能量效率的方式来分析胶囊网络的整体结构，得出胶囊网络的能耗热区在原始胶囊层的结论。根据该结论，结合胶囊网络的结构特点提出了基于能量效率与实例化参数的胶囊网络压缩算法IPC-CapsNet。该算法能够在保持模型分类准确率的同时压缩模型参数的规模，从而改善计算效率。
本论文在标准数据集MNIST、Fashion-MNIST与人脸识别数据集UMIST上进行了实验，获得了以下的实验结果：在MNIST数据集上获得了模型压缩率为9.4%时top-1分类准确率为97.01%、加速率为40%的结果。在Fashion-MNIST数据集上获得了模型压缩率为6.3%时top-1分类准确率为86.31%、加速率为36%的结果。在UMIST数据集上获得了模型压缩率为6.3%时top-1分类准确率为80.21%、加速率为47%的结果。实验结果表明，论文提出的IPC-CapsNet模型压缩算法能够在保持分类准确率的同时，获得较好的模型压缩率与计算性能加速率。
（2）为了解决“维度灾难”引出的数据降维问题，本论文提出了一种基于快速K值选择的降维算法FSLLE，使用经由该降维算法处理后的样本数据集进行训练，能够提高模型的收敛性能。
本论文将降维算法FSLLE与IPC-CapsNet算法结合，在人脸识别数据集UMIST进行了实验。与PCA、ISOMAP、LLE、LTSA、Laplacian Eigenmaps降维算法进行了数据可分性的实验比较，FSLLE算法在实验中取得最优可分性评价。与IPC-CapsNet结合的人脸识别实验中，使用经过FSLLE算法降维后的样本数据集训练，在100轮迭代后达到了76.41%的分类准确率，比经典LLE算法提高了22.1%。实验结果表明，该算法在数据降维效果与数据降维的计算效率中取得较好的平衡，模型收敛性能得到了提升。
（3）道路监控中的车型识别任务存在车型样本尺度变化较大以及运行速度要求较高的问题。本论文结合IPC-CapsNet算法与FSLLE算法提出了基于多尺度胶囊网络的目标识别算法MS-CapsNet-R-CNN。该算法能够在满足运行速度的前提下，提高车型识别的准确率。
本论文在标准数据集PASCAL VOC2007、PASCAL VOC2012和车型识别数据集BIT-Vehicle上进行了实验。在PASCAL VOC2007上获得了平均识别率55%的结果，分别领先R-CNN网络模型15.29%、领先Faster R-CNN网络模型0.73%。在PASCAL VOC2012上获得了平均识别率48.98%的结果，分别比R-CNN网络模型提高13.99%，比Faster R-CNN网络模型提高0.75%。在运行速度上，获得了每张图片平均处理时间为0.286秒的结果，比Faster R-CNN网络模型快0.008秒。在BIT-Vehicle数据集上，采用多尺度胶囊网络的结构获得了74.56%的平均识别率，比采用单一尺度胶囊网络结构提升7.15%的平均识别率。实验分析表明在目标识别任务中，本论文提出的算法MS-CapsNet-R-CNN拥有较好的平均识别率，在车型识别任务中多尺度网络模型优于单一尺度输入的网络模型，可进一步提升平均识别率。
（4）针对微博用户属性分析中性别分类问题，本论文首先通过迁移学习为微博数据标注情感标签，然后结合IPC-CapsNet与FSLLE算法提出了一种基于情感分析的胶囊网络性别分类算法SPT-CapsNet。通过与Logistic Regression、Random Forest、Support Vector Machine、BPNN分类器进行了性别分类的实验比较，SPT-CapsNet算法取得了最好的效果，获得了性别分类准确率为85.59%，比BPNN性别分类算法提升了2.7%。实验结构表明，SPT-CapsNet算法在微博数据上有较好性别分类准确率。
在目标识别任务与用户属性分类任务中，本论文提出的胶囊网络模型压缩算法IPC-CapsNet与数据降维算法FSLLE能够在保持较高准确率的同时进行模型压缩与数据降维的处理，提高了运行速度，保持了分类准确率与计算效率的平衡，从而扩展了胶囊网络的应用领域与适用范围。