论文部分内容阅读
中国的蚕桑产业有着5000多年的悠久历史,是中国经济的重要支柱,在全世界具有至关重要的位置。21世纪以来,为了促进蚕桑和丝绸产业的发展,国家引导桑蚕产业不断提高机械化和智能化,提高产品质量和技术竞争力。我国蚕桑业大面积使用纸质方格蔟营茧,缫丝前实现方格蔟内下茧剔除和蚕茧自动采摘,是提高缫丝质量和产量的关键。本课题将机器视觉和卷积神经网络(Convolutional Neural Network,CNN)应用于蚕茧的分割、定位及分类中,为方格蔟蚕茧采收和筛选提供了理论依据和技术支撑。本文的主要研究工作如下:(1)研究基于FCM(Fuzzy C-means)聚类的方格蔟蚕茧分割与定位算法。通过FCM聚类、阈值分割、形态学处理及面积阈值滤波对方格蔟图像进行处理,完成复杂背景下方格蔟与蚕茧的图像分割,克服了茧衣对方格蔟蚕茧分割的不利影响。提出蚕茧视觉测量及定位算法,通过相机标定及多点均值算法,对蚕茧进行定位,为采茧机提供精确的蚕茧中心位置坐标。通过直角坐标自动采茧机对方格蔟蚕茧进行分割与定位试验,蚕茧分割平均识别率为96.88%,蚕茧位置坐标最大定位误差为4 mm,满足蚕茧采摘机械进行蚕茧定位采摘的精度要求。(2)基于HSV颜色空间进行蚕茧图像特征分析并提出了基于颜色直方图和面积阈值的黄斑茧检测算法。将蚕茧的原始图像由RGB颜色空间转换到HSV颜色空间并建立蚕茧的HSV颜色直方图。分析了方格蔟内各类下茧与上车茧在HSV颜色直方图的各分量差异,除黄斑茧以外,薄皮茧、瘪茧、双宫茧、口茧、油茧和霉茧等其他下茧仅根据颜色占比不能与上车茧有效区分,分类算法需要对颜色占比、颜色分布、面积阈值及边缘特征等多样化特征进行提取才能对上车茧和下茧有效分类。针对黄斑茧提出了基于颜色直方图和面积阈值的算法,将Hm-S2分量在H3、H4、H5的像素比例量值总和与黄斑颜色阈值比例T的大小关系作为判定标准。对算法进行试验,得到方格蔟黄斑茧的平均检出率为80.7%。(3)基于迁移学习和浅层激活特征可视化构建CNN蚕茧分类模型。CNN模型可以通过多层卷积运算有效提取不同种类蚕茧的颜色特征和边缘特征信息,并能获取图像的细微差别,因此能够实现对方格蔟内上车茧和各类下茧的有效分类。使用蚕茧样本集对AlexNet和VGG-19进行迁移学习,将源领域(ImageNet)训练样本获得的权值参数作为模型的初始值,根据蚕茧样本的目标任务对模型进行参数的微调。训练中采用逐层反向传播算法、带动量的随机梯度下降算法和2L正则化等训练策略。由训练结果可知,AlexNet和VGG-19对上车茧和下茧均能进行有效的分类:AlexNet和VGG-19对上车茧的分类正确率(TPR)均为98.3%;对于下茧的检出率VGG-19为81.5%,AlexNet为69.1%;MCC系数分别为81.2%和73.0%,VGG-19分类准确率高出8.2个百分点。进一步对浅层卷积核激活特征进行可视化分析,AlexNet的浅层卷积层中存在多个不能激活图像特征的卷积核,VGG-19的浅层卷积层中所有卷积核均能够不同程度的激活图像特征,并且所激活的颜色和边缘特征对原图的表达力更强。可视化结果表明小尺寸和小步长的卷积核提取的蚕茧颜色和边缘特征更丰富,故VGG-19更适合作为蚕茧分类的模型。(4)利用数据增强和贝叶斯超参数优化算法,提升CNN模型的蚕茧分类性能。结合蚕茧图像特点和不同数据增强方式的试验分析结果,分别找出适合上车茧和下茧的数据增强方式,扩充样本集数量并缓解类不平衡问题。数据增强后共有上车茧样本8421个、下茧样本2152个,多数类和少数类比值降到了3.91:1。对初始学习速率η、SGD算法中的动量参数v和L2正则化系数α等超参数进行了寻优。根据贝叶斯原理,选择验证集误差作为目标函数,将高斯过程分布作为目标函数的先验分布,确定EI采集函数,将先验分布与样本信息综合,求得目标函数的后验分布,利用后验信息确定超参数的最优值。为了避免在贝叶斯优化过程中陷入局部最小值区域,通过增加方差判据,对EI采集函数进行了优化。使用数据增强样本集和贝叶斯算法优化后的超参数对VGG-19模型训练,验证集分类的整体准确率为97.1%,对下茧的检出率(TNR)为96.1%,对上车茧的分类正确率(TPR)为99.8%。在泛化试验中,对下茧的检出率(TNR)为98%,对上车茧的分类正确率(TPR)为92.3%。对比原数据集训练的模型和非最优超参数的模型,优化后模型验证集和泛化性试验各训练指标均有提高,满足缫丝生产对蚕茧质量的要求,可见本文采用的数据增强方式和超参数优化算法,有效提高了CNN模型对蚕茧分类的准确率和泛化性。