【摘 要】
:
近年来监督学习结合神经网络的方法被广泛地应用到各个领域。但是其表现效果极大地依赖于数据集的质量,而现有大规模数据收集方法存在不确定性,导致了实际生产生活中常见的数据集往往包含噪声标签。噪声标签的存在会造成模型复杂度的增加、分类精度的下降等负面影响。本文针对上述问题分别从数据过滤、模型构建、损失函数鲁棒性三个方面,结合深度学习技术进行了研究。本文提出了基于模型微调的含噪数据集加权校正训练方法。利用少
【基金项目】
:
通信网信息传输与分发技术重点实验室基金课题HHX21641X003;
论文部分内容阅读
近年来监督学习结合神经网络的方法被广泛地应用到各个领域。但是其表现效果极大地依赖于数据集的质量,而现有大规模数据收集方法存在不确定性,导致了实际生产生活中常见的数据集往往包含噪声标签。噪声标签的存在会造成模型复杂度的增加、分类精度的下降等负面影响。本文针对上述问题分别从数据过滤、模型构建、损失函数鲁棒性三个方面,结合深度学习技术进行了研究。本文提出了基于模型微调的含噪数据集加权校正训练方法。利用少量干净样本,评估已有深度学习模型对不同类别样本的分类准确程度,并以此为依据指导模型微调优化。使用加权校正训练方法在三层卷积神经网络、VGG16、ResNet50模型上执行分类任务,其效果增益为1%~8%,与加权校正流程中使用的样本规模相关。本文提出了基于二重区间内随机阈值的噪声标签过滤算法。依据深度学习中模型早期对干净样本学习能力较强的特点,利用损失函数值完成干净样本和噪声样本划分。通过多次随机阈值的划分方式模糊了阈值的界线,减少了单一固定阈值导致的不确定性。通过样本的损失值差异进行阈值区间的确定,相较人为指定的一重区间,二重区间的分类结果更具有稳定性和可靠性。实验结果表明,该方法在平均噪声率下相较一重区间内随机阈值和固定阈值的方法平均精确率提升1.5%~7.3%。本文提出了分段动态缩放损失函数。将深度学习模型鲁棒性的研究聚焦到损失函数本身的鲁棒性上,依据干净样本损失值与噪声样本损失值不同的特点,将损失值较小的样本看作疑似干净样本,损失值较大的样本看作疑似噪声样本。并针对损失值进行不同处理,具体来说,疑似干净样本损失值保留,疑似噪声样本损失值利用缩放因子进行缩减以减少噪声样本对模型训练的影响。同时,充分考虑在训练后期噪声样本的学习情况,动态调整该段损失值的缩放因子。实验结果表明,该方法在规模较小的深度神经网络,如三层卷积神经网络训练噪声率为0.3至0.5的数据集时表现最好,提升效果为0.16%~0.8%。最后,基于上述研究内容本文通过分析和实验研究了上述优化点的组合性能及适用场景。上述优化点组合在实验中均取得较好效果,当噪声率为0.6时模型分类准确率最高可提升17.06%。
其他文献
据中国汽车工业协会统计,2021年1-8月,汽车销售1655.6万辆,同比增长13.7%.其中商用车销售344.4万辆,同比增长5.5%.rn1-8月,卡车销售311.1万辆,同比增长3.34%.其中:重型卡车销售117.4万辆,同比增长8.12%;中型卡车销售12.8万辆,同比增长30.98%;轻型卡车销售145.6万辆,同比增长5.11%;微型卡车销售35.3万辆,同比增长-20.11%.
2021年8月20日,由天津市交通运输委组织推动实施的全市首个氢能运输示范应用场景——荣程众和自用氢能源项目落成启用.5辆氢燃料电池重卡加注氢燃料后,随即往返30 km外的天津港运送铁矿石,完成了氢能绿色运输首次任务.
日前,梅赛德斯-奔驰推出全新Citan厢式货车,该车提供Panel Van和Tourer 2种版本.值得一提的是,eCitan纯电版将于2022年下半年推出,该车预计续航285 km并具有快充功能,可在40 min内将电池电量从10%充电至80%.
2021年9月8日,经重庆两江新区市场监督管理局核准,“上汽依维柯红岩商用车有限公司”正式更名为“上汽红岩汽车有限公司”.rn2021年1月4日,上海柴油机股份有限公司(简称:上柴股份)发布公告称,上柴股份拟以发行股份的方式,购买上海汽车集团股份有限公司(简称:上汽集团)持有的上汽依维柯红岩商用车有限公司(简称:上汽红岩)56.96%股权及上汽依维柯商用车投资有限公司(简称:上依投)50%股权,购买重庆机电控股(集团)公司(简称:重庆机电)持有的上汽红岩34%股权及上汽菲亚特红岩动力总成有限公司(简称:上
2021年8月17日,在潍柴大马力蓝擎高端发动机生产基地,潍柴重磅宣布第40万台国Ⅵ发动机下线交付.这是继2020年11月潍柴第20万台国Ⅵ动力下线,又一里程碑时刻,标志着潍柴全系列全领域国Ⅵ产品全面发力,取得了历史性新突破.
随着飞行自组织网络、短时突发通信、卫星通信等理论的进步和发展,广域捷变场景下节点间的通信日益受到关注。在此场景下,节点间载波同步的性能决定了系统的解调和译码准确率。然而,广域捷变场景下载波同步技术的实现面临信噪比低、载波频偏大、数据帧长度较短的挑战。本文对在低信噪比情况下,设计载波同步算法利用较小的导频开销提高频偏估计的范围和精度进行了深入研究,提出了面向此场景的频偏估计算法。本文的创新如下:针对
陕汽(陕西汽车控股集团有限公司、陕西重型汽车有限公司的简称)的前身是陕西汽车制造厂,于1968年奠基兴建,1970年建成并成功试制出第一辆“延安”SX250型重型军用越野车,彻底结束了我军“有炮无车”的历史.
近日,安徽威佳汽车零部件有限公司、大连固特异有限公司与江苏建康新能源汽车公司签署3方战略合作协议.rn根据协议,安徽威佳汽车零部件有限公司和大连固特异轮胎有限公司将为建康汽车获得的阿根廷新能源公交车项目提供威佳空气弹簧和固特异轮胎等产品与技术支持.3方将开展更为深入全面的合作,共同为阿根廷新能源公交车项目保驾护航.
2021年8月14日,我国首条百辆级别市场化运营氢能重卡运输线——容易路氢能重卡示范线投运仪式在保定举行.该示范线投运的氢能重卡规模达100辆,搭载的是长城旗下未势能源完全自主研发的百千瓦级大功率燃料电池系统,产品综合性能指标及安全性能等级均可比肩于国际先进水平.
2021年8月18日,比亚迪携手英国巴士制造商Alexander Dennis(ADL)向奥克兰交通局交付首辆BYD ADL Enviro200EV XLB大型三轴纯电动大巴.该批大巴搭载了比亚迪的底盘技术,由ADL在新西兰的合作伙伴Kiwi Bus Builders负责在当地组装,未来将助力新西兰完成2035年打造无碳纯电动大巴车队的计划.