自监督学习模型研究及应用

来源 :江南大学 | 被引量 : 0次 | 上传用户:a2009090720
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
有监督的深度神经网络模型在很多机器学习任务中拥有很好的表现,例如计算机视觉领域中的图像分类以及分割,自然语言处理领域的预训练语言模型、问答系统、情感分析。然而在对复杂数据进行处理时经常会遇到数据维度过大的问题,已有的一些深度模型虽然能够对复杂的图像或文本数据进行特征提取,从而获得低维的特征表示,但是却无法确保其提取的低维特征是对于其要解决的下游任务有用的语义信息。除了维度问题,传统的有监督的深度学习方法还面临着标注数据不足的问题。现实世界的数据有些标注代价过高,例如医学影像数据需要具有丰富临床经验的专业人士进行标注,其昂贵的标注代价限制了得医学影像分析的模型构建。自监督学习通过构造辅助任务可获得对下游任务相关的语义信息而无需额外的专业人士进行人工标注,其在计算机视觉,自然语言处理等领域均有很好的表现,是近年来AI领域热点。聚类分析是一种处理无标注数据的常用手段,其通过分析数据内在的分布结构对数据进行自然划分。然而受到数据维度的限制,其在处理高维度的复杂数据时,往往无法较好地对数据进行划分,因为数据维度过高,在原始数据空间中难以通过聚类中所用距离进行归类。图像合成问题也是一个重要的研究领域,特别是最近大热的GAN模型给这个领域带来了巨大的技术革新。然而现有生成模型往往需要其生成目标图像分布中的真实样本,而在一些领域难以获得真实图像。考虑到以上的问题,本文结合深度自动编码器和传统的软聚类算法,提出了无需标注的深度软聚类自监督模型。同时针对细胞成像问题,提出了一种基于自监督学习的合成图像模型。本文的主要贡献如下:(1)结合深度神经网络降维和软聚类,我们提出了一种基于自动编码器和软聚类结合的优化方法。我们使用自动编码器的编码器部分进行数据降维,对降维后的数据进行软分区聚类。使用软分配中的隶属度替换离散的硬分配对于同时优化整个网络的参数至关重要。它的结构也非常灵活。自编码器可以用其他网络结构代替,比如深度卷积神经网络,软聚类部分也可以使用多种基于隶属度的算法,比如FCM和MEC。当硬聚类与深度神经网络结合时,聚类中心和深度神经网络的参数不能同步更新。原因是硬分配是离散的,不能用梯度更新。我们的方法将聚类中心设置为变量,使其不再通过迭代更新,而是随深度神经网络的参数一起更新。该方法实现简单,可扩展性高。(2)针对细胞的信号合成图像问题,我们提出了一种基于自监督学习的图像合成方法,使其能使用一维的信号合成二维图像,且训练过成中无需Ground-truth图像,解决了传统的生成模型需要所生成图像真实分布中采样到的数据的问题。我们利用传统的图像调制方法设定了针对图像生成的自监督任务,使得网络能够学习到信号到图像映射的语义特征表示。我们将提出的方法应用到细胞图像合成的领域,实验结果表明我们的方法不仅能够从一维信号中还原出细节更丰富,噪声更少的细胞图像,而且算法耗时比传统的迭代的图象重构算法低很多。
其他文献
文章运用访谈法、参与观察法针对牡丹江市B小区的老旧社区改造现状进行了调查。基于调研所获资料,对牡丹江市B社区在老旧社区改造中存在的社区治理困境进行了归纳与梳理,从基层协商与监督、违建改造、居民公共性三个角度分析B社区当下所面临的治理困境,并从党建引领、民政互信、居民心理三个角度进行原因分析。“互联网+”技术的引入为老旧社区改造提供了新的活力,文章提出了构建老旧社区数字化社区治理平台、坚持党建引领长
长期以来,青少年体质健康问题已成为我国国民重点关注的问题之一,青少年是国家未来的希望,肩负着建设祖国的重任,因此必须要有良好的体魄来支撑。国家体育总局和教育部在《关于深化体教融合促进青少年健康发展的意见》中指出要聚焦解决儿童青少年体育发展问题。本文采用文献资料法、归纳分析法,通过对学校、家庭、社区、俱乐部等四个方面的协作来研究分析如何促进青少年体育发展和提高青少年体质健康,以期为我国青少年体育发展
随着新时代信息化技术的发展以及教育观念的转变,学科教学与信息技术的深度融合成为了提高教学效果的有效手段。“微型化”虚拟仿真3D动态模型应用于高中生物课堂教学,使微观生物知识“宏观化”、宏观知识“具象化”、抽象知识“形象化”、生理过程“动态化”,使生物的生命现象以逼真的“活的”形式呈现。虚拟仿真3D动态模型的应用,克服了传统教学以概念图、流程图、平面图、物理静态模型、GIF动画模型以及系统思维对生物
组织课堂活动时,教师要重视游戏教学的应用,倡导把教材知识和游戏教学结合起来,以幼儿的兴趣和天赋为导向,培养幼儿德智体美劳各方面的共同发展。本文从课堂中开展主题游戏、加强教学环节的游戏化设计、创设游戏教学情境等三个方面对游戏化在幼儿课堂教学活动中的应用进行阐述。
家庭累积风险是指个体在家庭微系统中遇到的可能增加其不良发展的各种风险因素。中学生极易受到风险因素的影响,从而产生包括手机成瘾等不良后果。因此,本研究采用家庭累积风险问卷、手机成瘾量表、领悟社会支持量表,对1414名来自长春、乌鲁木齐、济南地区的三所中学的学生进行了问卷调查,初步了解了中学生手机成瘾的当前状况,分析中学生手机成瘾在年级、生源地以及是否独生子女上的差异,探索家庭累积风险、领悟社会支持和
教学结构是指教师、学生、教学媒体(包括教 材、教具、信息技术等)诸多因素在参与教学活动中各自所扮演的角色、地位与作用以及彼此之间相互制约、相互作用、相互协调的内在关系。为此,本文结合小学语文教学展开研究,首先探讨了信息技术在结构优化中的意义,随后分析了优化的关键点,最后整理了几项实用性较高的小学语文结构教学信息化建设的策略,旨在借此进一步为小学语文教学质量提升起到促进作用。
在我国的社会经济发展中,房子是人们生活中的重要需求品,在按揭模式的支持下,房地产销售得到了快速的发展。与此同时,商业银行的个人住房贷款业务也得到快速的增长。虽然个人住房贷款业务涉及的金额相对企业贷款较低,业务产生逾期及违约时给银行带来的风险较小,但是该业务的合约周期长,风险控制难度增加,在一定业务量的累积下就会对银行运营产生较大的影响。为此,笔者就针对个人住房贷款风险识别为视角展开风险防范措施的研
全球范围内的能源变革加快了新能源电力系统的发展,大量以电力电子为并网接口的新能源装备逐步成为电力系统的主体。与传统同步发电机组不同,新能源装备的动态行为主要由控制策略决定,大规模新能源接入将全面深刻改变电力系统的动态特性。该文关注新能源装备接入所引发的电力系统暂态同步稳定问题,从装备和系统两个层面展开综述。在装备层面,从静态失稳和动态失稳两方面分析了新能源装备的暂态同步稳定性,总结了跟网型和构网型
<正>作者:潘文安出版社:浙江工商大学出版社ISBN:9787517833840出版时间:2020年12月定价:54元数字经济时代,电子商务已成为中国经济发展增长新引擎,也给社会民众消费带来了更多选择与便利。电子商务在中国的发展尤为迅速,不仅成为国民经济的支柱产业,而且还诞生了阿里巴巴、京东等电子商务头部企业。现代产业经济模式是高度分工与合作的经济模式,每一个企业都属于供应链上的一环,都须负责做好
期刊
<正>鼻粘膜细胞分布着大量的微细绒毛,可大大增加药物吸收的有效面积,且鼻粘膜下有丰富的血管和淋巴管,有利于药物透过粘膜直接吸收进入体循环,因此吸收迅速,起效快,还可有效避免肝脏的首过效应以及胃肠道酶的分解代谢作用。对于那些目前只能通过注射方式给药的生物大分子,如多肽、蛋白质、核酸等,亦可利用此途径发挥良好的疗效。鼻腔取材通常采用横断面切取,因为该切取面能够地展示出不同类型上皮细胞的变性及增生的病变
会议