基于生成对抗网络的表情合成研究

来源 :汕头大学 | 被引量 : 0次 | 上传用户:js_wjj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
个性化教育是当今国内外高等教育的研究热点,而个性化教育的成功有赖于对培养对象综合素质的有效评估和制定相对应的个性化培养方案,因此培养对象综合素质的有效评估成为关键之一,而通过长时间评估与分析被测对象的表情情绪变化可推演其综合素质,其中基于深度学习的表情识别算法逐渐崭露头角。到目前为止,深度学习表情识别算法的准确性有赖于数据集的数量、质量以及个性化程度。但是,从图像采集到专家标注的传统表情数据集的创建方法存在经济成本高、耗时长且难以规避标注的主观因素影响等难题。研究表明,更丰富的个性化表情数据集可以有效提升识别准确度,而表情合成针对传统数据集创建方法的不足,提供了一种能够创建个性化数据集的有效途径。在表情合成的研究中,对合成图像的真实性和自然感的把控,始终是该研究领域的一大难点,同时表情合成的研究还存在对设备要求高,目标图像的身份信息与样本库图像的表情信息的缺失,合成数据真实性的量化验证不明晰等问题。为此,本文在完成数据预处理的基础上,重点开展以下三个方面的研究:(1)基于渐进式生成对抗网络的身份特征与表情特征分离。针对身份特征与表情特征两大类特征存在分离不彻底的问题,采用渐进式生成对抗网络,生成不同分辨率层级图像,构建此图像的反馈网络,并获取了各个分辨率层生成图像所对应的特征潜码,实现表情图像中身份特征与表情特征的分离,提高人脸属性编辑的精确度。(2)基于样式生成对抗网络的表情合成。针对合成图像信息扭曲和缺失等问题,采用Style GAN2网络模型,将目标人脸图像中表征其身份信息的潜码与源表情图像中表征其表情信息的潜码,进行两类特征潜码的融合,并依据融合结果所指引的图像生成方向,生成融合特定表情的目标人脸图像,保证合成图像与原始图像身份信息的一致性。(3)合成图像真实性的量化验证。针对合成图像的客观量化验证指标不清晰的难题,利用验证数据集的原始图像与对应的合成图像,采用SSIM评估、FID距离以及问卷打分的方法进行真实感验证,得到合成图像与原始图像的相似度,从而验证了图像的真实性与合成方法的有效性。在CK+数据集上的实验验证结果表明,基于本文的表情合成方法在六大类常规表情上的表现为:合成图像与原图像在SSIM相似度上得分平均值为90.31,FID平均距离为39.78。同时对于开心、惊讶等动作幅度大的表情有更好的合成效果,其合成图像与原图像的SSIM相似度最高得分为96.35,FID最小距离为34.51。
其他文献
拓扑大数据分析(简称:TDA)是由拓扑学与数据统计学科相结合而得到的一种数据分析方法。与传统的数据分析方法相比,拓扑大数据分析有效的运用了代数学中的模理论的知识,通过对持续同调的计算,对数据集的拓扑学特征进行研究分析。我们形象的称这种拓扑学特征为数据集的一个“形状”,也就是我们所说的拓扑不变量。目前,数据的“形状”结构分析在各个领域都有广泛的应用,其研究具有实际价值与意义。但很多理论还处在发展阶段
随着人们环境保护意识的加强,作为取代燃油汽车的最主要交通工具,电动汽车占据着越来越大的市场规模。动力电池组作为电动汽车的唯一动力源,其性能好坏直接或间接的影响整车安全性、可靠性和舒适性。电池对温度是十分敏感的,电池在合理的温度区间工作时才会保持最佳输出性能。过高的温度不仅会降低输出容量,还会破坏内部化学反应过程,造成不可逆的电池损伤。更严重时会引起电池热失控,导致电池在短时间内放出大量的热量,引发
光纤布拉格光栅是一种纤芯折射率随光纤轴的方向周期性变化的光纤器件,已广泛应用于光纤传感领域,在温度、压力、曲率等方面的测量发挥着重要的作用。由于能量只局限于纤芯中传输,光纤布拉格光栅很难应用于折射率测量。为了解决这一问题,人们提出了倾斜光纤布拉格光栅,也就是纤芯折射率调制平面与光纤光轴成一定的夹角。倾斜角的引入,不但使倾斜光纤布拉格光栅拥有光纤布拉格光栅的优点,还同时具有长周期光栅的优点,可用于测
表面等离激元(SPPs),是一种光和金属表面自由电子相互作用形成的一种特殊电磁波;它沿着金属-介质表面传输,并在垂直金属-介质表面方向上呈指数衰减状态,能够将电磁波束缚在金属-介质界面附近,因而具有很强的场强局域性。由于表面等离激元能够突破光学衍射极限,有效降低光电器件尺寸和提高光学集成,在光刻技术、光电探测、微纳传感等方面有很好的应用前景。其中,基于表面等离激元的金属-介质-金属(MIM)波导结
焦虑情绪是当人意识到事物将出现不良后果或面对潜在性威胁而产生的一种负面情绪。传统的焦虑情绪分析技术主要通过量表分析法与人工测评法进行,但均因须依赖人力进行测评分析而导致一定的主观偏差,且本身大多针对受测者群体整体的焦虑情绪表现及情绪变化,而对不同个体进行个人长时间焦虑情绪分析及跟踪评估的研究则相对较少。相比传统技术,基于计算机技术的焦虑情绪分析方法有高效快速的优点,但在实际应用中却受限于行为信息提
前言:骨肉瘤是严重威胁青少年生命健康的常见原发性骨恶性肿瘤之一。肿瘤干细胞(CSCs)是癌细胞的一个小亚型,它有自我更新和维持肿瘤的能力。CSCs的持续存在是肿瘤复发和转移的主要原因。骨肉瘤被认为是一种由基因和表观遗传改变引起的疾病,这些改变阻碍了成骨细胞与间充质干细胞的分化过程。长链非编码RNA(LncRNA)近年来被发现具有生物学功能。其长度在200-10000nt之间,具有多种调控基因表达的
自改革开放以来,我国房地产行业飞行发展,并成为了国民经济的重要支柱,但与此同时,因为很多房企在发展过程中求速不求质,盲目扩大负债,这就积累了一些弊病,给该行业和我国经济发展带来了极大的风险。基于这一背景,国家出台了"三条红线"融资新规,该政策可谓是针对房企融资祭出的最具杀伤力的武器,直击房产融资软肋,我国各大房企也纷纷响应这一国家号召,降杠杆,促进房地产行业的稳步发展。本文主要分析融资新规对房企的
【背景】2020年全球最新癌症负担数据显示乳腺癌已经成为全球新诊断人数最多的癌症。三阴性乳腺癌约占所有乳腺癌15%,因其缺乏内分泌及抗HER2治疗的靶点,目前尚无针对性的标准治疗方案。因此,找到与三阴性乳腺癌发生发展相关的基因并研制出治疗靶点药物将有可能为乳腺癌患者提供新的治疗方案。PARP1是DNA修复过程中的关键酶,BRCA1基因缺陷的TNBC细胞对PARP1抑制剂敏感。目前PARP1抑制剂被
目的本研究通过探究H.pylori感染的贲门组织中单个核细胞(CD3、CD8、CD20和CD68)的浸润以及DNA双链损伤修复蛋白53BP1和MDC1的表达情况,初步探讨贲门组织中H.pylori感染、单个核细胞亚群和DNA双链损伤修复蛋白间的相互作用。材料和方法1.标本:贲门内镜组织标本共57个,其中18个标本(18例病人)来自汕头大学医学院附属肿瘤医院内镜室和39个标本(27例病人)来自深圳市
背景及目的:心房颤动降低患者生活质量,增加中风及死亡风险,早期干预有助于改善预后。影响房颤患者预后因素众多,目前仍有争议,准确预测房颤患者死亡风险模型目前尚缺如。本研究通过比较Lasso-cox、随机森林、支持向量机和神经网络机器学习算法建立住院房颤患者一年内死亡风险预测模型,找出四种算法中最佳的预测模型,探索住院房颤患者死亡危险因素,为临床房颤患者管理提供依据。方法:1、患者资料收集:入选201