基于卷积神经网络的人体姿态估计研究

来源 :西北大学 | 被引量 : 0次 | 上传用户:rainbow0938
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体姿态估计是一种从图像中获得人体关节点位置和方向的技术,即输出人体关节点及关节点之间的连接。人体姿态估计是计算机视觉技术中热点研究方向之一,其在医疗、安全防范、虚拟现实等领域有广泛的应用需求。本文重点围绕基于卷积神经网络的人体姿态估计问题展开研究。在深入研究现有基于深度学习的人体姿态估计方法的基础上,提出了一种关联关节对约束的纠错匹配模型,并将其与卷积姿态机(Convolutional Pose Machines,CPMs)网络结合应用于单人姿态估计。实验结果表明,关联关节对约束的卷积姿态机单人姿态估计方法能够显著提高关节点定位的准确性,并将符合生理特征相关联的关节点正确连接。更进一步结合区域定位和多通道简化卷积姿态机(Multi-Channel Simplified Convolutional Pose Machine,MULC-SCPM)网络实现多人姿态估计。实验结果表明,区域定位结合多通道简化卷积姿态机多人姿态估计方法能够有效提高遮挡情况下关节点连接的准确率,提升多人姿态估计的准确率。本文的工作主要体现在以下三个方面:1.学习和研究了基于整体特征、基于模型和基于深度学习的三类人体姿态估计方法,并分析和实现了几种具有代表性的基于深度学习的人体姿态估计方法。重点研究了基于热力图回归的深度学习人体姿态估计方法,并说明高质量的人体姿态估计技术在实践中具有重要意义。2.提出一个关联关节对约束的纠错匹配模型,并将该模型与卷积姿态机(CPMs)网络结合实现人体姿态估计。关联关节对约束的纠错匹配模型其构建考虑了人体只能有唯一正确的左侧或右侧相关联的关节对连接、左右髋关节之间的距离必然大于同一膝盖范围内两类关节点之间的距离等人体结构生理特征。该模型可以纠正关节点的错误标定,并将符合生理特征相关联的关节点正确连接。实验结果表明,关联关节对约束的卷积姿态机网络在单人姿态估计中展示了好的效果,特别是能够有效解决常规的卷积神经网络在识别复杂姿态时出现的关节点重复计数以及关节点逆序排列连接错误等问题。3.结合区域定位和多通道简化卷积姿态机(MULC-SCPM)网络进行多人姿态估计。该方法首先引入区域定位实现单人区域分割;然后基于融合了关节点位置损失、连接距离损失和方向损失的多通道简化卷积姿态机(MULC-SCPM)网络进行姿态估计。区域定位有助于准确定位人体位置。多通道简化卷积姿态机(MULC-SCPM)网络能有效回归人体关节点位置及关节点之间的连接关系。实验结果表明,区域定位结合多通道简化卷积姿态机(MULC-SCPM)网络相较于卷积姿态机(CPMs)网络更优,特别是能够有效解决目标部分遮挡时关节点连接错误问题。实验结果表明,本文方法能够显著提高单人和多人姿态估计的准确率。
其他文献
随着科技的蓬勃发展,一些基于内容的图像检索(CBIR)方案被提出来以高效使用图像内容。然而图像数据量大,用户依靠自身存储和搜索图像变成困难。伴随着云计算的发展,用户可以
近年来,随着交通运输业的飞速发展,恶性道路交通安全事故的发生率也同步上升,被公认为是战争之外人类最大的威胁和杀手。统计发现,机动车交通事故的诱因繁多,其中,疲劳驾驶所
乌鲁木齐县根据国土部门的安排,对2010-2014年建设用地利用情况进行了清查,结果显示:2013年供后建设用地的开工率仅为30.57%,逾期和未缴纳土地出让金的情况占比达44.31%,土地
生物识别技术利用人体固有的生理或行为特征来进行个人身份的鉴定,已经广泛应用于金融、教育、医疗、社保等领域。这其中,指静脉识别技术通过红外线CCD摄像头获取手指的静脉
近年来,有非常多的研究者对复杂网络的稳定性、无源性和同步等动力学行为进行了研究。然而,在现有的关于复杂网络的研究工作中,所考虑的网络模型绝大多数是由相同节点组成的,
随着计算机科学、集成电路系统以及传感器技术的迅猛发展,图像的获取方式不再局限于单一的传感器。如今,面对图像类型的多元化和数据的复杂化,单一模态图像已经不能满足现代复杂应用的需求,所以图像融合技术应运而生。图像融合技术将不同传感器所捕获的不同模态图像进行针对性互补,构建信息量丰富且可靠的融合图像从而实现对某一场景或者目标更加全面的描述与表达,便于后续的图像处理或者决策任务。其核心思想是在不引入任何人
目的:对于非肌层浸润性膀胱癌的手术治疗方式,目前绝大多数临床泌尿外科医师都会推荐具有创伤小、恢复快的经尿道膀胱肿瘤切除术。然而由于膀胱癌的高复发性及进展性,有的患者需要行二次手术甚至多次手术,给患者带来了极大的经济负担和痛苦。因此如何提高首次手术的效果对于患者的治疗及预后有指导性意义。本研究旨在利用回顾性分析探讨经尿道等离子针状电极膀胱肿瘤整块切除术与经尿道膀胱肿瘤等离子切除术(transuret
基于物理方法的自然场景建模在计算机图形学领域是一个充满挑战的研究方向。结冰场景是自然场景不可或缺的重要组成部分,在数字娱乐和虚拟仿真等方面有着广泛的应用。作为一种复杂的自然材质,冰有着丰富的视觉细节特征,包括气泡、裂痕和体积膨胀。以图形学的表现方式对结冰过程的复杂特征进行人工建模是一个枯燥的工作。最近,研究者对包括冰柱、冰霜等特定的冰形态类型在基于物理方法的模拟上给与了很大的关注。对一定体积的冰的
目的:探讨奥塔戈运动锻炼对首次脑梗死患者急性期患者平衡能力、跌倒自我效能、移动能力、自理能力和生活质量的干预效果。方法:选取2018年3月-2018年9月广西中医药大学第一附属医院脑病科,符合纳入标准和排除标准的首次脑梗死住院患者54例,对照组27例,观察组27例。对照组患者按照脑病科护理常规进行护理,观察组患者在对照组的基础上,对患者进行奥塔戈运动(Otago Exercise Programm
目的:通过对比分析双侧精索静脉曲张患者术前与接受腹腔镜集束性精索内血管高位结扎术治疗术后临床症状缓解情况及睾丸功能的改善情况,评估腹腔镜集束性精索内血管高位结扎术治疗双侧精索静脉曲张的效果和可行性。方法:回顾性分析本医院2016年6月至2018年3月收治的68例双侧精索静脉曲张患者,其中实施腹腔镜下集束性精索内血管高位结扎术治疗患者65例,3例患者实施腹腔镜下选择性精索内静脉高位结扎术治疗;所有患