基于手势交互的AR系统

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:lyh555
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对于智能手机平台上的增强现实应用,结合手势这种直观的交互方式能给用户带来更自然的操作体验,对增强现实技术的发展很有意义。然而受限于手机的硬件性能和单目摄像头等条件,目前在安卓平台下还没有一套成熟且完备的解决方案来实现基于手势交互的增强现实系统。
  本文设计并实现了一个应用在安卓平台上基于手势交互的增强现实系统,主要解决了手部位姿估计和动态手势识别两个技术难点,结合手势交互模块,实现了根据用户手势控制虚拟物体在场景中的移动、旋转等操作。针对手部位姿估计问题,设计并实现了一种三阶段的算法,首先采用改进后的单阶段多框预测网络进行手部检测和图像分割,对分割后的图像应用级联金字塔网络来预测二维关键点,最后根据相机透视原理估计手部三维位置与姿态。针对动态手势识别问题,对传统的密集连接卷积网络结构做出了两方面的改进,一方面引入了时间过渡层,由几个不同大小和深度的卷积层和一个平均池化层构成,来捕获不同时间长度的信息;另一方面采用非对称卷积对现有的标准卷积进行拆分,来实现模型的压缩与加速。
  实验结果表明,手部位姿估计和动态手势识别算法均可达到较高的准确率。用户可以通过本系统在安卓手机端进行增强现实的手势交互体验,系统整体准确率和实时性达到了预期效果。
其他文献
在临床诊断过程中,提取脑部中矢状面具有非常重要的意义,通过中矢状面计算头部偏角,从而摆正图像中头部的位置,可以为诊断脑部疾病提供最佳观察视角;根据中矢状面计算大脑左右半球的对称性,也能为判断某些脑部疾病的提供重要参考依据。但是,现有的中矢状面提取算法通常存在提取效果不佳、计算成本大和鲁棒性差等问题。  因此,本课题提出了一种基于深度学习的中矢状面提取方案,方案分为三个步骤:(1)使用图像分割网络识
学位
近几年,基于图结构的卷积神经网络技术的发展使得知识图谱中的节点信息能够通过训练得到更富有语义的表示,与此同时,一些工作表明了知识图谱能够通过增强推荐数据集中的项目实体而对推荐算法起到一定的优化作用。为此,以基于知识图谱图卷积神经网络的推荐算法为主要研究目标,开展图谱数据完善、卷积计算、基于图谱的推荐方法的研究。  研究利用知识图谱广泛的结构信息对用户、项目交互数据进行补充,在整合了知识图谱中项目属
学位
乳腺癌是女性中最常见的癌症之一,早期的筛查以及诊断非常有意义。乳腺肿块是早期乳腺癌的主要表征之一,当前乳腺癌筛查最有效的手段是乳腺钼靶X线摄影检查。研究乳腺肿块分割算法,通过准确分割乳腺肿块,辅助医生判断乳腺肿块的良恶性,有助于提高患者的生存几率,具有重要的临床意义。  乳腺肿块通常具有形态大小多样且边缘不规则的特点。针对乳腺肿块形态大小多样的问题,设计并实现了基于U-Net模型的MU-Net模型
随着计算机技术和医学影像技术的发展,计算机辅助诊断治疗可以减轻医生的工作量和辅助医生诊断。人体肋骨包含了完整的腹部与胸部,具有相对稳定的形状,肋骨分割在医学上用途很广,可以检测骨头是否有骨折等异常,分段肋骨也可以作为参考物体,帮助定位其他结构,比如肝脏,心脏等,还可以为一些量化任务提供参考,比如肺体积的估计。  肋骨与肩胛骨、脊柱以及胸骨粘连较近且灰度值相似,传统的分割方法不能很好地处理骨头连接处
学位
尽管深度神经网络目前在许多方面展示出强大的能力,但由于其高能耗的特性,无法应用在一些计算资源有限的场景下。而脉冲神经网络作为第三代神经网络,是目前最拟合生物神经元机制的模型。相比深度神经网络,在脉冲神经网络所需的计算量和能耗远小得多。  目前,脉冲神经网络在图像识别和目标检测方面达到了较好的效果,但对于更复杂的计算机视觉任务相关研究却很少。作为计算机视觉领域最重要的任务之一,目标跟踪有较高的实时性
学位
目标检测技术是计算机视觉领域内的研究热点之一,其成果被广泛应用于智慧安防、自动驾驶等领域。随着深度学习技术的发展,目标检测技术取得了突破性的发展,但对于小目标和低清目标的检测精度仍有待改进,这使得目标检测技术在实际应用中依然有很大局限,所以如何设计能够准确检测小目标和低清目标的算法对于推广目标检测技术的应用有重大意义。  立足于目标检测技术对于小目标和低清目标检测不够准确的问题,通过研究突破相关技
学位
目标跟踪是计算机视觉领域最热门且最具挑战性的研究内容之一,在自动驾驶、视频监控等领域有着广泛的应用。近年来,基于深度学习的目标跟踪方法因其对深度架构的使用,更具表现力的深度特征等特点在目标跟踪领域引起了广泛的关注和研究。其中孪生区域候选网络SiamRPN从目标检测领域获取灵感,将孪生网络和区域候选网络相结合,在保证实时的同时,取得了较高的准确性。然而SiamRPN使用AlexNet作为骨干网络,受
学位
随着智能设备的普及应用,日常生活中产生了大量的碎片化短文本信息,例如,手机短信,社交动态分享,搜索语句,商品评论等。为了从这些海量的短文本信息中挖掘到更多的潜在商业价值,短文本分类任务受到越来越多的关注。由于短文本数据的独特属性,使其相较于长文本分类更加困难。一方面,短文本一般短小简洁,语法不规范,导致其特征稀疏,信息匮乏;另一方面,短文本更新速度快,数据量大,但是缺乏大量的带标签数据用于训练。 
随着全球互联网发展的加速,产生了海量蕴含丰富关系信息的文本数据,自动分类文本中的实体关系变得尤为重要。传统关系分类方法依赖大量标注数据且难以泛化到新关系类别中,而少样本学习则能够通过学习少量标注样本,快速在新类别上泛化,少样本关系分类因此开始受到学界关注。  深入研究了现有少样本关系分类算法并分析了各自优劣,其中图神经网络(Graph Neural Network, GNN)模型能较好地在支持集与
学位
流表更新在软件定义网络(Software Defined Network, SDN)中是十分频繁的,若不能保证流表规则的一致性更新,则可能导致网络中出现黑洞、传输环路、链路拥塞等情况,从而影响网络的性能。如何进行流表的一致性更新以确保数据包在更新期间的正常传输一直都是被广泛研究的问题。现有研究方案有的不能同时保证更新过程无黑洞、无环路、无链路拥塞,有的则太过于复杂会影响更新时间,有的则会消耗额外的