基于ORB-GMS的鲁棒实时全景视频拼接技术的研究与实现

来源 :郑州大学 | 被引量 : 0次 | 上传用户:dangerwind
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
全景视频是多个相机采集图像,经过相机标定、拼接、融合以及编码传输等一系列处理后实现用户在客户端查看比单个相机视角更广的视频的功能。近年来,全景视频在虚拟现实(VR)、安防领域成为热门应用,主要源自其较好的视觉体验和较大的信息量。全景相机的单帧传输对于普通设备来说是非常简单的,但是涉及到实时的视频传输就需要考虑其庞大的数据量和巨大的处理负担。其中,实时的视频拼接需要考虑上位机的处理能力,就目前的处理器性能而言,还不可能逐帧的自动解算拼接参数,需要对事先校准的拼接参数做持久化处理。其次,全景视频拼接为单帧的像素量极高,需要根据相机实际的解析质量进行适当的缩放,一方面是一定程度上降低处理器负载,一方面为实时传输降低性能门槛。目前,实现机内全景相机拼接的方案大多基于FPGA、专用影像处理器(ISP),然而全景相机本身技术更新快,产品寿命周期短,若走定制化路线,必然导致较高的研发难度和研发成本。目前,x86平台已经有面向手持设备的低功耗、低成本方案,若能够利用x86平台的强大指令集和GPU资源,实现FPGA、ISP相同的效果,则经济价值极大。本课题观察全景相机拼接技术的角度较新,从低成本、低功耗、实时机内处理的角度进行相机软硬件系统设计,在理论研究的基础上进行了大量的算法调研、硬件选型和性能优化工作。本课题对市面上存在的全景相机产品进行观察,认为多路相机实时机内拼接的推流产品成本较高,且标定功能较差。本课题对高质量、高计算量的影像拼接方案机型对比和研究,再与高计算速度,较低质量的算法进行特性的对比,最终选用基于GMS和ORB算法相辅的鲁棒拼接系统作为拼接时提供标定参数的自动拼接算法。之后对相机模型进行研究,围绕消除畸变的手段进行对比和研究,再对鱼眼镜头的非理想情况结合OpenCV库,实现了高成功率的相机畸变矫正功能。最后实现了基于RTSP推流的网络全景相机方案。后续,通过对全局流水线的性能优化并对推流的性能问题进行了简短有效的分析,并提出解决方案。本文重点在于结合理论,对实现低成本、低功耗的实时机内拼接方案进行理论和实践手段的阐述。旨在为基于x86低功耗视觉系统的开发提供新的思路。
其他文献
<正>卵巢囊肿在绝经后女性中十分常见,且多数患者无任何临床症状。绝经后卵巢囊肿的检出率约为5%~17%[1]。卵巢囊肿样占位性改变既可能是一过性或卵巢良性疾病的表现,又可能
蓄淡水库和引排工程是滩涂资源开发利用的基础设施。针对现有围堤工程与蓄淡、引排工程建设脱节,导致重复开挖回填,投资和土地占用增加等问题,提出将围堤修筑与蓄淡水库、引
采用LP模型,以我国29个省、直辖市和自治区1990—2004年数据为样本,就国内科技投入、进口贸易和FDI传导的技术溢出对各地区全要素生产率的影响进行了实证检验。结果表明,国内科
<正>2017年5月31日,中国记协发布《中国新闻事业发展报告(2016年)》称,全国七成以上的报业集团营业利润出现亏损,43家报业集团主营业务收入与利润总额分别降低6.9%与45.1%,其
目的观察针刺配合穴位注射分期治疗特发性面神经麻痹的疗效。方法 68例特发性面神经麻痹患者随机分为治疗组与对照组,每组34例。治疗组采用分期针刺配合穴位注射治疗,对照组
通过对产权理论、费用补偿论和资源税理论等探讨,揭示政府取得资源有偿使用收入的理论依据。针对水资源费的征收主体、征收范围、征收标准、征收率和水资源有偿使用收入的使用
目的探讨无创正压通气配合舒适护理治疗慢性阻塞性肺疾病(COPD)合并呼吸衰竭的效果。方法选择我院收治的COPD合并呼吸衰竭患者100例,按照随机数字表法分为观察组(50例)和对照组(50