论文部分内容阅读
随着传感器技术的发展和通信技术的提升，无线多媒体传感器网络(WMSN)应用范围越来越广泛，尤其在灾难救援、环境监测等领域。摄像机作为WMSN节点的重要组成部分，可以获取未知环境信息，发挥着越来越重要的作用。然而，目前的节点主要采用单摄像机，感知范围受限且存在一定的盲区，很难获取全面的全景信息。针对该问题，本文研究多广角摄像机的图像拼接，通过采集六路视频生成全景图像，解决单个摄像机存在盲区的问题。在此基础上，本文将拼接算法移植到IMX6Q嵌入式平台，实现了全景拼接视频的实时传输，可供使用者远程观察，具有积极的现实意义。
本文通过分析世界坐标系、摄像机坐标系、像平面坐标系及图像坐标系，研究了摄像机的成像模型，并分别采用多项式模型、逆向除法模型对原始图像进行畸变校正;在此基础之上，研究了柱面投影、单应性矩阵求解等原理，为后续拼接做准备。
由于全景图像来自多路摄像机，本文研究了多图像的精确对齐算法。当前，不论是基于全局矩阵的对齐算法还是基于APAP的对齐算法，拼接图像中都存在一定问题，比如“鬼影”、局部细节扭曲等。针对该问题，本文提出了改进的APAP算法，以重叠区域分界线为边界设置两个阈值，计算不同特征点权重来求解分块矩阵。实验结果证明，该方法消除了“鬼影”、局部细节扭曲等问题，具有较好的对齐效果。
为了提升图像的拼接效果，本文研究了拼接图像的形状保持算法。当相邻的图像存在较为明显的视差时，求解的变换矩阵存在缩放、旋转等作用，拼接图像会出现较为严重的形状失真，且该形状失真会随着后续拼接逐渐累积，最终导致多幅图像的拼接失败。针对该问题，本文提出了基于渐变矩阵的形状保持算法，将待拼接图像分为三个区域，左侧区域采用全局矩阵，右侧区域采用平移矩阵，中间部分采用过渡矩阵。实验结果证明，该算法很好地解决了图像变换过程中产生的缩放、旋转等问题，能够生成平滑的全景图像。除此之外，该方法可以与APAP结合实现重叠区域的精确对齐。
本文基于IMX6Q嵌入式平台，验证了本文提出的多广角摄像机图像拼接算法的可行性，将PC机拼接生成的表格加载到IMX6Q的文件系统中，通过查表的方式实现了六路视频的实时拼接。通过在云端搭建nginx-rtmp服务器，实现了全景视频的推流及拉流，可供多个客户端远程查看全景信息。为了提高整个系统的实时性，充分发挥硬件平台的优势，采用多线程的方式进行任务处理，利用处理器自带的IPU进行转码、VPU进行压缩，并通过查表的方式进行拼接。实验结果表明，1504*288分辨率的全景视频帧率可达8～10帧。
本文通过分析世界坐标系、摄像机坐标系、像平面坐标系及图像坐标系，研究了摄像机的成像模型，并分别采用多项式模型、逆向除法模型对原始图像进行畸变校正;在此基础之上，研究了柱面投影、单应性矩阵求解等原理，为后续拼接做准备。
由于全景图像来自多路摄像机，本文研究了多图像的精确对齐算法。当前，不论是基于全局矩阵的对齐算法还是基于APAP的对齐算法，拼接图像中都存在一定问题，比如“鬼影”、局部细节扭曲等。针对该问题，本文提出了改进的APAP算法，以重叠区域分界线为边界设置两个阈值，计算不同特征点权重来求解分块矩阵。实验结果证明，该方法消除了“鬼影”、局部细节扭曲等问题，具有较好的对齐效果。
为了提升图像的拼接效果，本文研究了拼接图像的形状保持算法。当相邻的图像存在较为明显的视差时，求解的变换矩阵存在缩放、旋转等作用，拼接图像会出现较为严重的形状失真，且该形状失真会随着后续拼接逐渐累积，最终导致多幅图像的拼接失败。针对该问题，本文提出了基于渐变矩阵的形状保持算法，将待拼接图像分为三个区域，左侧区域采用全局矩阵，右侧区域采用平移矩阵，中间部分采用过渡矩阵。实验结果证明，该算法很好地解决了图像变换过程中产生的缩放、旋转等问题，能够生成平滑的全景图像。除此之外，该方法可以与APAP结合实现重叠区域的精确对齐。
本文基于IMX6Q嵌入式平台，验证了本文提出的多广角摄像机图像拼接算法的可行性，将PC机拼接生成的表格加载到IMX6Q的文件系统中，通过查表的方式实现了六路视频的实时拼接。通过在云端搭建nginx-rtmp服务器，实现了全景视频的推流及拉流，可供多个客户端远程查看全景信息。为了提高整个系统的实时性，充分发挥硬件平台的优势，采用多线程的方式进行任务处理，利用处理器自带的IPU进行转码、VPU进行压缩，并通过查表的方式进行拼接。实验结果表明，1504*288分辨率的全景视频帧率可达8～10帧。