论文部分内容阅读
车牌检测与识别有着三十余年的研究历史,并且在一些简单固定场景下已经得到了广泛应用,但是在成像设备不固定、光照不佳等开放式环境下,现有的车牌检测与识别算法的效果会急剧下降。近年来深度学习在计算机视觉领域得到了广泛应用,其算法在鲁棒性、准确度等方面远超传统算法,因此本文尝试将深度学习应用于车牌检测与识别,在开放式环境下达到实时、准确的效果。本文以开放式环境下视频车牌检测与识别为目标,综合考虑实时性与准确性,结合实际应用场景,提出了基于YOLOv3(You Only Look Oncev3)的车牌检测算法 LPDNet(License Plate Detection Network)和基于 CRNN(Convolutional Recurrent Neural Network)的车牌序列识别算法 LPSRNet(License Plate Sequence Recognition Network)。本文主要工作和创新如下:(1)建立车牌检测及识别基准数据集目前中文车牌仅有的大型数据集为中国科学技术大学公开的CCPD,但其拍摄场景固定、车牌相似度高且每张图像仅含一个车牌,不适合作为基准数据集。在车牌检测方面,本文通过自行采集并标注图像,建立了一个含有5854张图像的检测数据训练集,同时建立了一个由easy、hard、extreme三部分共1050张图像组成的检测基准测试集;在车牌识别方面,本文提出了基于数据合成的方法构建车牌识别训练集,并构建了由500张手动标注车牌图像组成的车牌识别测试集。(2)基于YOLOv3的车牌检测算法本文基于YOLOv3进行改进,提出了用于车牌检测的LPDNet,并通过实验证明了此算法在光照不佳、车牌倾斜、运动模糊、遮挡等开放式环境下均能取得良好的检测效果,且具有实时性。(3)基于CRNN的车牌序列识别算法本文基于CRNN进行改进,提出了用于车牌序列识别的LPSRNet,实验证明此算法对模糊、光照不佳、倾斜等条件下的车牌均能达到较好的识别效果,同时具有实时性。实验结果表明,本文提出的LPDNet车牌检测算法在检测基准测试集上能达到100%的precision、92.65%的recall和16FPS的速度,LPSRNet车牌序列识别算法能达到94%的准确率和每张车牌3ms的速度。最终得到的车牌检测与识别整体模型能达到86.65%的准确率和10FPS的速度,优于当前其他车牌检测与识别算法。