随着智慧零售在商场零售中的普及,通过智慧零售的手段能影响用户的购买效率和用户体验,应用商场服务机器人是智慧零售的解决方案之一。其中,视觉系统是商场服务机器人的难点和核心,通过视觉系统对商场行人检测和分析,进而可以完成对行人精准营销和个性化服务等核心功能。由于商场环境的高复杂性以及商场中的行人千人千面,使得目前缺乏检测精度高、泛化能力强的商场行人检测和识别技术。以往应用到移动机器人上的检测模型大多采用梯度直方图和支持向量机的方法,识别模型一般用有监督深度学习模型作为基础分类器,这些方法的检测精度低、泛化能力弱。而Faster R-CNN目标检测模型和零样本学习模型能解决上述问题,Faster R-CNN模型能快速、精确的检测出目标,零样本学习模型旨在让检测器的泛化能力更强。本文以商场服务机器人的视觉系统为研究对象,通过对广州正佳广场调查需求和查阅相关领域文献的基础上,主要展开了以下研究:(1)建立了集Faster R-CNN目标检测模型、泛化零样本学习模型的商场服务机器人目标检测系统。首先通过深入研究业务需求,设计出符合具体场景的目标检测系统整体构架,并对系统软硬件做出设计,包括视觉系统载体、相机选型、图像采集和传输、软件环境。接着凝练出机器人目标检测技术实现路线,技术路线第一步采用Faster R-CNN模型来解决商场中多种目标的检测任务,技术路线第二步采用零样本学习模型实现行人精准识别。最后在商场环境下对该集成技术进行测试和分析,验证了整个目标检测系统的有效性。(第二章,第五章)(2)将Faster R-CNN模型来解决商场中多种目标的检测任务。首先详述了Faster R-CNN目标检测模型的基础理论知识。接着将Faster R-CNN模型来解决商场中多种目标的检测任务,研究了该场景下图像预处理和图像标注两个关键步骤。最后利用Tensor Flow深度学习框架搭建模型并完成训练,获得了满足商场目标检测要求的Faster R-CNN目标检测模型。(第三章)(3)提出了一种具有知识迁移能力的新型泛化零样本行人识别模型。首先介绍了零样本学习模型的思想,包括图像特征提取、语义空间构建、属性-语义关系映射三个核心技术。接着构思了面向商场的零样本行人识别任务并制作了对应的行人数据集。然后构建了一种新型泛化零样本学习模型,其中针对CNN特征与语义空间关系映射不佳的问题,应用关系网络将CNN特征和语义嵌入空间连接到一起,使其更好地实现视觉-语义映射。最后,利用准确率阈值使得分类器能在有监督深度学习模型和零样本学习模型中择优进行目标分类,使得模型拥有知识迁移的作用,提升了模型的泛化能力,验证该模型在本论文所用数据集中比有监督深度学习模型高出12.9%的准确率。(第四章)