在制造业领域,对工业工件进行检测和识别是一项必不可少的技术。其中,工业领域中待处理的对象从二维表示逐渐过渡到了三维表示。传统的工件检测与识别采用基于几何特征的方法。在形状简单、图像清晰度高、以及场景相对简单(无遮挡、重叠等问题)的情况下能够达到很高的识别准确率和精度。然而,由于工件形状的复杂性、工件自身的低纹理性以及工件与环境之间的微小差异性,使得传统的图像处理方法和点云处理方法已经不能满足工业界的要求。因此,本文对基于深度学习的三维工件的检测与识别关键技术进行了研究。主要研究内容及创新点如下:(1)针对实际应用场景中二维工件图像尺度的多变性及位姿的多样性,提出了应用于打磨工件目标检测的二维卷积神经网络架构Polish Net-2d。在制造业领域,针对工业工件进行检测的稳定性、及精度还不是特别高的问题,为了增强网络的自学习尺度及位姿不变性,通过在骨干网络Res Net101中引入对工件目标的位姿变换具有自主学习功能的变换网络X-Net;基于具有不同尺度和位姿多样性的数据集,经过有无X-Net的对比性实验,结果表明Polish Net-2d的尺度及位姿不变性有所提升。其中,X-Net可以在训练集上对区域建议网络提取出的建议区域进行无监督的学习,提高了2d工件检测网络Polish Net-2d的检测率。本文从学习率、以及批大小等不同角度,基于单一工件数据集、以及多工件数据集等八个数据集,进行对比试验。实验结果表明,Polish Net-2d的全局收敛性具有很高的数据集鲁棒性。该网络旨在提高二维工业工件的检测率及稳定性,进而能够将该方法从工业领域走向实用向前推进一步;(2)针对三维工件点云的旋转角度多样性及尺度多样性,提出了应用于打磨工件点云识别的三维卷积神经网络架构Polish Net-3d。目前,三维点云识别是一个比较前沿的研究内容。相比于二维图像的检测率,三维点云数据的识别率还相对较低。该方法旨在提升工业领域中三维工件点云的识别率。该网络架构在骨干网络Point Net中引入对三维工件具有自主学习旋转参数的变换网络R-Net、以及层次特征提取网络Hierarchical Feature Extraction Network。同时,基于具有不同尺度和位姿多样性的三维工件点云数据集,进行了有无R-Net和HFEN的对比性实验。实验结果表明,在加入R-Net和HFEN后,网络测试平均分类精度有了明显的提升;(3)针对能直接用于训练深度神经网络的工业工件数据集种类和数量非常少的问题,以及用于训练深度神经网络的数据集标注费时的问题,本文提出了一种自动化构建深度学习数据集及其标注文件的方法。该方法可以极大地减少人工参与标注的时间,提高标注的效率,从而帮助一些深度学习领域的科研人员快速地生成自己领域的数据集。首先,基于理论工件模型、真实环境背景的数据、单独工件实际采集的数据,依据光照变换和多视角多源图像融合算法,构建了多视角理论工件、理论工件模型—真实环境背景、和单独实际工件—真实环境背景三种形式多视角数据集。该数据集共包含1,298,640张图片,其中训练集中有1,155,000张图片,测试集中有143,640张图片。在实际场景中采集的图像数据集上进行实验,结果表明,利用本文所提出的方法全自动构建的数据集可以满足深度神经网络训练的需求,使训练后的网络能用于实际工业场合。基于理论工件三维模型,经过点云数据格式转换、点云增采样、点云数据增强三个过程,得到三维工件点云数据集。经过五种点云数据增强方法的处理后,共有25,200个理想模型生成的点云数据,以及37,500个真实场景中采集到的工件的点云数据,该数据被应用于实际三维工件识别实验。结果表明,利用本文提出的方法全自动构建的三维工件数据集,能应用于工件尺度、位姿具有多样性的场合。针对用于训练深度神经网络的数据集标注费时的问题,基于本文构建的二维工件数据集,依据光照变换、阈值化、边缘跟踪算法,对二维检测结果标注文件的格式进行了分析,并且按照相应的格式,自动化地生成标注文件。与传统的手工标注方法相比,本文提出的自动化标注数据集的方法可以极大地减少标注的时间,提高标注的效率;(4)针对实际采集图像中工件表面的低纹理、采集的图像出现运动模糊等问题,基于多源数据决策级融合方法,本文提出了彩色图和深度图的边缘融合算法。利用该边缘融合算法,以及基于切向量的边缘连通算法对融合后的边缘图像进行补全和连通,然后利用Polish Net-2d进行边缘图像的检测实验。结果表明,该方法在工件表面低纹理、采集图像出现运动模糊等情况下,依然可以取得非常好的检测结果。结果表明,本文提出的Polish Net-3d在二维工件检测网络Polish Net-2d的检测结果基础上,对分割后的工件点云数据进行识别,大大减小了场景中背景的点云数据对于识别率的影响。因此,即使在场景中有多个工件的情况下,Polish Net-3d也可以达到94.50%的识别率。这个融合方法可以应用于纹理模糊、以及背景与工件灰度较为接近的场景,提升该环境下的工件检测率和识别率。