随着信息技术的高速发展,图像作为一种描述目标物体十分形象有力的表达方式,慢慢变成从业者获取信息、分析信息和利用信息的重要手段。经过这些年的发展,深度学习方法取得了非常大的进步和发展,在多个领域取得了最新的成果,为多个领域的发展带来了新的机遇,如图像分割、图像分类和目标识别等,并促进了各种商业应用的发展。作为其中一个典型代表,应用在自动驾驶、智能监控等领域的以深度学习为基础的图像分类算法逐渐成为科学研究中的重要方向。在深度神经网络的训练过程中,科研人员或开发人员往往可以通过多次调整网络的参数得到一个比较好的结果,但是我们,尤其是初学者,在使用深度卷积神经网络时常常会遇到一些问题。传统机器学习中的两个代表性问题是优化问题和泛化问题,由于反向传播算法的改善以及网络结构的改进(包括激活函数,连接方式等),优化已经不是迫在眉睫的问题。而且实际应用依赖于网络的泛化能力,它决定了一个网络是否真正的有效。正则化是解决深度学习中泛化问题的一个关键方法,因为它允许研究人员训练更复杂的模型,同时使网络保持较低的过拟合。在本文中,针对图像分类问题,我们通过预训练和隐式正则化两个训练阶段完成对深度卷积神经网络的特征边界的调整,以达到减轻网络的过拟合问题,强化网络的泛化能力的目的。我们首先通过预训练模型完成对样本的异常分析,然后在第二个训练阶段完成对网络的正则化,两个过程相互配合直至网络彻底收敛在合适的位置。算法通过改善样本分布及判决边界来达到增强网络泛化能力的目的,并且对于算法中的超参数具有很强的鲁棒性。同时针对目前各种网络初始化方法,两阶段训练后的网络模型的分类能力几乎不会受到影响。实验结果证实,我们的算法在MNIST,SVHN和USPS三个手写体数字图像数据库及CIFAR10和CIFAR100两个自然图像数据库取得了良好的结果。在大规模图像数据库ILSVRC 2012上面也取得了相当有竞争力的表现。理论上,基于更先进的网络模型的两阶段训练算法能取得更好的实验结果。在最后,我们还运用了多种策略分析与讨论了深度卷积神经网络的两阶段训练过程中带来的正则化效果是如何发挥作用的。本文的研究内容的创新点主要包括以下三处。创新点一.:通过分析源域训练样本的分布特性,我们提出了基于样本密度的异常检测方法,为网络的隐式正则化训练阶段建立基础。创新点二:我们在网络第二个训练阶段建立了新颖的正则化方法用来减轻网络的过拟合。创新点三:我们通过可视化技术,从理论到实验上证明了两阶段训练方法对于神经网络训练过程的影响。实验结果表明,即使与一些更先进的网络相比,我们的两阶段方法仍然有优势。事实上,本文提出的训练策略并不限于此。在未来的工作中,我们计划将这种训练策略应用到更先进的深度网络结构中。