随着深度学习(Deeplearning,简记DL)系统越来越多地应用于安全相关领域，包括自动驾驶汽车和智能安防等，对深度学习模型预测准确性的高度信任变得至关重要。正如传统的软件开发一样，对模型行为正确性的信心源于对各种可能场景的严格测试。然而，与传统的软件开发不同，深度学习系统的逻辑是通过训练过程学习的，因此深度学习模型很难测试。另外现有的深度学习测试严重依赖于人工标记的数据，经常无法为边缘输入数据暴露出错误的行为。
　　为了解决以上问题，本文提出差分组合测试(Differentialcombinationtesting,简记DCT)，这是一种实现自动化检测的深度学习测试方法，用于系统地检测更多的边缘情况产生的错误行为并且无需依赖手动标记的输入数据。首先，基于随机图像变换的差分组合测试方法对种子图像添加约束,应用图像组合变换来自动生成能够增加神经元覆盖率和多个相似深度学习模型差分检测结果的测试用例。该方法利用多个有类似功能的深度学习系统作为交叉引证，使得输入数据可以被自动标记且可以自动检查多个深度学习系统输出行为的正确性。其次，基于优先级图像变换的差分组合测试方法在图像组合变换时添加了优先级策略，在系统模型检测时应用了自动检测结果的差分策略，实现了更高效率的图像处理过程以及更加准确地判断了深度学习系统的输出行为。最后，大量实验结果表明DCT方法在最常用的深度学习模型中高效地发现了数千个错误的边缘行为，可以较好地检测深度学习系统的可靠性和稳健性。
　　综上所述，差分组合测试方法能够进行测试数据自动标注和实现高覆盖率测试并且能够同时检测多个深度学习模型的行为准确性，在数据标注和深度学习系统测试方面进行了有益的尝试。