互联网、物联网等技术的高速发展的同时,恶意程序的种类和隐蔽技术也在快速发展,现有的恶意程序检测技术已经无法很好的应对指数式增长的恶意程序。恶意程序通过电子邮件和资源链接等方式传播,给网民使用计算机造成巨大的影响,甚至造成财产损失。因此,本文针对现有的恶意程序检测技术进行研究,通过对恶意程序在计算机系统中运行的行为特征的分析,设计了一个Windows系统下的恶意程序检测系统。该系统是基于卷积神经网络模型设计的,对恶意程序的识别率达到98.89%。本文的主要研究内容如下:（1）分析了现有的恶意程序检测技术优点和局限性,提出了本文所搭建的基于卷积神经网络的恶意程序检测系统,该系统具有自主学习能力以及对恶意程序检测快而准确的特点。（2）详细研究了恶意程序在系统运行过程中的动态行为特征,找到能够很好表示恶意程序在运行过程中动态行为特征,即恶意程序在计算机系统中运行时对Windows API函数的调用序列。另外本文还提出了两种动态行为特征表示方式,即特征向量化和特征图形化。（3）重点研究了本文搭建恶意程序检测系统所使用的关键技术。其中详细研究了 LightGBM算法和卷积神经网络算法,并且在搭建模型时使用交叉验证与网格搜索算法对LightGBM模型进行调优;通过使用不同的优化器和不同的图像尺寸对卷积神经网络模型进行参数调优。最后我发现卷积神经网络中使用Adam优化器和灰度型特征图所训练的恶意程序检测模型对恶意程序的识别准确率最高,达到98.89%。另外设置横向对比实验,使用相同的测试数据集,对本文搭建的两种恶意程序检测模型进行测试实验。通过实验结果我们发现,基于卷积神经网络的恶意程序检测模型的性能优于基于LightGBM的恶意程序检测模型。