随着信息技术进入新的时代尤其是5G技术的发展,信息传递进入高速共享的阶段。各种未知形式未知领域的恶意代码层出不穷,使得恶意代码的检测工作面临巨大挑战。传统的恶意代码特征匹配检测方法针对当今网络环境中形式丰富的恶意代码显得无所适从。越来越多的计算机新技术应用到恶意代码检测当中,针对恶意代码及其变种取得了较好的检测效果,将机器学习算法和深度学习算法应用到恶意代码检测当中是时下热门的研究内容。针对传统恶意代码分类效率低,特征提取单一,准确性差的的问题。本文提出了两种分类方式,第一种人工提取多种特征且不局限于文本特征结合随机森林算法进行恶意代码分类。本文选择将汇编操作码抽象为灰度图像,图像可视化的特点可以有效地发现新的特征。本文将恶意软件源文件经过IDA反编译后生成.bytes文件和.asm文件,.asm文件可以从两个角度提取特征。首先可以通过N-Gram算法提取文本特征,其次可以将.asm文件图像化转化成为灰度图像,灰度图像可以提取两方面的特征分别是颜色特征和纹理特征,最后结合随机森林算法进行分类。然而人工提取特征需要花费大量的时间对随机森林的各个参数进行调整,才能使不同的特征构建的随机森林达到较好的分类效果。为了提高提取特征的效率,实现算法提取特征的自动化。基于此提出了第二种分类方式,利用深度学习算法卷积神经网络对恶意代码的分类进行研究,利用B2M算法将恶意代码转化为灰度图像,并构建卷积神经网络结构对灰度图像进行自动训练和特征挖掘,最后通过网络层的输出结果实现对恶意代码的分类。第一种分类思路多特征融合结合随机森林算法对恶意代码分类的准确率达到了96.78%,第二种思路利用卷积神经网络对恶意代码的分类准确率达到了90%以上,虽然暂时没有超过人工提取特征的分类准确率,但也充分的展现了深度学习算法的潜力,最后对两种方法进行了对比、分析和总结。