一方面，互联网的快速发展为我们提供了灵活便捷的通讯手段和丰富多彩的信息资源，以及便利的电子商务交易平台，另一方面，网络所面临的安全问题也越来越严重。恶意代码行为分析是检测恶意代码的前提，它为杀毒软件提供病毒木马的行为特征，但是传统行为分析工具本身存在于不安全的系统环境中，容易受到攻击或欺骗，基于虚拟机的恶意代码行为分析正是为了解决传统分析工具的缺陷发展起来的。本文围绕基于虚拟机的恶意代码行为分析技术开展研究，针对现阶段缺少内核模块行为分析的缺陷，研究内核模块行为分析技术，主要贡献和创新点为：（1）提出一种基于“In-VM”思想的内核模块行为分析模型。现阶段，针对内核模块行为分析研究较少，主要原因有：一是所有的内核模块共享同一个内核空间，具有相同的系统权限；二是内核函数分散，无法使用传统的函数HOOK等方法来监视其行为。本文利用虚拟化技术的优势，VMM（Virtual machine monitor）运行在客户操作系统（Guest OS）的下层，具有更高的运行权限，以此来监视客户系统中的行为。本文利用“In-VM”的思想来隔离待分析的内核模块，分析其篡改系统关键数据或运行系统函数的行为。（2）研究自动化的内核模块恶意行为判别方法。在已知内核模块行为的前提下，如何自动化地判别该模块是否包含恶意行为是一个重点，本文从内核数据和内核函数两个方面展开研究，分析关键数据区并实施保护，对高危险行为实施报警；监控高危型函数的执行过程，基于函数流来判断是否存在恶意行为。（3）实现了基于“In-VM”思想的内核模块分析原型系统。本文在KVM的基础上实现了上述原型系统，利用VMM的虚拟机内存机制在客户系统内核中建立一个隔离的地址空间，待分析内核模块运行于该隔离空间中，其篡改系统关键数据或运行系统函数的行为都可以被监视。实验表明该原型系统能够分析DKOM行为、HOOK行为、系统函数执行等等。本文的研究得到湖南省教育厅产业化项目（11CY018)的支持，对提高恶意代码的分析能力和检测能力具有重要意义。