随着信息化进程的不断深入和互联网技术的迅速发展，网络安全问题逐渐成为人们关注的焦点。在众多的网络入侵行为和攻击中，软件漏洞问题成为了人们的噩梦，并造成了众多的安全性事故，其中以缓冲区溢出最为显著。而缓冲区溢出之所以能够成为对网络安全造成严重危害的问题，主要是由于两方面原因，一个方面是其具有广泛的可利用性，这使缓冲区溢出成为当前最常见的一种攻击手段；另一个方面是其在实施攻击上越来越简单，传播起来越来越方便。基于此，对于缓冲区溢出的潜在漏洞挖掘方法的研究具有重要的意义。　　 本文主要围绕着缓冲区溢出和软件漏洞挖掘两大主题进行研究，主要贡献和创新点包括以下几方面。　　 (1)分析研究了缓冲区溢出的根本原理，以及各种不同类型的缓冲区溢出的方式和过程，同时分析了当前的软件漏洞测试方法，并对于静态漏洞挖掘和动态漏洞挖掘方法进行了比较。着重提出了模糊测试算法的重要性和发展前景。　　 (2)对Windows平台下的内容保护机制的原理进行深入的剖析和研究，并针对这些机制研究了各种突破方法，重点总结了所存在的突破方法的类型和思路，并分析了几种独特的、有效的关键技术。通过这些研究为软件漏洞挖掘模型设计奠定基础。　　 (3)在对于模糊测试的研究基础上，包括模糊测试的背景、现状、所存在的问题等，提出了一种基础遗传算法的启发性模糊测试方法--启发式遗传算法模型。并且详细介绍了该模型的表示假设、算法模型描述、遗传算子和适应函数，分析了在其独特的变异重组过程。并通过和几种基础的优化算法进行比较，验证了改进算法的性能。　　 (4)综合之前的研究和分析，提出了一种完整的软件漏洞挖掘模型，并对模型中的静态漏洞挖掘和动态漏洞挖掘方法进行了深入的分析。尤其对动态漏洞挖掘中特殊测试用例提供、模拟真实攻击测试盒启发式遗传算法应用的三大核心模块进行了详细的阐述。