近年来，网络空间的争夺日益激烈，面对复杂多变的网络攻击和破坏行为，如何设计更有效的攻防机制已成为网络安全领域的研究热点。传统的网络安全策略主要分为两类，一类是安装被动防御措施（例如防火墙），一类是安装主动防御设备（例如入侵检测系统）。然而，这两类传统策略均无法对网络安全的决策框架进行量化，也很难准确捕捉攻击行为的人为意图。对于此弊端，在九十年代末，基于博弈论的网络攻防模型被提出，以高效量化网络系统的攻防行为，并求解出有效的安全策略:纳什均衡策略与社会最优策略。然而，针对不同的网络安全场景需要基于不同的博弈论模型进行建模。是否能够建立一个统一的模型来完成对多类安全场景的建模？是否能够提出一个统一的算法，完成对该模型上纳什均衡策略和社会最优策略的量化分析与求解？　　本论文的研究目标就是试图回答上述问题。我们的工作主要是基于概率传值进程演算，刻画不同网络安全场景下攻防行为所引起的网络状态的迁移。一般地，网络上的用户具有不同的恶意类型，例如合法用户、攻击者等。因此，网络安全场景可以大致分为两类:一类是防御者可以通过白名单或黑名单来确认与之交互的网络用户的恶意类型，一类是防御者无法确定与之交互的网络用户的恶意类型。具体地，我们提出两个安全模型:Reactive安全模型和Generative安全模型。Reactive安全模型可以刻画第一类网络安全场景，其中交互双方可以通过监控网络捕捉到对方的行为。Generative安全模型是Reactive安全模型的保守扩展，能够对防御者不了解网络用户的恶意类型的安全场景进行很好的刻画。我们分别形式化定义了纳什均衡策略与社会最优策略在这两个安全模型上对应的性质，并提出相应的算法进行求解。算法的基本流程是:通过概率互摸拟和图论方法分别对模型进行最小化及抽象化，根据Tarjan强联通分量算法将模型层次化，最后根据逆向归纳思想，求解相应的安全策略。我们实现了算法，并完成算法终止性与正确性的证明，最后通过多个实际的网络应用场景（网络系统脆弱性评估、入侵检测、无线网攻击、分布式拒绝服务攻击）阐明我们方法的高效性与灵活性。