论文部分内容阅读
SDN(Software Defined Network)架构作为一种未来网络架构已经广泛被数据中心网络(Data Center Network,DCN)采用。随着大数据和云计算的发展,SDN数据中心网络中节点数目和流的数量越来越大,数据中心面临着网络拥塞的风险。深度Q网络(Deep Q Network,DQN),是深度增强学习(Deep Reinforcement Learning,DRL)中经典算法之一。该算法结合深度学习和增强学习二者的优点,以解决需要感知高维原始输入和决策控制问题。引入人工智能(Artificial Intelligence,AI)新技术解决拥塞问题,从而提高网络的整体性能,是一种顺应网络智能化发展趋势的适应SDN数据中心网络的拥塞控制方法。本文研究基于SDN的数据中心网络的拥塞控制问题。该拥塞控制方法有三方面的特点。首先,鉴于SDN的特点,我们采用基于流的拥塞控制方法。其次,引入深度增强学习技术,为SDN数据中心网络的拥塞控制问题提供智能。最后,我们通过控制器对全网的流全局地分配速率,既能使整个网络避免发生拥塞,又能使网络的数据链路利用率尽可能高,从而实现整个数据中心的拥塞控制。本文基于已有的基于增强学习的SDN数据中心网络拥塞控制算法,提出了一种基于Sarsa(λ)的SDN数据中心网络的拥塞控制算法。为了克服增强学习不具备高维感知能力的弱点,本文引入深度增强学习,提出了一种基于DQN的SDN数据中心拥塞控制算法。本文对所提出的基于Sarsa(λ)和基于DQN的SDN数据中心拥塞控制方法与已有文献中的Sarsa方法以及传统On-demand方法进行了拥塞控制对比测试。测试结果表明基于Sarsa、Sarsa(λ)和DQN方法均能有效地进行拥塞控制。测试结果还表明基于DQN的拥塞控制方法在算法收敛速度、链路利用率和流速率分配百分比等性能指标上,优于其他三种方法。