云计算是一种按需提供计算服务的新型计算模式,近年来得到了越来越多的应用。在云计算模式下,用户能够以较小的代价快捷地扩展随着业务需求不断变化的基础服务架构,而不需要花费高昂的硬件成本。为了能够提供高质量的服务,云服务提供商需要通过云计算资源调度策略,高效地将自己拥有的计算资源与云用户任务请求进行匹配以最大化自己的效益。因此如何设计一个高效的云计算资源调度算法是云计算领域中的一个研究热点。为了解决云计算资源调度所面临的问题,本文通过建模云计算资源调度问题为MDP问题,提出了一种以减少任务响应时间和低能耗为目标的基于深度强化学习的云计算资源调度算法DQNVMS。该算法首先会依据任务长度、任务截止时间和任务等待时间等参数对任务进行初步预处理以划分任务优先级,随后根据任务所需要的不同虚拟资源,我们将其划分到不同的队列中,依次将任务调度到对应的虚拟资源,此时对应的虚拟资源将处于忙碌状态,最后基于DQNVMS算法的调度模块会通过监控模块获取物理硬件设施状态和虚拟机资源状态,给出调度方案,即创建或者销毁不同类型的虚拟机,其中根据调度目标的不同侧重点,我们可以对不同的指标设定不同的参数值以提高调度效率。本文的主要工作有以下三点,首先将云计算资源调度建模为一个马尔科夫决策过程,并进一步采用基于深度强化学习的算法DQNVMS处理云计算资源调度。其次为了让强化学习做出的调度决策符合实际的物理资源约束,我们在强化学习的奖励上增加了资源超出限制的惩罚项,以减少不合理的调度动作。同时过于频繁地创建或销毁虚拟机将会带来额外的开销,所以我们也通过增加对于调度动作的惩罚项来减少不合理的调度行为。最后本文基于Deeplearning4j软件包和CloudSim平台进行了仿真实验,验证了算法参数对结果的影响,并通过与其他算法进行对比,证明了本方法的有效性。