人工智能是当前非常火热的研究领域,国家也将人工智能教育列入规划中,其中感知和决策是人工智能中非常重要的环节。得益于深度学习的迅速发展,深度强化学习(DRL)逐渐成为了该环节中关键的方法。深度强化学习通过深度神经网络感知高维信息,提取关键特征,再利用强化学习对这些特征输入作出相应的决策动作,在与环境的不断交互中改善自己的动作策略,目前,深度强化学习逐渐在多个行业崭露头角。其中游戏行业由于样本获取成本低、速度快,已经成为检验强化学习算法的基准(比如Atari游戏系列)。本文目的在于利用DRL来协助生成游戏中非玩家角色(NPC)的智能行为策略(AI)。本文基于深度Q学习网络(DQN),根据NPC智能应用特点,针对性的改进了 DQN框架,主要内容和贡献点如下:1.将深度强化学习应用于游戏设计领域,尤其是NPC的.AI设计行业。通过输入敌我双方的状态信息,自动生成行为策略。一方面通过不断采样学习可以提高智能性,另一方面自动生成行为策略也大大提升效率。2.提出基于DQN的分布式DQN(DDQN)框架。将采样与学习解耦,算法与智能体解耦,多进程模式加速了游戏样本的采集与学习,对于实际应用有着重要意义。同时融合了优先级采样、模仿学习,对原始算法进行了改进与优化。3.提出基于DQN的分层DQN(H-ART-DQN)。通过先训练子网络学会一些子目标,再从高层大尺度时间范围进行目标选择,在加速训练的同时,也可以生成不同风格行为策略,能够满足游戏AI设计的需求。