追捕逃跑问题是研究多智能体协调与合作的理想平台,在多机器人系统上实现追捕过程具有较大的挑战性,这项研究涉及到动态环境下的实时知识处理、无线通信、多机器人控制与协作,实时动态路径规划等多学科的知识。本文以多个追捕者追捕单个逃跑者问题为背景,研究四个追捕者之间通过学习进行合作与协调并将一个逃跑者抓获。强化学习的特点是无监督学习和在线学习,通过感知环境状态信息来学习动态系统的最优策略,通过试错法不断与环境交互来改善自己的行为,且不要求对环境有先验知识,是一种可以应用到实时环境中的在线学习方式,因此在智能控制领域得到了广泛而深入的研究。强化学习中较为经典的学习算法有Watkins提出的Q学习方法和Sutton提出的TD(时序差分)学习方法。随着机器人数目的增多,状态空间呈指数级增长,因此,强化学习的速度会明显下降。为了解决这种维数灾难问题,研究者引入了分层强化学习的概念并提出了一些有效的方法。比较典型的分层强化学习包括HAM、MAXQ和Option方法。Option方法以其灵活性和易于设计的特点受到研究者的青睐,因此本文将分层强化学习中的Option方法应用于多机器人围捕领域,取得了很好的效果。仿真实验表明,Option方法无论是从学习速度上还是围捕质量上都明显优于Q学习。