多智能体系统由多个相互作用的自主智能体(Agent)形成的集合,其研究的核心问题是寻求建立一种有效的协同机制,使功能简单,相互独立的多个Agent通过协商、协调和协作完成复杂的目标任务或解决复杂的问题。强化学习通过与动态环境交互试错进行学习,是机器学习和人工智能领域的重要分支,它摒弃了考虑智能体的任务实现,转而通过奖惩来控制智能体的方式是一个飞跃。本文以强化学习算法为基础,针对大规模、实时、不确定性多智能体协作问题,研究多智能体协同算法框架和算法实现。完成的主要工作和成果如下:1、基于问题的马尔科夫特性,介绍了几种马尔科夫决策过程模型,并针对本文所研究多智能体问题的部分可观性,建立部分可观马尔科夫模型,并将其转换为符合MAXQ-Q求解算法的半马尔科夫模型。2、针对问题的大规模特性,引入MAXQ-Q分层强化学习算法进行问题层次分解,将状态-动作空间巨大、算法复杂度成指数级增长的多智能体问题进行分解,从而转换成递归求解线性小规模半马尔科夫决策问题。3、对于本文所采用的MAXQ强化学习算法中动作-状态搜索空间巨大的策略问题,通过与或图进行策略表示,同时,对于与或图中动作选取、状态转移等问题,结合状态抽象方法进行删减,以尽可能满足足球机器人等协同问题的实时性要求。4、基于上述工作,提出一种新的多智能体协同框架,并在具有大规模、实时、不确定性的Robocup2D足球机器人仿真比赛平台上进行算法实验,在满足实时性和稳定性的情况下,能获得更好的成绩。同时,将算法用于法国Aldebaran公司开发的NAO机器人的协作任务中,从实物实验上进一步验证了其可行性。