面向地ˉ空多智能体系统的区域覆盖问题,建立了基于分布式部分可观测马尔可夫决策模型(DEC-POMDPs)描述观测异构、驱动模式异构的多智能体系统,通过强化学习算法解决多智能体系统的路径规划及避障问题,主要包括以下几个方面的研究内容：首先介绍了由马尔可夫决策模型(MDP)向DEC-POMDPs模型的演变过程。由于智能体模型观测的局部特性和不确定性,各智能体获得的观测不再具备马尔可夫性,导致DEC-POMDPs模型求解最优结果时策略空间维度爆炸——即NEXP完全问题。其次,针对单智能体搭建了基于POMDP模型的区域覆盖仿真场景,利用QMDP算法和Q-learning算法求解行动策略。通过调整模型参数,分析了观测不确定性和观测精度对POMDP强化学习收敛效果的影响。再次,实现了基于DEC-POMDPs模型的多智能体在线规划算法,并搭建了多个多智能体仿真场景,验证算法的有效性。考虑到通讯动作的低耗时和高时效性,根据通讯动作判断智能体是否获得联合观测,设计一种包含多个强化学习模块的异构多智能体强化学习决策框架,在不影响分布式强化学习收敛速度的前提下,有效降低了通讯频率,提高了多智能体系统在隐性马尔科夫决策过程中的状态辨识度和决策效率。为了方便理论验证和理论分析,开发了基于MATLAB软件的多智能体强化学习工具箱,搭建了完善的强化学习仿真运算框架,实现了智能体运动学模型、地图环境仿真、强化学习算法等模块,设计实现了持久层模块,借助数据库技术改善了MATLAB软件处理超大矩阵数据的能力,为实验验证提供运算能力支撑。通过预定义接口、面对对象编程方法优化了各模块间的耦合方式,便于使用、改进或针对该工具箱进行二次开发。