随着科技的发展，人们对控制系统的性能提出了越来越高的要求，这就要求控制科技工作者不仅仅要保证系统的稳定性，同时还要求其最优性，最优控制越来越受到研究学者的关注。实际工业中存在大量非线性系统，这些复杂系统难于建立机理模型。与此同时，随着传感、通信等信息技术的广泛应用，这些复杂系统每天都会产生和存储着大量的在线和离线数据。因而，如何通过基于数据的控制理论来解决复杂系统的建模、优化与控制，已经成为控制理论界研究的热点问题。自适应动态规划(adaptive dynamic programming，ADP)在现代控制理论和机器学习理论基础上，是一种具有自学习能力和优化能力的智能控制方法。本文主要研究基于数据的自适应动态规划理论及其在多智能体中的应用，研究问题包括如下几个方面:　　1.本文研究了模型部分未知的确定性非线性系统的在线最优控制问题。传统的策略迭代和值迭代算法需要已知系统的模型，同时是一种离线的控制器设计方法，需要大量的计算，不适合实时控制系统。针对模型部分未知的确定性非线性系统，本文提出一种在线最优控制方法，通过辨识-评判-执行神经网络结构同时完成模型辨识，值函数近似以及策略提升。三个神经网络的权重是同步进行更新的，因此比传统的离线ADP收敛更快，最后利用Lyapunov方法证明闭环系统的状态以及各神经网络的权值误差最终一致有界。　　2.本文研究了基于在线强化学习的随机系统自学习控制。本文采用无模型GP-SARSA算法，在有限步的“试错”过程中系统能迅速自我学习。算法利用高斯过程良好的泛化性兼具一定的概率意义，根据模型在线数据用高斯回归过程近似Q函数。考虑到Q函数的数值稳定，传统Q-学习常常发生震荡，本文采用DelayedQ函数算法，用双Q函数结构保证了值函数的稳定性。　　3.本文研究了基于ADP的多智能体一致性问题。将传统线性多智能体一致性问题转化成最优控制问题，通过Riccati不等式设计反馈控制律，然而控制器中的参数和当前通信拓扑结构是相关的。但是实际应用中拓扑结构往往事先未知，尤其在切换拓扑的情况下。同时考虑到系统常常受到噪声的干扰，本文提出一种自适应的多智能体跟踪控制方法，控制参数可以根据当前智能体和邻居之间的状态误差自适应更新，并给出了算法的收敛性分析。同时将ADP扩展到多智能体中，对每个智能体分别定义性能指标函数，在合作博弈理论的框架下，采用广义策略迭代算法求解耦合HJ方程以获得纳什均衡解。算法采用执行-评判结构，每个智能体均采用神经网络近似其控制策略，并采用神经网络近似其对应的值函数。