本文对奇异摄动Markov决策过程的优化算法进行了研究。文章介绍了一类基于样本轨道的优化算法，而且该算法的最大的特点是针对于一类具有特殊结构的Markov决策过程.即，奇异摄动Markov过程.该过程的状态空间可以分解成为若干个互不相交的子空间的并，这些子状态空间之间的相互转移的概率远远低于每个子空间内的元素之间的转移概率.奇异摄动Markov过程的特点在于它的层次性的结构，第一层次是子状态空间的状态转移，第二层次是子状态子空间之间的转移.Markov决策过程的优化算法中有一类基于仿真的梯度算法.在这一类算法中，首先通过己知的概率转移矩阵，生成一条样本轨道，这里，样本轨道也可以通过实际系统的在线运行得到；这条样本轨道可以看作是摄动过程的状态序列s0，s1，s2，…，sn，…，其中si为摄动Markov过程的状态之一；通过随着时间演化的状态，这一类算法可以得到一系列相对于报酬的梯度的逼近值，经过证明可以知道，这些不断更新的梯度估计值将收敛到理论值.通过最终得到的梯度值，可以用它对参数进行优化，即，通过梯度的方向对参数进行寻优.在这篇文章中，将给出一个基于摄动Markov过程生成的样本轨道的优化算法，在这个优化算法中，不同于以往的算法，并不是在每个状态或是设定的常返状态出进行梯度的更新，而是将每一个子状态空间占据的样本轨道的一段作为一个整体，在子空间转移的时候对梯度进行更新，并且根据更新后的梯度对于参数进行寻优.这样依赖于聚集后的状态空间，可以得到一个更加节省计算量的优化算法。