本文主要研究随机系统的最优控制问题，寻找适用于非线性系统的在线优化算法。论文将随机控制系统看作连续状态的马尔可夫决策过程，通过系统的性能势建立优化方程，进一步利用优化方程得到策略迭代算法。性能势可以由系统的样本路径估算得到，该算法既适用于线性系统又适用于非线性系统，并且便于在线计算。 全文由以下五部分组成： 第一部分：介绍随机系统最优控制的研究背景和意义，概述随机系统最优控制的研究历史和现状、研究内容和研究方法。 第二部分：介绍本文所需的预备知识，包括常用的随机过程，特别介绍了马尔可夫过程和随机系统最优控制的一般理论。 第三部分：将随机控制系统看作马尔可夫决策过程，根据系统的性能势建立优化方程和策略迭代算法。进一步给出在线算法的方法和步骤，并尝试利用神经网络来加快在线算法的计算速度。 第四部分：将基于性能势的策略迭代算法应用到随机线性系统最优控制问题上，得到了求解最优控制律的黎卡提方程，其导出过程有别于传统方法。并将该算法与贝尔曼动态规划法相比较，分析各自的特点。 第五部分：对全文进行总结，对今后的研究趋势进行展望，并指出有待进一步研究的问题。