强化学习是随机环境中解决决策问题一种有效的方法。然而,在大状态空间,特别是在复杂随机状态下的应用领域,它仍然没有解决“维数灾难”的问题。目前,因素化强化学习作为强化学习在时间和空间上的扩展,已经被证明比强化学习更适合解决大状态随机控制问题,在机器人导航等方面有着广阔的应用前景。但是,目前的研究工作集中在学习前状态空间的前期处理,对学习过程缺乏深入研究。本文围绕强化学习前的状态空间的前期处理以及学习过程中值函数的值的存储和表示,对以下方面进行了研究和探讨:文章首先介绍了因素化学习的基本学习理论和研究进展,并对四种典型的强化学习算法作了分析比较,分析了它们的各自特点和适用情况,为后面的工作中算法的选择提供了基础。其次提出了改进的基于因素化表示的动态规划方法,针对动态规划方法中求解精确的Vπ值计算量复杂的问题,提出了改进的使用生成Vπ的线性近似值以获取算法的加速的方法;针对传统强化学习算法使用值函数Look-up表存储和表示值函数的值存在着的冗余度过高的问题,提出了决策树方法,并在后面的仿真实验中验证算法效果。最后提出了一种新的基于因素法方法的TD(λ)算法。其基本思想是状态因素化表示,通过动态贝叶斯网络(Dynamic Bayes Networks ,DBNs)表示Markov决策过程(Markov decision Process ,MDP)中的状态概率转移函数,结合决策树(decision tree)表示TD(λ)算法中的状态值函数的值,大大降低了状态空间的搜索与计算复杂度、以及数据的冗余度,因而适用于求解大状态空间的MDPs问题,对照实验证明了该表示方法是有效的。