无人驾驶是汽车行业未来的发展方向,而决策模块是限制其发展的重要环节。由于强化学习是通过智能体与环境交互产生控制命令,同时考虑长期回报,十分符合无人驾驶决策过程,所以本文用强化学习方法建立决策模型。强化学习分为无模型方法与基于模型方法。其中,无模型方法存在学习速度慢,样本利用率低的问题;基于模型的方法决策效果受环境状态预测模型影响较大,另外使用预测模型优化策略会造成控制延迟,难以满足决策实时性要求。针对以上问题,本文基于无模型的深度确定性策略梯度（Deep Deterministic Policy Gradient,DDPG）算法,设计了结合环境状态预测模型的深度确定性策略梯度（Deep Deterministic Policy Gradient with Environmental prediction,EP-DDPG）算法作为无人驾驶决策模型,核心改进是建立了环境状态预测模型,通过该模型优化策略模型和值函数模型的性能,在保证样本利用率和控制实时性的同时,模型也考虑未来环境变化,进而输出更准确的决策控制信号。首先,建立在处理序列信号具有优势的长短期记忆网络（Long Short-Term Memory,LSTM）作为环境状态预测模型,并使用多编码器结构,使得在编码阶段相同性质的特征具备强关联,不同性质的特征具备弱关联,解码器结合注意力机制,使得在每个预测时步,算法能够根据各个历史时步信息对当前预测时步的影响大小而为其分配不同的权重,提高预测的准确性。其次,在环境状态预测模型建立好后,使用结合CEM（Cross Entropy Method）重要性采样算法的模型预测控制框架与环境状态预测模型交互得到最优动作样本序列,用最优序列的第一个动作作为专家标签对Actor网络预训练,在加快训练速度的同时也能解决直接用模型预测控制算法进行决策的延时性;同时,使用环境状态预测模型输出的上一时刻环境状态的隐藏信息作为值函数模型的输入,使值函数的计算能考虑未来环境状态的变化。最后,本文通过TORCS（The Open Racing Car Simulator）仿真平台搭建车道环境进行试验,将本文的EP-DDPG算法和DDPG算法对比验证,相较于DDPG算法,EP-DDPG在策略学习速度、决策性能方面表现更好。该模型不仅解决了传统强化学习模型训练效率低、样本利用率低和控制延迟的问题,同时决策模型会考虑未来环境状态的变化,进而能输出更准确决策命令。最终验证了EP-DDPG作为无人驾驶决策模型的可行性和优越性。