进入21世纪以来,我国的城市化、机动化进程不断加快,小汽车保有量保持较快增长,导致交通拥堵、能源危机、环境污染等问题日益明显。交叉口作为交通咽喉,是发生交通拥堵的主要区域。城市交通信号控制作为交叉口时间资源和空间资源协同优化的方法,是智能交通系统的重要方向。强化学习作为一种探索性机器学习方法,是提高交叉口通行能力的有效手段。为此,本文研究了基于深度强化学习的交通信号控制方法,完成的主要工作如下:1.提出基于深度强化学习深度Q网络(DQN)的改进算法,使用多进程的方法,将训练神经网络和仿真环境并行进行,同时构建多个仿真环境,这些环境会并行的产生数据并放入经验池中,与传统的DQN算法相比,该方法会加速经验池产生的数据量,并提高神经网络的训练速度。2.使用改进的DQN算法应用于单点信号控制模型中。在强化学习中,提出状态,动作和奖励的表示方法。使用LSTM网络用于拟合状态和Q值的函数。并将结果与定时信号控制进行比较,结果表明,在一定的交通条件下,该算法使交叉口的通行能力提高了14.28%。3.结合了单点信号控制算法,将多智能体的深度强化学习算法运用到区域信号控制中去。在单点控制的方法的基础上,进一步改进状态、动作、奖励的表示方法,应用到区域信号控制中去。同时,为了解决不同交叉口的信号协调控制问题,提出在每个交叉口加入一个控制器????聄冴?.冴?,每个控制器分别独立地控制对应交叉口绿灯和黄灯的变化。结果显示,在与实际信号相位的控制中,使用多智能体信号控制方法在通行能力、停车延误和交叉口平均排队长度的表现均更优。