随着国民经济的发展和城市化进程的加快，我国机动车保有量和道路交通量急剧增加，城市交通拥堵情况愈发严重。研究表明，道路交叉口是城市交通运输系统的瓶颈，因此，本文以城市交通信号控制为研究对象，提出先进的强化学习优化方法，实现单点交叉口和干线交通信号的优化控制，研究内容主要包括以下几方面:　　 第一，针对单点交叉口交通信号控制问题，采用基于强化学习的自适应控制方法，提出了归一化的回报函数，达到了良好的学习效果。　　 第二，对单点交叉口交通信号控制问题进行了大量的、系统的仿真实验，对强化学习中的若干问题，如算法收敛性、回报函数的设计以及状态离散化程度对算法的影响，进行了详细的比较分析。　　 第三，针对多Agent协调优化控制问题，提出了基于基团分解的多Agent分布式稀疏强化学习优化方法:在多Agent强化学习的回报分配方式方面，提出了基于基团分解方法获得更好的协调策略;把基于因子图的和积算法改造为一般最大和算法，并且与稀疏强化学习结合起来，能够以并行、分布的方式解决问题。　　 第四，在标准测试问题——传感器网络问题中进行了验证，将所提出的方法与其他六种多Agent强化学习方法、单Agent强化学习方法进行比较，所提出的算法均获得了最好的性能指标和最快的学习速度。　　 第五，进而在干线上多个交叉口的交通信号协调优化问题中验证。对单点交叉口控制策略和上层协调控制策略的学习进行了一定程度的分离，分别使用交叉口Agent和协调Agent进行学习，减轻了维数灾问题。针对相邻交叉口之间的特点，提出了对协调程度进行准确评价的新的回报函数，实验结果显示所提出的方法具有较优的性能。　　 最后，对本文的研究成果进行了总结，并展望了需要进一步研究的工作。