基于DQN算法的单点交叉口信号控制

我国城市交通信号控制系统是一个复杂的系统,交通流具有非线性、时变性、不确定性等特点,传统的建模和控制方式难以解决多变的交通流变化。为此,将深度强化学习方法引入交通控制系统中,构建一个单点路口的Agent模型,对交叉口进行智能化控制。首先,为了更加精确地描述交通状态,以车辆的排队数和车辆的平均速度进行交通状态空间设计。其次,采用灵活的相位组合方案,扩大强化学习的动作空间,奖励函数主要是采用交叉口累计延误、一段时间内交叉口通过的车辆数、交叉口排队长度和等指标系数的加权和。最后,以深圳市宝安区新湖路—金田路为研究对象,利用SUMO(Simulation?of?Urban?MObility)仿真平台对算法进行验证。实验结果表明,与定时控制相对比,所提出方法的交叉口总延误,排队长度和车辆等待时间有不同程度的提升。