混合交通流环境下基于改进强化学习的可变限速控制策略

现有的可变限速(VSL)控制策略灵活性较差，响应速度较慢，对驾驶人遵从度和交通流状态预测模型的依赖性较高，且单纯依靠可变限速标志(VMS)向驾驶人发布限速值，难以在智能网联车辆(CAVs)与人工驾驶车辆(HDVs)混行的交通环境中实现较好的控制效果。对此，结合深度强化学习无需建立交通流预测模型，能自动适应复杂环境，以及CAVs可控性的优势，提出一种混合交通流环境下基于改进竞争双深度Q网络(IPD3QN)的VSL控制策略，即IPD3QN-VSL。首先，将优先经验回放机制引入深度强化学习的竞争双深度Q网络(D3QN)框架中，提升网络的收敛速度和参数更新效率；并提出一种新的自适应ε-贪婪算法克服深度强化学习过程中探索与利用难以平衡的问题，实现探索效率和稳定性的提高。其次，以最小化路段内车辆总出行时间(TTS)为控制目标，将实时交通数据和上个控制周期内的限速值作为IPD3QN算法的输入，构造奖励函数引导算法输出VSL控制区域内执行的动态限速值。该策略通过基础设施到车辆通信(I2V)向CAVs发布限速信息，HDVs则根据VMS上公布的限速值以及周围CAVs的行为变化做出决策。最后，在不同条件下验...