基于强化学习的车道级可变限速控制策略

针对高速公路合流区主线各车道交通流运行状况受合流车辆影响的差异性,研究了1种基于强化学习的车道级可变限速（differential variable speed limit, DVSL）控制策略。由于DVSL控制问题存在高维动作空间求解困难,本文利用限速变化值优化动作空间,确定状态空间以及考虑多因素的奖励函数;在求解过程中,使用优质经验回放技术（prioritized experience replay,PER）进行改进,以提高训练效率和模型性能;同时提出1种车道间的安全检测机制辅助PER-DDQN展开训练,保证车道级可变限速模型可实施性。
利用SUMO仿真软件测试所提出策略的控制效果,结果表明：所提出的车道级可变限速策略相较于未实施可变限速控制场景,全程行程时间降低41.88%、平均速度提高5.65%,合流区行程时间降低66.91%、平均速度提高43.42%;且车道级可变限速控制策略下合流区内各车道拥堵时间明显缩短,速度变化更加平稳。此外,还测试了智能网联车（connected-automated vehicles,CAVs）在不同渗透率场景对所提出策略的影响,渗透率在低于60%时实施车道级可变限速策略控制效果明显优于未实施可变限速控制策略,在渗透率为20%、40%和60%的场景中平均全程行程时间分别降低了41.88%、13.38%和7.46%,平均速度提高了6.08%、2.36%和1.61%;当渗透率达到80%以上时,鉴于CAVs车辆能明显改善交通流状况,实施车道级可变限速控制策略改善效果不明显。