基于深度强化学习的城市交通信号控制综述

传统模型驱动的自适应交通信号控制系统灵活性较低,难以满足当前复杂多变交通系统的控制要求.近年来,深度强化学习方法在城市交通信号控制研究领域得到快速发展,并且与传统方法相比展现出一定的优势.交通信号控制在城市交通管理中起着至关重要的作用,因此,基于深度强化学习的交通信号控制具有较高的研究价值和意义.本文系统地介绍了深度强...     

考虑博弈的多智能体强化学习分布式信号控制

交通需求的不均衡和波动会增加分布式信号控制优化的难度. 由于现有独立动作的多智能体强化学习(IA-MARL)仅基于自身的历史经验做出决策,基于IA-MARL的分布式信号控制难以及时缓解交通需求不均衡和波动的影响. 本文融入博弈论的混合策略纳什均衡概念,改进IA-MARL的决策过程,提出考虑博弈的多智能体强化学习(G-MARL)框架. 在采用带有泊松到达率的道路网络流量不均衡输入的格子网络中,分别对基于IA-MARL 和GMARL 的分布式控制方法进行数值模拟,获取单位行程时间和单位车均延误曲线. 结果显示,与IA-MARL相比,G-MARL在单位行程时间和单位车均延误方面分别改善59.94%和81.45%. 证明G-MARL适用于不饱和且交通需求不均衡和波动的分布式信号控制.     

基于多智能体的城市交通区域协调控制方法

在分析城市道路交通信号控制特点的基础上,提出了基于多智能体的城市道路区域协调控制方法.在单路口Agent中引入加强学习方法,实现交通信号实时在线调整;在由多交叉口构成的区域路网中,以车辆平均延误为目标,通过多路口Agent之间的协调机制,实现城市交通区域信号控制的智能协调和全局优化,提高整个区域交通的效率,减少车辆的延误.通过仿真实验,与定时控制和感应控制相比,该方法使车辆的平均延误明显减小.     

智能体技术在城市交通信号控制系统中应用综述

为解决分布式复杂巨系统在动态环境中的不确定性问题,智能体计算技术发展迅速.交通运输系统在物理位置和控制逻辑上分散于动态变化的交通网络环境,非常适合采用智能体方法建模与描述.文中综述了智能体技术在交通信号控制系统中各个领域应用的技术与方法,包括系统架构、控制算法、建模与仿真,以及智能交通集成管理等方面;跟踪了智能体技术在国内外交通控制领域的具体应用,讨论了智能体技术在智能交通信号控制系统中应用的研究动向,提出发展基于多智能体的交通网络信号集成控制系统的关键问题在于系统交互性、自适应性和可拓展性.     

基于车均延误最小的Q学习交通信号控制方法

为了检测Q学习算法在信号控制方案中的效果,在Webster配时法的基础上,建立了适应交通信号控制及以车均延误最小为目标的奖惩函数,并详细说明了Q学习独立交叉口信号控制的原理和应用过程.通过流量波动大和小两个算例,验证了Q学习控制优于定时控制.     

基于强化学习的干线信号混合协同优化方法

交通拥堵已成为很多大中城市普遍存在的社会问题。信号控制作为缓堵保畅的重要措施之一,愈发受到社会关注。信号优化手段可分为模型驱动和数据驱动两类,且随着交通大数据的不断充实,基于强化学习的数据驱动方法日益成为新兴发展方向。然而,现有数据驱动类研究主要偏重于决策模型设计,缺乏对智能体结构的探讨;同时,在多路口协同方面多采用分布式策略,忽略了智能体之间信息交互,无法保障区域层面的整体最优性。为此,本文以干线信号为对象,构建一种多智能体混合式协同决策的信号优化方法。首先,针对交通状态的多样性、异构性及数据不均衡性,设计分布训练-分区记忆的单智能体决策模型,并优化状态空间和回报函数,界定单路口控制的最佳方案;其次,融合分布式和集中式学习的模型优势设计多智能体交互方法,在单路口分布式控制的基础上,设置中心智能体评价局部智能体的决策行为并反馈附加回报以调整局部智能体的决策模型,实现干线多信号的协同运行。最后,搭建仿真平台完成效果测试与算法对比。结果表明：新方法与独立优化和分布式协同相比,在支路交通流基本不受影响的前提下,干线停车次数分别降低了14.8%和13.6%,具有更好的控制效果。     

双环相位结构约束下的强化学习交通信号控制方法

随着信息技术的快速发展,近年来深度强化学习方法在交通运输领域得到广泛应用,特别是在交通信号控制领域,已成为当前交通信号控制发展的重要方向。本文针对强化学习在交通信号控制领域应用中存在的随机相位选择导致无法实际应用的问题,提出了一种考虑NEMA双环相位结构的单点交通信号控制强化学习方法。以典型十字交叉口的NEMA双环相位结构为约束,设计优化了在相位切换决策过程中智能体的控制结构,通过增加1个智能体决定前置和后置相位顺序以提升相位切换的灵活性、部署2个智能体决定前置相位是否切换、设置1个智能体同时切断后置相位绿灯,通过经验共享机制,有效降低了状态-动作空间维度,提高了智能体训练效率。在此基础上,采用定制化PPO算法,基于SUMO仿真平台分析了不同交通需求、不同信号参数等场景下的单点深度强化学习信号控制方法的效果。结果表明,在高中低不同交通需求下,本文的方法都优于传统的固定相位相序方法。     

基于异步优势强化学习的交通信号控制策略

为解决交通信号控制中的信号灯配时调度不合理、路口拥堵等问题,提出一种基于行动者-评论家算法的城市智能交通控制算法。该算法是一种基于异步优势的算法,可对交通状态特征进行抽象表征,并以多线程并行实现对交通状态的精确感知。该算法还参考了强化学习算法,能在最短时间内不断迭代优化其内部参数,得到交通信号控制的最优方案。为验证该算法的有效性,采用交通仿真软件SUMO,对该算法和其他3种典型的交通信号控制算法进行模拟仿真,并对仿真结果进行比较和分析。研究结果表明：与这3类典型算法中效果最好的Qlearning算法相比,该算法的交叉口车辆平均延误时间减少了14.1%,平均队列长度缩短了13.1%,平均等待时间减少了13.5%。该交通信号控制算法能有效地改善城市道路拥堵,提高道路交叉口的通行效率。     

基于强化学习下城市道路交通信号控制研究

随着现代城市的人流和车流的不断增加,交通拥堵问题越发地突显出来,而交通网络中对交通流的疏通主要是依靠对交通信号的有效控制,所以,完善和优化交通信号的控制是缓解交通拥堵的关键措施.同时,随机性和动态性是交通流的特点,而交通信号控制归根到底的问题是顺序决策,由此在交通流管控过程中应用强化学习是行之有效的措施.也就是说,将城...     

基于深度强化学习的自适应交通信号控制研究

为了提高交通控制算法的适应性和鲁棒性,缓解城市交通拥堵,提出了一种改进的D3QN(dueling double deep Q-network, D3QN)自适应信号控制方法。首先对几种强化学习自适应控制模式进行分析,然后在固定步长动作模式的基础上提出了不定步长动作模式,并构造了一种基于空间占有率的奖励函数;最后使用Sumo软件,对中山市东区街道某交叉口分别在稳定流和随机流场景下进行仿真。仿真结果表明：该方法具有良好的收敛性,有效地降低了延误时间和排队长度。     

基于多智能体的城市交通流控制原型系统

对中国目前的城市交通流控制系统存在的问题进行了分析。针对原系统结构中的不足提出了构建基于多智能体的智能城市交通流控制系统的思路, 并研究了该系统的基本框架和实现途径及方法, 同时探讨了该系统中各个交通智能体的结构以及它们的协调合作关系, 为基于多智能体的智能城市交通流控制系统的最终实现提供了理论指导和方法依据。     

基于多智能体系统的单元城市交通需求特性研究

我国大城市交通、环境问题日益突出,探讨城市形态对减少交通需求的影响是一个重要课题。论述单元城市的概念,并基于多智能体系统构建自下而上的城市微观模拟系统,结合竞租理论、经济地理学、交通规划理论等学科的成果,定量研究单中心城市与单元城市在交通效率、碳排放上的区别。结果表明,对于超过一定规模的城市,单元城市在减少交通需求、节能减排上有更好的表现。模型除用于研究理想城市形态对交通、碳排放量的影响外,还可用于研究与评价实际城市规划中不同城市形态方案的交通需求。     

基于事件驱动的城市交通信号控制方法

随着城市交通信号控制需求的不断提高,各种新智能交通信号控制算法不断被提出和改进。然而受到现有设备固有控制方式和不同类型信号机无法协同的局限,智能控制算法多停留在理论研究和仿真试验阶段。为实现不同交通信号控制算法的统一模式,提出一种基于事件调度的交通信号控制模型（ED-Model）。该模型将控制算法拆分为状态检测与请求调度两大功能模块,通过扩展后状态检测的抽象概念事件统一了系统输入,通过交通信号控制请求调度系统实现系统输入的响应模式,从而实现各类交通信号控制算法的统一实现架构。分析表明,ED-Model可以有效地实现当前各类常规控制需求,并对其他各类智能算法的移植实现具有较好的可扩展性。     

基于多智能体技术的城市交通控制系统的探讨

提出了一种新的基于多智能体技术的城市交通控制系统框架，并在该系统中的智能体模型中引入了学习机制，初步建立了一个具有专家系统的特点，可以不断进化的分布式城市交通智能控制系统。     

基于强化学习的汇流瓶颈区可变限速策略研究

为提高高速公路汇流瓶颈区的通行效率,本文结合强化学习无需建立模型,具有智能学习的特点,对瓶颈区的可变限速策略进行了优化,首次提出了基于Q学习算法的可变限速控制策略.策略以最大化系统总流出车辆数为目标,通过遍历交通流状态集合,尝试不同限速值序列进行自适应学习.以真实路段交通流数据搭建了元胞传输模型仿真平台,通过将其与无控制和基于反馈控制的可变限速策略进行对比,对Q学习策略的控制效果进行评价.通行时间的降低和交通参数的变化表明,强化学习控制策略在提高汇流瓶颈区通行效率和改善交通流运行状况方面具有优越性.     

混合交通流环境下基于改进强化学习的可变限速控制策略

现有的可变限速(VSL)控制策略灵活性较差,响应速度较慢,对驾驶人遵从度和交通流状态预测模型的依赖性较高,且单纯依靠可变限速标志(VMS)向驾驶人发布限速值,难以在智能网联车辆(CAVs)与人工驾驶车辆(HDVs)混行的交通环境中实现较好的控制效果。对此,结合深度强化学习无需建立交通流预测模型,能自动适应复杂环境,以及CAVs可控性的优势,提出一种混合交通流环境下基于改进竞争双深度Q网络(IPD3QN)的VSL控制策略,即IPD3QN-VSL。首先,将优先经验回放机制引入深度强化学习的竞争双深度Q网络(D3QN)框架中,提升网络的收敛速度和参数更新效率;并提出一种新的自适应ε-贪婪算法克服深度强化学习过程中探索与利用难以平衡的问题,实现探索效率和稳定性的提高。其次,以最小化路段内车辆总出行时间(TTS)为控制目标,将实时交通数据和上个控制周期内的限速值作为IPD3QN算法的输入,构造奖励函数引导算法输出VSL控制区域内执行的动态限速值。该策略通过基础设施到车辆通信(I2V)向CAVs发布限速信息,HDVs则根据VMS上公布的限速值以及周围CAVs的行为变化做出决策。最后,在不同条件下验...     

基于桥接设计模式的多Agent交通控制仿真

建立了基于多Agent的交通信号控制系统模型.设计了多Agent计算仿真系统的框架,运用桥接设计模式分析了仿真程序系统的描述并做了具体的实现说明.通过实例仿真系统的实现,结果证明了这些方法的有效性.     

基于RUP的多智能体交通控制计算建模分析

根据多Agent的智能行为协调,给出多Agent的分层递阶交通信号控制系统模型。通过Rational统一过程的OOA／D分析,设计和实现以多Agent计算为框架的软件仿真系统。通过实例仿真和实验结果证明该方法实现多Agent道路交通信号控制的可行性。