基于深度强化学习的城市交通信号控制综述

传统模型驱动的自适应交通信号控制系统灵活性较低,难以满足当前复杂多变交通系统的控制要求.近年来,深度强化学习方法在城市交通信号控制研究领域得到快速发展,并且与传统方法相比展现出一定的优势.交通信号控制在城市交通管理中起着至关重要的作用,因此,基于深度强化学习的交通信号控制具有较高的研究价值和意义.本文系统地介绍了深度强...     

考虑博弈的多智能体强化学习分布式信号控制

交通需求的不均衡和波动会增加分布式信号控制优化的难度. 由于现有独立动作的多智能体强化学习(IA-MARL)仅基于自身的历史经验做出决策,基于IA-MARL的分布式信号控制难以及时缓解交通需求不均衡和波动的影响. 本文融入博弈论的混合策略纳什均衡概念,改进IA-MARL的决策过程,提出考虑博弈的多智能体强化学习(G-MARL)框架. 在采用带有泊松到达率的道路网络流量不均衡输入的格子网络中,分别对基于IA-MARL 和GMARL 的分布式控制方法进行数值模拟,获取单位行程时间和单位车均延误曲线. 结果显示,与IA-MARL相比,G-MARL在单位行程时间和单位车均延误方面分别改善59.94%和81.45%. 证明G-MARL适用于不饱和且交通需求不均衡和波动的分布式信号控制.     

基于多智能体的城市交通区域协调控制方法

在分析城市道路交通信号控制特点的基础上,提出了基于多智能体的城市道路区域协调控制方法.在单路口Agent中引入加强学习方法,实现交通信号实时在线调整;在由多交叉口构成的区域路网中,以车辆平均延误为目标,通过多路口Agent之间的协调机制,实现城市交通区域信号控制的智能协调和全局优化,提高整个区域交通的效率,减少车辆的延误.通过仿真实验,与定时控制和感应控制相比,该方法使车辆的平均延误明显减小.     

智能体技术在城市交通信号控制系统中应用综述

为解决分布式复杂巨系统在动态环境中的不确定性问题,智能体计算技术发展迅速.交通运输系统在物理位置和控制逻辑上分散于动态变化的交通网络环境,非常适合采用智能体方法建模与描述.文中综述了智能体技术在交通信号控制系统中各个领域应用的技术与方法,包括系统架构、控制算法、建模与仿真,以及智能交通集成管理等方面;跟踪了智能体技术在国内外交通控制领域的具体应用,讨论了智能体技术在智能交通信号控制系统中应用的研究动向,提出发展基于多智能体的交通网络信号集成控制系统的关键问题在于系统交互性、自适应性和可拓展性.     

基于车均延误最小的Q学习交通信号控制方法

为了检测Q学习算法在信号控制方案中的效果,在Webster配时法的基础上,建立了适应交通信号控制及以车均延误最小为目标的奖惩函数,并详细说明了Q学习独立交叉口信号控制的原理和应用过程.通过流量波动大和小两个算例,验证了Q学习控制优于定时控制.     

基于强化学习的干线信号混合协同优化方法

交通拥堵已成为很多大中城市普遍存在的社会问题。信号控制作为缓堵保畅的重要措施之一,愈发受到社会关注。信号优化手段可分为模型驱动和数据驱动两类,且随着交通大数据的不断充实,基于强化学习的数据驱动方法日益成为新兴发展方向。然而,现有数据驱动类研究主要偏重于决策模型设计,缺乏对智能体结构的探讨;同时,在多路口协同方面多采用分布式策略,忽略了智能体之间信息交互,无法保障区域层面的整体最优性。为此,本文以干线信号为对象,构建一种多智能体混合式协同决策的信号优化方法。首先,针对交通状态的多样性、异构性及数据不均衡性,设计分布训练-分区记忆的单智能体决策模型,并优化状态空间和回报函数,界定单路口控制的最佳方案;其次,融合分布式和集中式学习的模型优势设计多智能体交互方法,在单路口分布式控制的基础上,设置中心智能体评价局部智能体的决策行为并反馈附加回报以调整局部智能体的决策模型,实现干线多信号的协同运行。最后,搭建仿真平台完成效果测试与算法对比。结果表明：新方法与独立优化和分布式协同相比,在支路交通流基本不受影响的前提下,干线停车次数分别降低了14.8%和13.6%,具有更好的控制效果。     

考虑车道剩余容量的区域交通信号控制方法

平面交叉口是城市路网整体通行能力的瓶颈;是城市路网交通组织、交通渠化和交通治理的重点。深度强化学习通过智能体与环境交互寻找目标策略;契合交通环境复杂多变的特点;被广泛应用于平面交叉口交通信号控制领域。本文提出考虑车道容量的区域交通信号协同控制方法;通过建模上下游交叉口协作关系;在最大压力方法中引入交叉口下游车道容量信息设计奖励函数;同时;基于多智能体强化学习算法提出分布式区域交通信号协调控制方法。通过使用济南与杭州真实路网和交通流数据集进行性能验证;与现有区域交通信号控制方法相比;平均行程时间降低6.05%;平均延误降低18.39%;平均排队长度降低21.86%;吞吐量提升0.24%。     

基于深度强化学习驱动的智能交通信号控制研究

深度强化学习作为高效的机器学习技术,因其在复杂环境下进行决策和优化的能力而被广泛关注。为解决城市交通拥堵问题,探索智能交通信号控制技术的应用优势,以上海市徐汇区沪闵路/漕宝路的冲突优化为例,说明基于深度强化学习的智能交通信号控制技术的应用过程。研究结果表明,基于深度强化学习的智能交通信号控制技术能实现交通流的有效管理和优化,显著提高交通系统的整体性能。研究为相关人员提供实践参考,助力构建更加高效、智能的城市交通网络。     

双环相位结构约束下的强化学习交通信号控制方法

随着信息技术的快速发展,近年来深度强化学习方法在交通运输领域得到广泛应用,特别是在交通信号控制领域,已成为当前交通信号控制发展的重要方向。本文针对强化学习在交通信号控制领域应用中存在的随机相位选择导致无法实际应用的问题,提出了一种考虑NEMA双环相位结构的单点交通信号控制强化学习方法。以典型十字交叉口的NEMA双环相位结构为约束,设计优化了在相位切换决策过程中智能体的控制结构,通过增加1个智能体决定前置和后置相位顺序以提升相位切换的灵活性、部署2个智能体决定前置相位是否切换、设置1个智能体同时切断后置相位绿灯,通过经验共享机制,有效降低了状态-动作空间维度,提高了智能体训练效率。在此基础上,采用定制化PPO算法,基于SUMO仿真平台分析了不同交通需求、不同信号参数等场景下的单点深度强化学习信号控制方法的效果。结果表明,在高中低不同交通需求下,本文的方法都优于传统的固定相位相序方法。     

基于DQN算法的单点交叉口信号控制

我国城市交通信号控制系统是一个复杂的系统,交通流具有非线性、时变性、不确定性等特点,传统的建模和控制方式难以解决多变的交通流变化。为此,将深度强化学习方法引入交通控制系统中,构建一个单点路口的Agent模型,对交叉口进行智能化控制。首先,为了更加精确地描述交通状态,以车辆的排队数和车辆的平均速度进行交通状态空间设计。其次,采用灵活的相位组合方案,扩大强化学习的动作空间,奖励函数主要是采用交叉口累计延误、一段时间内交叉口通过的车辆数、交叉口排队长度和等指标系数的加权和。最后,以深圳市宝安区新湖路—金田路为研究对象,利用SUMO(Simulation?of?Urban?MObility)仿真平台对算法进行验证。实验结果表明,与定时控制相对比,所提出方法的交叉口总延误,排队长度和车辆等待时间有不同程度的提升。     

基于异步优势强化学习的交通信号控制策略

为解决交通信号控制中的信号灯配时调度不合理、路口拥堵等问题,提出一种基于行动者-评论家算法的城市智能交通控制算法。该算法是一种基于异步优势的算法,可对交通状态特征进行抽象表征,并以多线程并行实现对交通状态的精确感知。该算法还参考了强化学习算法,能在最短时间内不断迭代优化其内部参数,得到交通信号控制的最优方案。为验证该算法的有效性,采用交通仿真软件SUMO,对该算法和其他3种典型的交通信号控制算法进行模拟仿真,并对仿真结果进行比较和分析。研究结果表明：与这3类典型算法中效果最好的Qlearning算法相比,该算法的交叉口车辆平均延误时间减少了14.1%,平均队列长度缩短了13.1%,平均等待时间减少了13.5%。该交通信号控制算法能有效地改善城市道路拥堵,提高道路交叉口的通行效率。     

基于强化学习下城市道路交通信号控制研究

随着现代城市的人流和车流的不断增加,交通拥堵问题越发地突显出来,而交通网络中对交通流的疏通主要是依靠对交通信号的有效控制,所以,完善和优化交通信号的控制是缓解交通拥堵的关键措施.同时,随机性和动态性是交通流的特点,而交通信号控制归根到底的问题是顺序决策,由此在交通流管控过程中应用强化学习是行之有效的措施.也就是说,将城...     

智能网联交通环境下基于Q学习的路径规划

强化学习是人工智能领域常见的一种学习范式,强化学习通过不断地与环境进行交互来使得整体行动收益达到最大化。智能网联交通是未来智能交通的发展趋势,通过智能的路侧设施,可为智能网联汽车提供独特的鸟瞰视角输入。为研究强化学习在智能网联交通环境下对路径规划的作用,将智能网联交通环境提供的鸟瞰视角作为输入,使用Canny方法将俯视交通环境中的道路形状进行特征提取,简化成网格显示,从而把复杂的路径规划问题转换成简单的基于表格的求解问题。使用Q学习这种经典的off-policy强化学习方法,对智能网联汽车进行多交叉口路径规划。研究发现,Q学习在多至9个宫格的情况下,仍具有快速的收敛性和可靠的成功率。     

基于深度强化学习的自适应交通信号控制研究

为了提高交通控制算法的适应性和鲁棒性,缓解城市交通拥堵,提出了一种改进的D3QN(dueling double deep Q-network, D3QN)自适应信号控制方法。首先对几种强化学习自适应控制模式进行分析,然后在固定步长动作模式的基础上提出了不定步长动作模式,并构造了一种基于空间占有率的奖励函数;最后使用Sumo软件,对中山市东区街道某交叉口分别在稳定流和随机流场景下进行仿真。仿真结果表明：该方法具有良好的收敛性,有效地降低了延误时间和排队长度。     

基于多智能体的城市交通流控制原型系统

对中国目前的城市交通流控制系统存在的问题进行了分析。针对原系统结构中的不足提出了构建基于多智能体的智能城市交通流控制系统的思路, 并研究了该系统的基本框架和实现途径及方法, 同时探讨了该系统中各个交通智能体的结构以及它们的协调合作关系, 为基于多智能体的智能城市交通流控制系统的最终实现提供了理论指导和方法依据。     

基于事件驱动的城市交通信号控制方法

随着城市交通信号控制需求的不断提高,各种新智能交通信号控制算法不断被提出和改进。然而受到现有设备固有控制方式和不同类型信号机无法协同的局限,智能控制算法多停留在理论研究和仿真试验阶段。为实现不同交通信号控制算法的统一模式,提出一种基于事件调度的交通信号控制模型（ED-Model）。该模型将控制算法拆分为状态检测与请求调度两大功能模块,通过扩展后状态检测的抽象概念事件统一了系统输入,通过交通信号控制请求调度系统实现系统输入的响应模式,从而实现各类交通信号控制算法的统一实现架构。分析表明,ED-Model可以有效地实现当前各类常规控制需求,并对其他各类智能算法的移植实现具有较好的可扩展性。     

基于多智能体系统的单元城市交通需求特性研究

我国大城市交通、环境问题日益突出,探讨城市形态对减少交通需求的影响是一个重要课题。论述单元城市的概念,并基于多智能体系统构建自下而上的城市微观模拟系统,结合竞租理论、经济地理学、交通规划理论等学科的成果,定量研究单中心城市与单元城市在交通效率、碳排放上的区别。结果表明,对于超过一定规模的城市,单元城市在减少交通需求、节能减排上有更好的表现。模型除用于研究理想城市形态对交通、碳排放量的影响外,还可用于研究与评价实际城市规划中不同城市形态方案的交通需求。     

基于多智能体技术的城市交通控制系统的探讨

提出了一种新的基于多智能体技术的城市交通控制系统框架，并在该系统中的智能体模型中引入了学习机制，初步建立了一个具有专家系统的特点，可以不断进化的分布式城市交通智能控制系统。