基于强化学习的干线信号混合协同优化方法

交通拥堵已成为很多大中城市普遍存在的社会问题。信号控制作为缓堵保畅的重要措施之一，愈发受到社会关注。信号优化手段可分为模型驱动和数据驱动两类，且随着交通大数据的不断充实，基于强化学习的数据驱动方法日益成为新兴发展方向。然而，现有数据驱动类研究主要偏重于决策模型设计，缺乏对智能体结构的探讨；同时，在多路口协同方面多采用分布式策略， 忽略了智能体之间信息交互，无法保障区域层面的整体最优性。为此，本文以干线信号为对象， 构建一种多智能体混合式协同决策的信号优化方法。首先，针对交通状态的多样性、异构性及数据不均衡性，设计分布训练-分区记忆的单智能体决策模型，并优化状态空间和回报函数，界定单路口控制的最佳方案；其次，融合分布式和集中式学习的模型优势设计多智能体交互方法，在单路口分布式控制的基础上，设置中心智能体评价局部智能体的决策行为并反馈附加回报以调整局部智能体的决策模型，实现干线多信号的协同运行。最后，搭建仿真平台完成效果测试与算法对比。结果表明：新方法与独立优化和分布式协同相比，在支路交通流基本不受影响的前提下， 干线停车次数分别降低了14.8%和13.6%，具有更好的控制效果。     

基于粒子群算法的道路交叉口信号配时优化模型——以昆明市为例

在现有交通资源下,利用交通信号的动态调控缓解交通拥堵是一种行之有效的方式。首先探讨了道路交叉口信号控制的空间和时间优化思路,在时间优化方面提出基于粒子群算法的信号配时优化模型。以昆明市学府路为例,在分析大量交通流数据的基础上,根据三相交通流理论,对交通状态进行划分并提出有针对性的控制策略。将信号配时优化模型应用于学府路3个相邻的关键交叉口。交通仿真和方案试运行结果显示,优化前后同步流状态下交叉口延误平均降低21.0%,车辆排队长度平均降低12.4%;堵塞状态下交叉口延误平均降低32.0%,车辆排队长度平均降低24.9%。这一结果表明该模型在道路交叉口信号配时优化中具有合理性和有效性。     

一种基于深度学习的离散化交通状态判别方法

在智能交通信号控制和交通流诱导系统中,交通环境状态的有效判别是影响交通控制决策的先决条件,本文针对交通流产生的大数据信息,结合深度学习算法提出一种离散化交通状态的判别方法.给出了包括交通状态数据采集、状态数据描述、状态深度学习和判别等功能模块的系统架构,构建了一种离散交通状态编码方法,为深度学习交通状态特征提供了数据基础.模型训练阶段,对采集到的二值和连续值交通状态数据,分别构建了两种不同的深度置信网络实现交通状态特征的无监督学习;模型微调阶段,在整合形成的高层抽象特征向量顶端增加softmax分类器,采用反向传播算法实现参数微调.最后,该方法基于VISSIM微观交通软件进行仿真,实验结果表明,离散交通状态编码方法可有效表达交通状态,基于深度学习的交通状态判别方法相对传统方法具有较高的准确度.     

基于Petri网的单点信号优化感应控制

基于连续Petri网,建立交通流混合控制模型,通过分析离散化的交通信号控制混合Petri网模型,研究单交叉口交通信号感应控制问题.基于混合Petri网模型参数的分析,建立了各相位车辆总停留时间的计算方法;从库所标识与变迁使能程度间的复杂关系出发,研究了库所标识的变化规律;以车辆总停留时间最短为目标优化感应控制模型,仿真计算各相位绿灯时间.结果表明:基于混合Petri网的优化感应控制方法,4个相位的车辆平均延误显著缩短,可以较好地实现单点信号控制.     

行程时间服从混合高斯分布的车队离散模型

为充分描述异质交通流条件下的车队离散规律,为信号配时优化、公交优先控制提供理论基础.考虑异质交通流条件下车辆行程时间分布特点,采用混合高斯分布拟合车辆行程时间分布.基于此,从流量角度推导了异质交通流条件下车队流量离散模型.通过实际调查数据,分析了下游交叉口到达流率分布与上游交叉口离去流率分布之间的关系,并将本文模型与Robertson模型、实际数据进行比较分析.结果表明,本文模型能够更好地描述异质交通流条件下的车队离散规律,与Robertson模型相比,平均预测均方误差减少了27%.     

基于强化学习的汇流瓶颈区可变限速策略研究

为提高高速公路汇流瓶颈区的通行效率,本文结合强化学习无需建立模型,具有智能学习的特点,对瓶颈区的可变限速策略进行了优化,首次提出了基于Q学习算法的可变限速控制策略.策略以最大化系统总流出车辆数为目标,通过遍历交通流状态集合,尝试不同限速值序列进行自适应学习.以真实路段交通流数据搭建了元胞传输模型仿真平台,通过将其与无控制和基于反馈控制的可变限速策略进行对比,对Q学习策略的控制效果进行评价.通行时间的降低和交通参数的变化表明,强化学习控制策略在提高汇流瓶颈区通行效率和改善交通流运行状况方面具有优越性.     

快速路可变限速与匝道控制协同优化策略

可变限速控制和匝道控制是快速路交通控制的主要手段,本文对两者的协同优化策略进行了研究.借助智能车路协同系统强大的信息感知能力,通过引入微观交通流信息,对经典METANET模型进行了改造,构建了可变限速控制影响下的微观METANET模型,实现了一种新的可变限速控制策略,同时,采用ALINEA算法,对入口匝道进行了优化控制,实现了两者的协同优化.最后,基于实际道路和交通流数据搭建了仿真平台,对微观METANET模型和协同优化策略的有效性进行了验证.仿真结果表明,微观METANET模型具有良好的交通流预测效果,协同优化策略能有效地改善快速路交通流状态.     

考虑博弈的多智能体强化学习分布式信号控制

交通需求的不均衡和波动会增加分布式信号控制优化的难度. 由于现有独立动作的多智能体强化学习(IA-MARL)仅基于自身的历史经验做出决策,基于IA-MARL的分布式信号控制难以及时缓解交通需求不均衡和波动的影响. 本文融入博弈论的混合策略纳什均衡概念,改进IA-MARL的决策过程,提出考虑博弈的多智能体强化学习(G-MARL)框架. 在采用带有泊松到达率的道路网络流量不均衡输入的格子网络中,分别对基于IA-MARL 和GMARL 的分布式控制方法进行数值模拟,获取单位行程时间和单位车均延误曲线. 结果显示,与IA-MARL相比,G-MARL在单位行程时间和单位车均延误方面分别改善59.94%和81.45%. 证明G-MARL适用于不饱和且交通需求不均衡和波动的分布式信号控制.     

基于短时交通流预测的单交叉口自适应控制

针对城市孤立交叉口交通流量未饱和的情形,为了使单交叉口控制方案适应于动态变化的交通流,提出了一种基于K近邻短时交通流预测的单交叉口自适应控制策略。首先依据路口历史交通流量数据预测未来5 min的交通流量,计算信号周期;然后建立以最大周期、相序、最大相位时间为参数的单交叉口自适应控制模型,根据实时的交通状态信息自动地调整相位顺序、最大相位时间和绿灯延长时间;最后使用VISSIM4.3软件,对广州市南沙区某单交叉口进行仿真,以车辆平均延误时间作为评价指标,与固定定时和分段定时控制方法相比较。仿真结果表明:本文方法的车辆总平均延误时间与固定定时和分段定时控制方法相比分别减少35%和15%,有效提高了交叉路口的车辆通行效率。     

平面交叉口信号控制多目标优化研究

从道路使用率、出行时间成本、环境保护三方面平衡交通效益出发,建立在饱和度约束下以通行能力、出行者平均延误、尾气排放量作为性能指标的平面交叉口信号控制多目标优化模型;模型可根据交通流状态的不同对控制目标有所侧重;最后运用遗传算法对模型进行优化。算例分析表明,该模型能较好的适应交通流状态的变化,可获得更好的交通控制效果。     

交叉口配时方案实时优化与仿真系统研究

为了充分利用交叉口的时空资源,缓减拥挤,根据单交叉口的实时检测器数据,基于优化模型和仿真模型,以均衡交叉口的交通压力目标,开发了一款交叉口配时方案实时优化与仿真系统,来对配时方案中的周期、绿信比、相序进行动态优化.实测结果表明,与传统定时信号控制方式相比,优化后的交通信号配时控制效果更好,车辆平均延误时间更少.     

面向单向交通路网的绿波协调设计方法

为提高单向交通路网运行效率，本文提出了一种单向交通路网绿波协调控制方法。首先， 分析不同类型的单行环路特征，考虑行人专用相位，建立单行环路中的路段行驶时间与交叉口信 号配时参数之间的约束关系，推导环路偏移绿信比的计算公式，以所有路段平均偏移绿信比最小 作为优化目标，给出最佳公共信号周期优化算法；然后，分析环路偏移绿信比与各路段偏移绿灯 时间的关系，根据约束关系将各个最小环路的偏移绿信比分配到环路上的单向路段，推导绿波带 宽大小计算方法；随后，以单向交通路网平均带宽占比最大为目标优化交叉口绿信比，给出交叉 口相位差计算方法，实现单向交通路网信号协调控制方案的优化求解；最后，以一个3×3的单向交 通路网为例进行案例分析，结果表明：利用本文方法求得的信号配时方案可以获得明显的绿波效 果，能够使所有交叉口的带宽占比均在70%以上，总体绿波效果优于SYNCHRO方案。针对未饱 和状态下的3种不同流量输入条件，利用VISSIM仿真实验，发现与SYNCHRO方案相比，本文提 出方案的路网直行车辆平均延误时间分别降低了9.0%、16.4%、26.1%，平均停车次数分别降低了 31.2%、48.8%、41.6%，路网的服务水平明显提升，有效验证了本文方法的可行性与优越性。     

交通信号控制参数的仿真优化方法研究

为优化区域交通网络中各信号控制器的配时方案,利用递推最小二乘算法(RLS)和同时扰动随机近似(SPSA)算法,由检测器流量估计DynaCHINA动态网络交通仿真与分析系统的动态OD矩阵,输入并标定各路段的速度-密度模型参数和饱和流量,获得网络状态的准确估计,包括各路段的速度、密度、流量、队列长度等;在此基础上,利用SPSA算法优化各信号控制器配时参数,包括各信号控制器的周期、相位差和绿信比,使得网络中车辆的平均旅行延误、队列长度、或交叉口通过量等指标最优. 针对实际路网的测试表明,本文的参数标定方法可以获得准确的检测器流量估计,结果明显优于Ashok K的动态OD矩阵与检测器流量估计方法;与现有的基于Synchro信号配时优化软件获得的结果相比较,该方法可较大幅度缩短车辆在路网中的平均旅行延误,并可推广应用于更复杂的区域路网的信号控制参数优化等场合.     

混合交通流环境下单交叉口自动驾驶车辆轨迹优化

信号交叉口对城市道路的通行能力以及车辆的燃油消耗具有重要影响。本文提出一种在自动驾驶车辆和人工驾驶车辆混合交通流环境下的自动驾驶车辆的轨迹优化方法。基于交叉口信号灯的配时方案,构建车辆旅行时间估计模型,并以自动驾驶车辆燃油消耗最小以及通行效率最大为目标,构建自动驾驶车辆轨迹优化模型,对车辆进行动态轨迹规划和控制。车辆轨迹滚动优化模型采用高斯伪谱法进行离散化求解,并基于SUMO仿真平台对模型结果进行验证。仿真结果表明,自动驾驶车辆可以通过优化自身控制变量影响人工驾驶车辆的运行状态,减少交通流的排队以及时走时停现象。本文提出的车辆轨迹优化方法对于降低车队整体燃油消耗、提升车队平均速度、缩短平均行程时间具有重要作用。     

降雨天气单点交叉口交通信号控制优化方法

为优化降雨天气下单点交叉口交通控制的效率, 引入了降雨修正系数, 建立了单点交叉口交通信号配时方法; 应用行动分析软件分析降雨天气交叉口处的高精度视频, 以标定饱和流率、损失时间和到达车速等参数的变化特征, 提出了饱和流率、损失时间与到达车速的降雨修正系数; 建立了基于模拟退火算法的优化模型, 计算了各降雨等级下的修正系数; 构建了基于VISSIM仿真测试环境, 评估了提出的模型优化降雨天气下单点交叉口交通信号控制的效果, 分别比较了采用优化后参数的定时配时与感应配时对采用原参数的定时配时方案的交通运行效率。分析结果表明: 小雨、中雨与大到暴雨天气下的平均车头时距分别比正常天气增加了0.314%、1.256%、2.871%, 平均损失时间分别增加了1.042%、2.829%、3.424%;在流量低于600pcu· (h·lane) -1时, 改进的感应控制方案效果较好, 比采用原预设参数方案的车均延误降低了12%~23%;当流量高于600pcu· (h·lane) -1时, 采用改进的定时控制方案效果较好, 车均延误比原方案降低13%~25%, 并可在临近饱和与过饱和状态时推迟锁死状态的产生, 车均延误最低。      

新型混合交通交叉口信号与车辆轨迹协同控制方法

新型混合交通环境下的交叉口交通控制可通过信号灯控制与自动驾驶车辆的轨迹控制协同实现,能够极大地优化道路通行资源利用效率。已有研究中,信号配时与车辆轨迹集中优化的控制策略难以应用于车辆自组织控制的现实场景,且往往计算复杂度较高。本文提出一种无中心框架下基于逻辑的交叉口信号与车辆轨迹协同控制方法。基于协同理论中的快慢变量主动伺服控制原理,设计一种交叉口信号配时慢变量与车辆轨迹策略快变量协同框架,并分别提出基于逻辑的信号配时优化和网联自动驾驶车辆轨迹协同控制方法。协同控制方法可以在车辆自主控制的条件下,一方面,实现交叉口信号配时动态适应交通需求;另一方面,实现网联自动驾驶车辆主动优化驾驶速度,高效通过交叉口。而且网联自动驾驶车辆在进口道可引导混合车队高效通过交叉口,降低绿灯启动损失,提高交叉口通行效率。仿真实验表明,本文的协同控制方法相较于传统控制方法可显著降低交叉口车辆平均延误,同时,基于逻辑的决策模型可实现快速求解。通过对网联自动驾驶车辆控制策略关键参数的敏感性分析,进一步讨论新型混合交通流交叉口通行公平性,并比较在不同网联自动驾驶车辆渗透率下的控制效果。     

基于机动车比功率的单点信号配时优化模型

为减少车辆延误和交通排放,基于机动车比功率提出信号交叉口红、绿灯期间污染物排放因子的标定方法.根据运筹学和交通流理论,以车辆延误和排放最小为目标建立单点交叉口信号配时优化模型.考虑小汽车尾气中的CO、HC和NOx三种污染物,利用 VISSIM 软件设计交通仿真实验,使用MATLAB软件编制参数标定和模型求解算法,根据车辆行驶状况数据标定每条车道组每种污染物的两类排放因子,并验证双目标信号配时优化模型.结果表明,与仅降低延误相比,双目标优化模型所获最优信号配时方案能使车均延误降低19%、交通排放减少11%.研究成果能有效减少交叉口延误和排放,为建立考虑交通排放的干道信号配时优化模型奠定理论基础.     

Mechanism Analysis and Implementation Framework for Traffic Signal Control of Over-saturated Intersection Group

For the purpose of improving traffic signal control at over-saturated intersection group, the traffic control targets and structure were optimized, and an implementation framework was proposed. After analyzing the congestion inducements, the maximum throughput and minimum average queue of critical route were selected as the optimization objectives. The critical route layer was added to optimize control structure. The implementation framework for signal timing plan optimization was also put forward considering the over-saturated traffic control characters. Detailed optimization measures for each layer were also discussed. Simulations with the traffic data of an intersection group at Guangzhou Road in Nanjing were selected to compare the performance of dynamic timing plan using proposed strategy and static timing plan. The results indicated the proposed method can be used to optimize traffic signal control of over-saturated intersections group with satisfying robustness and reliability.     

基于群体决策的多交叉口协同控制方法

基于竞争-合作的群体决策机制，将单点信号优化构建为各相位的交叉口通行权的竞争过程，将多点协同构建为上下游相位之间的协作过程，提出了一种兼顾多交叉口协同效益和单交叉口控制优化的路网信号配时设计方法；利用车路协同环境下路网内车辆路径信息的可感知性，动态精准地量化解析上下游交通耦合关系；在此基础上建立了分层动态决策框架，在单层决策中剥离了上下游交叉口控制决策对本地决策的影响，解耦协同控制模型中路网交通状态和信号控制决策之间的复合关系；设计了基于交叉口内各交通流向竞争力的分布式信号配时决策算法，并通过仿真试验平台比较了群体决策协同控制方法与传统协同控制方法的控制效果。研究结果表明: 相较于传统协同控制方法，群体决策协同控制方法可动态适应路网交通需求，在交通效率和稳定性上具有显著优势，在不同饱和度的交通需求水平下可降低车均延误15%以上；在路网交通饱和度较高的情况下, 群体决策协同控制方法延误降低幅度可达19.2%，控制优势更加明显；由于群体决策协同控制方法可在下游交叉口进口道车辆排队过长时减少上游车辆流出，可降低路网最大排队长度超40%，有效规避路网溢流风险；通过对群体决策协同控制模型的分布式求解，可实现单次决策过程计算时间小于0.01 s，具有应用于大规模复杂路网的实时信号配时决策的潜力。      

实时自适应交通信号控制优化理论模型

通过对交叉路口交通流到达和排队延误规律的研究,提出了一种新的交通信号控制理论,此理论把交通延误和停车次数综合为一个性能指标,称为PI值,建立了以PI值最小为目标的交通信号配时优化理论模型,该信号配时方法与通常采用的单点自适应信号控制方法的区别在于不但考虑了交通延误,而且考虑了停车次数,实现对交通延误和停车次数两个指标的优化,从而保证了以车队形式到达的交通流可以不间断地通过交叉路口,由于以实时交通流的到达规律为依据进行信号优化配时,因此,该信号配时优化模型又是实时自适应交通信号控制优化模型。