Design of Reinforcement Learning Parameters for Seamless Application of Adaptive Traffic Signal Control

Adaptive traffic signal control (ATSC) is a promising technique to alleviate traffic congestion. This article focuses on the development of an adaptive traffic signal control system using Reinforcement Learning (RL) as one of the efficient approaches to solve such stochastic closed loop optimal control problem. A generic RL control engine is developed and applied to a multi-phase traffic signal at an isolated intersection in Downtown Toronto in a simulation environment. Paramics, a microscopic simulation platform, is used to train and evaluate the adaptive traffic control system. This article investigates the following dimensions of the control problem: 1) RL learning methods, 2) traffic state representations, 3) action selection methods, 4) traffic signal phasing schemes, 5) reward definitions, and 6) variability of flow arrivals to the intersection. The system was tested on three networks (i.e., small, medium, large-scale) to ensure seamless transferability of the system design and results. The RL controller is benchmarked against optimized pretimed control and actuated control. The RL-based controller saves 48% average vehicle delay when compared to optimized pretimed controller and fully-actuated controller. In addition, the effect of the best design of RL-based ATSC system is tested on a large-scale application of 59 intersections in downtown Toronto and the results are compared versus the base case scenario of signal control systems in the field which are mix of pretimed and actuated controllers. The RL-based ATSC results in the following savings: average delay (27%), queue length (28%), and l CO₂ emission factors (28%).     

基于竞争循环双Q网络的自适应交通信号控制

为了更加有效且可靠地自适应协调交通流量,以减少车辆的停车等待时间为目标,提出了3DRQN(Dueling Double Deep Recurrent Q Network)算法对交通信号进行控制。算法基于深度Q网络,利用竞争架构、双Q网络和目标网络提高算法的学习性能;引入了LSTM网络编码历史状态信息,减少算法对当前时刻状态信息的依赖,使算法具有更强的鲁棒性。同时,针对实际应用中定位精度不高、车辆等待时间难以获取等问题,设计了低分辨率的状态空间和基于车流压力的奖励函数。基于SUMO建立交叉口的交通流模型,使用湖北省赤壁市交叉口收集的车流数据进行测试,并与韦伯斯特固定配时的策略、全感应式的信号控制策略和基于3DQN(Dueling Double Deep Q Network)的自适应控制策略进行比较。结果表明:所提出的3DRQN算法相较上述3种方法的车辆平均等待时间减少了25%以上。同时,在不同车流量及左转比例的场景中,随着左转比例和车流量的增大,3DRQN算法的车辆平均等待时间会有明显上升,但仍能保持较好效果,在车流量为1 800 pcu·h^-1、左转比例为50%的场景下,3DRQN算法的车辆平均等待时间相比3DQN算法减少约15%,相比感应式方法减少约24%,相比固定时长的方法减少约33%。在车流激增、道路通行受限、传感器失效等特殊场景下,该算法具有良好的适应性,即使在传感器50%失效的极端场景下,也优于固定时长的策略10%以上。表明3DRQN算法具有良好的控制效果,能有效减少车辆的停车等待时间,且具有较好的鲁棒性。     

全网络神经模糊控制在城市单路口交通实时控制中的应用

在已有城市单路口交通模糊控制方式和控制策略的基础上，提出了基于全网络化结构的神经模糊控制方法。方法考虑了影响信号灯控制策略的各种因素，根据分级并行控制思路，对车流采用不同的优先级和不同的控制策略进行协调控制，提高了系统的实时性，降低了系统的复杂性。采用6层全网络结构的神经网络进行了控制算法的实现，并利用已有数据对神经网络进行了学习训练，使网络结构和参数具有更为广泛的适用性。     

基于地空信息融合的无人机交通状态感知方法研究

现有的无人机（UAV）交通状态感知方法，主要针对宏观交通状态参数的获取，同时尚未克服UAV自运动对交通参数检测精度的影响，难以满足智能交通系统对于高精度微观交通参数的应用需求。为此，提出一种基于地空信息融合的UAV交通状态感知方法，该方法包括：地空信息融合模型、道路关键点（IKP）检测及跟踪、车辆目标检测及追踪算法和交通状态参数提取及估计。其中，地空信息融合模型利用地基信息（IKP世界坐标）与空基信息（IKP像素坐标）进行最优化融合，并通过自适应IKP追踪算法与自适应UAV位置偏移判断算法实时更新模型参数，以此克服UAV自运动对车辆轨迹精度的影响，进而获取可靠的车辆级（瞬时速度、车头间距和车头时距）与车道级（车道动态密度、车道流量和空间平均车速）交通状态参数。利用提出的感知方法获取实地拍摄视频的车辆级交通参数并进行了分布检验，同时比较了基于不同交通流模型的车道级参数估算方法。结果表明：该方法在车辆检测的mAP@0.5指数超过90%，同时提取的车辆轨迹相对完整，获取的车辆级和车道级交通状态参数也符合实际交通流状况。最后，将该模型应用于实地道路的交通拥堵检测及交通事件检测，该研究结果为UAV在现代交通感知和管理中的应用提供了一种理论和技术参考。     

Learning-based traffic signal control algorithms with neighborhood information sharing: An application for sustainable mobility

This research applies R-Markov Average Reward Technique based reinforcement learning (RL) algorithm, namely RMART, for vehicular signal control problem leveraging information sharing among signal controllers in connected vehicle environment. We implemented the algorithm in a network of 18 signalized intersections and compare the performance of RMART with fixed, adaptive, and variants of the RL schemes. Results show significant improvement in system performance for RMART algorithm with information sharing over both traditional fixed signal timing plans and real time adaptive control schemes. The comparison with reinforcement learning algorithms including Q learning and SARSA indicate that RMART performs better at higher congestion levels. Further, a multi-reward structure is proposed that dynamically adjusts the reward function with varying congestion states at the intersection. Finally, the results from test networks show significant reduction in emissions (CO, CO₂, NO_x, VOC, PM₁₀) when RL algorithms are implemented compared to fixed signal timings and adaptive schemes.     

基于RFID和视频监测的城市交通运行状态模糊判别

为了确定城市道路网路的交通状态,为主动的交通管理、交通诱导及控制提供支持,提出了一种基于无线射频识别(RFID)交通检测系统和视频监控系统的交通运行状态模糊判别方法.在该方法中,交通运行状态由从RFID系统获得的车辆行驶时间和从视频监控系统中获得的车辆速度决定.由于实际的交通状态可以从视频中直接观测,因此实际交通运行状态的阈值可以根据视频来校准,用以评估本文所提出方法的性能.基于安装于南京的RFID和视频交通检测系统进行实证分析,结果表明本文所提出的方法是可行的.下一步工作可推进交通数据,特别是 RFID数据在交通管理中的应用.      

实时自适应交通信号控制CPN建模分析

以单路口交通控制为研究时象,指出了传统单路口控制策略中存在的一些缺陷,提出一种优化的交通信号控制策略:实时自适应控制。按照该策略,采用非固定相序控制方案,并提出了相应相位持续时间的具体算法。然后,建立了实时自适应策略的着色Petri网(CPN)模型,对CPN模型进行静态结构分析和动态仿真分析,检验并确认所提出的策略和算法的可行性;最后,通过建立交通信号控制的评价指标来对该策略进行评价。仿真结果表明,与固定相序、固定相位持续时间的策略相比,该实时自适应控制策略对单一十字路口实现了更为有效和优化的控制。     

基于遗传算法的交叉口信号控制可靠性优化模型研究

随着城市道路交通网络可靠性研究的深入,交叉口的可靠性问题开始凸显。交叉口可靠性主要取决与各进口流量的大小和交叉口控制方式。当前以平均延误为优化对象的控制方式实际上很难满足路口可靠性的要求。本文在定义了路口旅行时间可靠性的基础上,运用概率论基础知识,建立了路口可靠性优化控制模型,并且运用遗传算法对优化模型进行了求解。     

基于多参数状态时间序列的交通状态预测方法

利用多个参数描述交通状态时,交通流数据表现为多维空间数据。提出了将属于每个状态的多维空间数据转换为一维时间序列的方法,对于此状态时间序列采用BP神经网络进行了下1个时段的交通状态预测。实验结果表明,多参数状态时间序列比单个参数时间序列能更准确地描述交通流状态变化过程,且算法简单,具有较强的预测实时性。     

基于三维视频融合的隧道运营管理创新应用研究

针对目前隧道数字化运营管理中存在的视频碎片化、视频与业务数据分离、缺乏二三维联动响应手段等问题，提出一种基于三维视频融合的隧道运营管理创新应用方法。1）对隧道运营过程中视频监控的应用现状与需求进行分析，为三维视频融合技术应用与创新实践提供方向； 2）利用BIM与点云重建技术构建隧道场景三维模型，形成隧道虚实融合的静态模型基础； 3）提出一种隧道监控视频三维注册与虚实融合绘制方法，将多路视频实时融合到三维隧道场景模型中； 4）在融合后的三维场景中汇聚融合多源物联传感数据，形成与真实隧道交通运行场景基本一致的数字孪生场景； 5）基于视频融合场景开展二三维联动的隧道保畅、事故救援、设施管理、应急响应等运营管理应用实践。示范应用结果表明，该方法有助于实现更加实时、高效、智能的隧道管理与服务。     

基于一种交通状态系数的城市路网交通状态评价研究

针对以往城市路网交通状态评价研究中大多从中观角度将路口归入路段而忽略了交叉口对路网交通状态影响的问题,选取交叉口进口饱和度和路段平均行程速度作为路网状态评价的基本参数,将宏观路网交通状态评价与微观交通状态分析相结合,定义了一种新的路网交通状态系数,作为交通畅通行驶的阻抗,研究确定了路网交通状态系数临界值,提出了一种新的...     

Handling Cut-In Vehicles in Strings of Cooperative Adaptive Cruise Control Vehicles

Cooperative adaptive cruise control (CACC) systems are a candidate to improve highway capacity by shortening headways and attenuating traffic disturbances. Although encouraging results have been obtained until now, a wide range of traffic circumstances has to be investigated in order to get reliable CACC systems driving on real roads. Among them, handling both vehicle-to-vehicle (V2V) communications-equipped and unequipped vehicles merging into the string of CACC vehicles is a commonly mentioned challenge. In this article, an algorithm for managing the transitions in response to cut-ins from V2V- or non-V2V-equipped vehicles is developed and tested using a string of four CACC vehicles. A CACC controller is implemented in four production Infiniti M56s vehicles and tested in real traffic, where non-V2V-equipped vehicles can cut in. The effects of a vehicle performing a cut-out are also investigated. Then responses to cut-ins by equipped and nonequipped vehicles are simulated for longer strings of vehicles using car-following models for both the production adaptive cruise control (ACC) system and the newly developed CACC controller. Results demonstrate that the CACC system is able to handle cut-in vehicles without causing major perturbations, while also reducing significantly the impact of this maneuver on the following vehicles, improving traffic flow.     

一种道路交叉口多相位模糊控制方法及其仿真

根据现代城市交通系统的实际状况,研究了单个交通路口的信号控制,提出了一种多相位模糊控制方法。该控制方法不仅考虑了每个相位的车流情况,同时也考虑了绿灯相位的通行时间和红灯相位的等待时间,使得控制决策更能接近人的思维,从而达到更理想的控制效果。而且虽然增加了整个控制器的输入变量,但是并没有增加系统的复杂性。最后利用TSIS仿真软件进行仿真,结果表明该控制方法的效果要优于传统的感应控制,是进行路口信号控制一种实用和有效的算法。     

交叉口信号控制自组织算法

为提高信号交叉口的控制效率,运用模式识别基本理论,对交叉口交通流运行状态的基本特征进行了提取,构建了信号控制模式类型与模式空间;依据定时控制、感应控制和自适应控制延误模型,运用统计模式识别方法建立了交叉口信号控制的模式分类方法;在此基础上,应用自组织理论,建立了信号控制方式之间的转换算法(自组织算法)与协商机制;最后结合哈尔滨市智能交通系统应用示范工程调查数据进行仿真。研究结果表明:交叉口信号控制自组织算法较单一信号控制方式在提高信号控制效益方面具有明显优势。     

高速公路视频联网监控方案的研究与实现

随着社会发展和科技进步,我国高速公路的建设也以前所未有的速度发展。由于运营管理者需要对高速公路运营路况实时、全面地了解和控制,所以高速公路视频联网监控系统也随之应运而生。视频联网监控系统经历了模拟视频、数字视频、远程网络视频阶段。它作为现代高速公路智能交通重要的组成部分,在运营管理中发挥着重要作用。结合高速公路视频联网的现状以及工程实例,从视频监控系统的构成、功能、联网技术等方面进行介绍。     

基于车载式视频图像的车辆行驶速度鉴定

文章论述了基于车载式视频图像鉴定道路交通事故中目标车辆行驶速度的基本原理,提出一种依据射影几何学中的交比不变性原理测算目标车辆行驶距离的算法。该算法可以避免因车辆运动轨迹与视频摄录设备镜头光学轴线不垂直而产生的误差,从而提高了目标车辆行驶速度鉴定的精确度。最后根据一个真实案例,探讨了用车载式视频图像进行车辆行驶速度鉴定的方法、步骤以及主要注意事项,可为评价这一鉴定方法的准确性和科学性提供参考。     

BRT车站濒临交叉口的信号配时优化算法研究及应用

当BRT车站濒临交叉口时,上游交叉口的信号控制易影响下游车站的进站排队,进而影响车辆在车站的延误;以车辆在交叉口的延误和在车站的延误总和最小为目标,采用动力学、信号控制和交通流等方法建立交叉口的信号配时优化算法,并用Visual Basic实现算法。以广州市中山大道BRT的车陂交叉口与车陂站为案例,用Vissim仿真验证算法。仿真结果表明算法的正确性与实用性,实现了车辆的总延误最小。     

城市交通智能控制优化算法

在传统的交叉口信号模糊控制基础上，提出了基于相序优化的模糊控制算法，并用改进的遗传算法优化模糊控制规则。对相序的优化考虑了驾驶员的心理，执行了专家的决策；对控制规则进行优化，减少了因专家主观性而导致控制器的不完备性。以典型的十字交叉口和四相位交通信号控制为例，选择不同时段的交通流数据进行仿真。结果表明：采用该控制算法设计的信号控制器能有效避免交通流不平衡引起的拥挤堵塞，具有更好的实时性和控制效果。     

基于均衡原理的单向交通瓶颈路段诊断法

以单向交通组织区域边界的道路节点为OD点,把交叉口转向流线虚拟成路段,转向车道的通行能力作为虚拟路段的容量,转向车道的行程延误作为虚拟路段的交通阻抗,与实际的路段一起组成单向交通组织区域节点OD之间的路径,采用集合运算合成节点OD之间的通道容量。利用交通均衡方法,经交通分配得到单向交通组织区域的路段和虚拟路段的交通量。通过计算饱和度判断路段和交叉口的拥挤程度,诊断出交通瓶颈,为单向交通组织方案的完善提供可靠的支持。     

隧道照明多元控制系统研究

目前的公路隧道照明控制系统或能源严重浪费,或可靠性不高,已无法满足隧道安全节能运营的需求。介绍隧道照明多元控制系统,其原理是通过在线诊断子系统对隧道的运营环境及照明系统进行实时监测,并根据从隧道现场获取的隧道运营信息及现场交通参数自动选定对应的照明控制方式,从而在保障行车安全的基础上,实现节能照明。