基于Agent的城市道路交通信号控制方法

将Agent技术与Q学习算法相结合,应用到交通信号控制系统中,提出基于Agent技术的城市道路交通信号控制方法,建立了基于Agent的单交叉口信号控制结构模型,并阐述了Q学习机制的实现方法.系统根据交叉口基本的路况信息,以及实时采集到的交通量,通过加强学习的奖惩机制来动态调整不同相位的通行权及信号配时时长.当奖惩值为加强时,保持该相位通行权,并适当延长绿灯时间;当为惩罚时,则相应缩短绿灯时间或将通行权切换到下一相位,实现自适应控制,减少路口排队车辆的平均延误.通过对一个四相位交叉口进行仿真研究,与定时控制相比,控制效果得到明显提高.     

基于Agent控制器的单路口信号灯学习控制方法研究

将强化学习中的Q学习算法与Agent技术相结合,构成Agent控制器对单路口的信号灯进行控制.介绍了将经验知识与Q学习算法相结合实现的Agent学习机制,提出了一种适合交通环境的强化函数,以解决单路口的动态实时控制.经仿真软件Paramics对实际路口进行仿真实验,验证了该方法具有较好的控制效果.     

基于Multi-Agent的区域交通协调控制研究

提出了一种基于Multi-Agent的区域交通协调控制系统。系统针对路网中各交叉口交通流相互影响的特点，构造了一种基于分布权值函数的分布式Q学习算法，采用此算法实现了Multi-Agent的学习以及协调机制。通过各Agent间的协调控制来协调相邻交叉口处的控制信号，从而消除路网中的交通拥塞。最后利用微观交通仿真软件Paramics对控制算法进行了仿真研究，仿真结果表明了控制算法的有效性。     

基于模糊逻辑的单交叉口交通信号控制方法设计及实现

设计了一种单交叉口交通信号灯的模糊控制器,它是根据排队车辆数的多少来控制交通的.针对城市交通中到达路口车辆的随机性特点,以及目前交通灯采用的定相位定时长控制器的缺点,引入了交通灯的相位选择控制器和绿灯延时模糊控制器.相位选择控制器根据当前各红灯相位车流量的大小,以及持续红灯时间来选择下一绿灯相位;绿灯延时模糊控制器根据当前绿灯相位和下一绿灯相位的车流量大小决定绿灯延时时间.然后根据给出的排队车辆平均延误时间模型,对所设计的模糊控制器进行验证.利用Matlab进行仿真得到结果显示,在模糊控制器的控制下,车辆的平均延误时间要比传统的定相位定时长控制器控制下的时间小5.8s,证明了所设计的模糊控制器的有效性.      

一种道路交叉口多相位模糊控制方法及其仿真

根据现代城市交通系统的实际状况,研究了单个交通路口的信号控制,提出了一种多相位模糊控制方法。该控制方法不仅考虑了每个相位的车流情况,同时也考虑了绿灯相位的通行时间和红灯相位的等待时间,使得控制决策更能接近人的思维,从而达到更理想的控制效果。而且虽然增加了整个控制器的输入变量,但是并没有增加系统的复杂性。最后利用TSIS仿真软件进行仿真,结果表明该控制方法的效果要优于传统的感应控制,是进行路口信号控制一种实用和有效的算法。     

基于深度强化学习的单路口交通信号控制

合理的交通信号灯控制方案能减少交叉口处的排队长度,缓解交通拥堵问题.路口交通流具有非线性、时变性、不确定性等特点,对其建模困难,从而导致无法借助其精确的数学模型来优化交通信号控制方案.本文将深度强化学习方法应用到交通信号控制问题,深度强化学习Agent以减少路口处的排队车辆总数为目标,通过观察交叉口处所有入口车道的状态进行相位控制;使用SUMO仿真平台对本文提出的控制方法进行了仿真实验.实验结果表明,相较于定时控制方法,本文提出的基于深度强化学习的控制方法能显著减少交叉口处的排队车辆数,缓解交通拥堵.     

MDP下基于特征表示强化学习的自适应交通信号控制

将传统强化学习算法应用到交叉口自适应交通信号控制中,存在着维数灾难的问题,即状态和动作空间大小随着交叉口的增加而呈指数增长。因此,将交叉口自适应交通信号控制问题看成马尔科夫决策过程(MDP)问题,通过有效地利用基于特征的状态表示和线性平均函数估计思想,减少了计算复杂度,保证了收敛性。在设置的多交叉口交通环境下,仿真试验表明:在不同的交通需求水平和车流到达分布下,此算法均优于定时控制和传统的强化学习算法,并且其参数θ和学习步数是收敛的。     

基于Q-learning和BP神经元网络的交叉口信号灯控制

解决单交叉口信号灯最优控制问题。提出了基于强化学习的信号灯控制系统结构,应用强化学习中Q学习,将信号灯最优控制问题转变成是否切换运行相位的决策问题,提出了采用BP神经元网络实现Q学习的信号灯控制系统。应用微观交通仿真软件PARAMICS进行仿真分析,结果表明该系统能够感知交通流变化,并能够自适应地调整信号灯切换策略,以达到最优的控制效果,该方法是可行的,与定时控制相比具有明显的优势。     

基于TD3算法的人机混驾交通环境自动驾驶汽车换道研究

提高人类驾驶人的接受度是自动驾驶汽车未来的重要方向,而深度强化学习是其发展的一项关键技术。为了解决人机混驾混合交通流下的换道决策问题,利用深度强化学习算法TD3（Twin Delayed Deep Deterministic Policy Gradient）实现自动驾驶汽车的自主换道行为。首先介绍基于马尔科夫决策过程的强化学习的理论框架,其次基于来自真实工况的NGSIM数据集中的驾驶数据,通过自动驾驶模拟器NGSIM-ENV搭建单向6车道、交通拥挤程度适中的仿真场景,非自动驾驶车辆按照数据集中驾驶人行车数据行驶。针对连续动作空间下的自动驾驶换道决策,采用改进的深度强化学习算法TD3构建换道模型控制自动驾驶汽车的换道驾驶行为。在所提出的TD3换道模型中,构建决策所需周围环境及自车信息的状态空间、包含受控汽车加速度和航向角的动作空间,同时综合考虑安全性、行车效率和舒适性等因素设计强化学习的奖励函数。最终在NGSIM-ENV仿真平台上,将基于TD3算法控制的自动驾驶汽车换道行为与人类驾驶人行车数据进行比较。研究结果表明：基于TD3算法控制的车辆其平均行驶速度比人类驾驶人的平均行车速度高4.8%,在安全性以及舒适性上也有一定的提升;试验结果验证了训练完成后TD3换道模型的有效性,其能够在复杂交通环境下自主实现安全、舒适、流畅的换道行为。     

Agent技术在智能交通控制中的应用

基于目前交通问题及交通系统发展的现状，在前人理论的基础上，将Agent技术应用于交通控制系统，提出了基于Agent的智能交通控制系统体系结构，探讨了各个交通元素Agent的功能以及它们的协调合作关系，讨论了模糊控制技术在交通决策中的应用，最后进行系统仿真，仿真结果证明了这一方法的有效性。     

Asynchronous n-step Q-learning adaptive traffic signal control

Ensuring transportation systems are efficient is a priority for modern society. Intersection traffic signal control can be modeled as a sequential decision-making problem. To learn how to make the best decisions, we apply reinforcement learning techniques with function approximation to train an adaptive traffic signal controller. We use the asynchronous n-step Q-learning algorithm with a two hidden layer artificial neural network as our reinforcement learning agent. A dynamic, stochastic rush hour simulation is developed to test the agent’s performance. Compared against traditional loop detector actuated and linear Q-learning traffic signal control methods, our reinforcement learning model develops a superior control policy, reducing mean total delay by up 40% without compromising throughput. However, we find our proposed model slightly increases delay for left turning vehicles compared to the actuated controller, as a consequence of the reward function, highlighting the need for an appropriate reward function which truly develops the desired policy.     

基于多Agent的城市快速路协调控制研究

探讨了多Agent技术的特点及其应用,设计了基于多Agent的城市快速路控制系统的结构框架,包括区域协调Agent和控制Agent。并提出一种基于Q-学习的协调控制策略,实现Agent的学习功能。最后,通过微观交通仿真软件PARAMCIS对大望桥——四惠桥快速路交通区域建模,仿真结果表明结合Q-学习、模糊控制、仿真技术和信息诱导等方法的协调控制策略,可以在一定程度上改善整个快速路区域的交通状况。     

单点交叉口信号控制及仿真

针对交叉口交通流运行的高度复杂性和随机性,提出了一种多相位模糊控制方案。即根据交警在指挥交通时的思想,是否对某相位放行以及是否需要给此相位绿灯延时,取决于此相位排队长度和下一相位排队长度的综合比较。也就是用当前相和后继相的车辆等待长度决定信号配时。与交警的控制目标一致,即尽可能地提高整个交叉口的通行能力,降低车流的平均延误。借助Matlab模糊逻辑工具箱设计了二维模糊控制器,并在SimuLink环境下以车流的平均延误为评价指标进行仿真。结果表明,在不同的交通时段下与常规的定时控制相比,显示出了模糊控制的优越性,尤其在低流量交通条件下。最后,分析了不同自调因子对模糊控制器控制效果的影响。     

多相位交叉口半幅路权控制系统及其变形的设计方法

对一种多相位交叉口的半幅路权交通控制系统,进行了实现条件分析,给出了该类系统对应的整幅路权系统的相位和相位顺序的拓扑结构特征,从而有利于从已有的整幅路权系统的设计经验入手设计半幅路权控制系统及各种变形。文中给出了半幅路权交通控制系统各种可行的设计方法。此半幅路权交通控制系统可以使放行机动车的路面利用能力提高1倍,提高行人的过路能力达4倍,并成倍提高整个城市路网的放行能力。     

基于动态系统的交通分布优化预测方法

研究运输系统中动态交通分布的预测方法,即在运输系统中,当各交通小区的发生交通量及吸引交通量出现变化后,需根据当前交通OD分布表迅速确定下一阶段的交通OD分布表。确定OD分布是交通运输规划与管理的一项重要研究内容,目前已有的预测方法都需经反复多次迭代才能得到计算结果,计算速度不能满足动态交通系统的要求。论文通过建立预测动态交通分布的优化数学模型及严格的数学推导,得到了求最优交通分布的一个解析公式,应用闭回路法设计了满足非负约束并使误差增长最小的一种调整方法。由算例表明该模型计算速度快,计算效果好,适合动态系统的交通分布预测。     

高速公路隧道入口区域交通工程设施改善对策与应用

高速公路隧道入口区域交通事故率高于普通路段,尤其是追尾、撞击洞门事故频发,容易造成群死群伤。为提升高速公路隧 道入口区域的交通安全,在《公路隧道提质升级行动技术指南》对交通工程设施相关规定的基础上,提出隧道入口区域交通工程设 施应满足空间路权、驾驶人因和驾驶任务的基本原则。隧道入口区域典型问题集中于可变信息板、标志信息和视线诱导设施上,主 要是信息组合不良、交通标志位置不当、诱导信息不连续和不一致。由此进一步提出隧道入口区域标牌内容、形式和位置的设置建 议,并提出通过增设环形立面标记、隧道轮廓带、警示型线形诱导标、柔性警示柱和防撞桶等视线诱导设施来加强隧道入口区域的 视觉环境过渡的方法。最后,基于空间路权、驾驶人因和驾驶任务3 个基本原则对交通工程设施改善效果进行评价。     

智能网联混合交通流交叉口控制：研究进展与前沿

交叉口是城市道路交通运行的瓶颈点，是造成交通拥堵的问题所在。交通控制是调控交通流、预防和缓解交通拥堵的关键策略，在效费比上具有较大优势。智能网联、自动驾驶技术的发展催生了常规车辆(Regular Vehicle, RV)、网联车辆(Connected Vehicle, CV)和智能网联车辆(Connected and Automated Vehicle, CAV)组成的智能网联新型混合交通流，推动着城市道路交通控制对象、数据环境和控制手段的变革，为交通控制提出巨大挑战的同时，也为交通控制理论方法的创新发展创造了新的条件。智能网联混合交通流交叉口控制已成为国内外研究热点，尚处于研究起步阶段。根据路权特征，先从单点交叉口、干线交叉口和路网多交叉口3个层面梳理智能网联混合交通流环境下的共用设施交叉口控制研究，包括交通信号配时、车辆轨迹/路径规划以及车辆轨迹-信号配时协同控制。然后介绍自动驾驶专用设施交叉口控制研究，包括CAV专用车道、CAV专用路段、CAV专用区域和快速公交-CAV混合专用车道。通过对现有成果的梳理发现：虽然新型混合交通流交叉口控制研究取得了部分进展，但RV驾驶行为的随机性、...