基于异步优势强化学习的交通信号控制策略

为解决交通信号控制中的信号灯配时调度不合理、路口拥堵等问题,提出一种基于行动者-评论家算法的城市智能交通控制算法。该算法是一种基于异步优势的算法,可对交通状态特征进行抽象表征,并以多线程并行实现对交通状态的精确感知。该算法还参考了强化学习算法,能在最短时间内不断迭代优化其内部参数,得到交通信号控制的最优方案。为验证该算法的有效性,采用交通仿真软件SUMO,对该算法和其他3种典型的交通信号控制算法进行模拟仿真,并对仿真结果进行比较和分析。研究结果表明：与这3类典型算法中效果最好的Qlearning算法相比,该算法的交叉口车辆平均延误时间减少了14.1%,平均队列长度缩短了13.1%,平均等待时间减少了13.5%。该交通信号控制算法能有效地改善城市道路拥堵,提高道路交叉口的通行效率。     

基于车均延误最小的Q学习交通信号控制方法

为了检测Q学习算法在信号控制方案中的效果,在Webster配时法的基础上,建立了适应交通信号控制及以车均延误最小为目标的奖惩函数,并详细说明了Q学习独立交叉口信号控制的原理和应用过程.通过流量波动大和小两个算例,验证了Q学习控制优于定时控制.     

基于自适应迭代学习控制的列车自动驾驶算法

针对高速列车自动驾驶系统受到时变外部扰动和受限状态的情况,提出一种基于迭代学习控制的自适应控制算法. 基于Lyapunov 函数,利用列车运行过程中的状态偏差,推导出自适应迭代学习控制律和参数学习更新律. 构造类Lyapunov 函数的复合能量函数,通过迭代域的差分,证明其差分负定性和收敛性. 采用所提控制算法对列车跟踪性能进行计算机仿真和实例仿真验证,结果表明,所提出的自适应迭代学习控制算法对列车期望曲线跟踪具有较高的精度和较快的收敛速度,能够在较短的迭代次数实现对期望曲线的精确跟踪.     

基于深度强化学习的自适应交通信号控制研究

为了提高交通控制算法的适应性和鲁棒性,缓解城市交通拥堵,提出了一种改进的D3QN(dueling double deep Q-network, D3QN)自适应信号控制方法。首先对几种强化学习自适应控制模式进行分析,然后在固定步长动作模式的基础上提出了不定步长动作模式,并构造了一种基于空间占有率的奖励函数;最后使用Sumo软件,对中山市东区街道某交叉口分别在稳定流和随机流场景下进行仿真。仿真结果表明：该方法具有良好的收敛性,有效地降低了延误时间和排队长度。     

交通信号控制方法综述

如何缓解交通拥堵问题是近年来的一个热点话题,国内外一直致力于对此问题进行研究,其中对于交通信号控制方法的研究较多。目前常用的城市交通信号协调控制的方法为单点控制、干线控制和区域控制,这些交通信号控制方法经历了从手动到自动、固定周期到可变周期、无感应控制到感应控制、单一交叉口到关联交叉口再到区域交叉口控制的进步历程,每种方法相应可以满足不同交通系统的控制需要。基于国内外现有的研究成果,对单点控制、干线协调控制和区域协调控制方法进行了梳理,为发展智能交通,解决交通拥堵问题提供更有效的途径。     

基于模糊神经网络的交通信号控制

本提出一种将模糊控制与人工神经网络和结合的自组织学习方法对交通信号进行实时控制。该方法以模糊神经网络为核心，应用在线滚动学习模型生成交通信号配时方案。这种方法克服了现有控制方法需要大量的数据传输，准确的数学模型等缺陷。中应用微观交通仿真系统对模型进行了校验，仿真结果表明该方法有效。     

基于预测控制的动车组迭代学习控制方法

针对动车组运行过程中存在非线性扰动、参数时变等问题,以提高动车组的速度跟踪精度和乘客舒适性要求为目标,提出了一种基于预测控制的高速动车组迭代学习控制方法;通过采集动车组先前运行过程中的输入输出数据,使用带遗忘因子的最小二乘法实时辨识广义预测控制(GPC)中的预测模型参数并计算预测输出,根据以往过程的平均模型误差修正该预测输出,利用修正后预测输出引出迭代学习控制律,在线实时计算得到新的控制量,实现动车组速度跟踪;采用修正后预测输出设计二次型迭代学习控制律,通过充分学习列车系统的重复性特性来解决传统比例积分微分(PID)型迭代学习参数整定难、收敛速度慢和鲁棒性差等问题,并给出算法的收敛性证明;以实验室配备的CRH380A型动车组半实物仿真平台对该方法进行了测试,建立了列车的三动力单元模型,使其跟踪设定速度曲线,并与一些传统算法进行对比。仿真结果表明：在第8次迭代过程,基于预测控制的高速动车组迭代学习控制方法得到的动力单元速度与其设定的速度和加速度误差分别在0.3 km·h^-1和0.5 m·s^-2以内,且变化平稳,其性能优于PID、GPC和P型迭代学习控制(P-ILC),满足列车跟踪精度与乘客舒适性要求;在模型参数突变的情况下,采用提出的方法可使列车更为及时地校正模型失配、时变和干扰等引起的不确定性。     

基于MP与MPC相结合的分布式交通信号控制研究

依托于最大压(Max Pressure，MP)分布式信号控制特性，结合已建立的实时排队长度预测模型，利用模型预测控制(Model Predictive Control，MPC)进一步对修正后的MP信号控制策略进行滚动反馈优化，提出了MP与MPC相结合的分布式信号控制方法. 模型验证结果表明：MPC嵌入后，MP优化下的交叉口1 与交叉口2 延误分别降低了13.47%、15.35%；并且对比了MP绿信比分配权重修正前后对控制输出的影响，优化后瓶颈路段的车道4 和车道10 的排队溢出次数分别从6 次和9 次降低为0 次，表明修正后MP绿信比权重的信号优化策略更能有效防止排队溢出现象的发生.     

双环相位结构约束下的强化学习交通信号控制方法

随着信息技术的快速发展,近年来深度强化学习方法在交通运输领域得到广泛应用,特别是在交通信号控制领域,已成为当前交通信号控制发展的重要方向。本文针对强化学习在交通信号控制领域应用中存在的随机相位选择导致无法实际应用的问题,提出了一种考虑NEMA双环相位结构的单点交通信号控制强化学习方法。以典型十字交叉口的NEMA双环相位结构为约束,设计优化了在相位切换决策过程中智能体的控制结构,通过增加1个智能体决定前置和后置相位顺序以提升相位切换的灵活性、部署2个智能体决定前置相位是否切换、设置1个智能体同时切断后置相位绿灯,通过经验共享机制,有效降低了状态-动作空间维度,提高了智能体训练效率。在此基础上,采用定制化PPO算法,基于SUMO仿真平台分析了不同交通需求、不同信号参数等场景下的单点深度强化学习信号控制方法的效果。结果表明,在高中低不同交通需求下,本文的方法都优于传统的固定相位相序方法。     

基于泛布尔代数的交通信号控制的数据挖掘

提出了将基于泛布尔代数理论的数据挖掘技术应用到城市交通信号控制中。针对城市单个T形交叉路口的交通流控制,利用这种新的数据挖掘技术对其进行了初步分析,采用了多相位实时控制策略;对提取的决策规则,建立起决策系统的泛布尔模型。仿真结果表明,通过这种新的数据挖掘技术得出的控制模型,对实时改善交通流的管理和控制,效果优于传统的交通流控制技术。     

Iterative Learning Based Adaptive Traffic Signal Control

Iterative learning control (ILC), as a branch of data-driven control, has obtained plentiful achievements both in theoretical research and practical application over the past two decades. Taking the traffic signal control system as a plant system, the paper introduces the idea of the ILC and fuzzy logic to design an adaptive data-driven traffic signal controller to improve the capacity of the intersection. The key rule of the signal control logic is described by fuzzy iterative theory, and the control strategy can adapt itself to the changing of traffic flow by iterative learning and handle the uncertainty and randomness in traffic system by fuzzy logic, so as to avoid the modeling of complex transport system and take advantages of data-driven on non-model control. Finally, the proposed method is testified to be applicable and effective based on the simulation results by VISSIM. The simulation result indicates that the effect of the proposed method is more effective than the fixed and actuated control approaches.     

һ�ֻ��ڵ���ѧϰ������Ӧ��ͨ�źſ��Ʒ���

迭代学习控制作为数据驱动控制的一个分支,经历二十多年的发展,无论在理论研究,还是在实际应用上都取得了丰硕成果. 本文以交通信号系统为被控对象,利用迭代学习控制和模糊理论的核心思想,设计基于数据驱动的信号交叉口自适应控制器,使交叉口的通行能力得到显著提升. 信号控制的关键规则采用模糊迭代理论,通过迭代学习使得信号控制策略适应交通流的不断变化,通过模糊理论处理交通系统中的不确定性和随机性,从而避免对复杂交通系统的建模,发挥了数据驱动的无模型控制优势. 最后,使用基于VISSIM的仿真平台对算法的有效性和实用性进行验证. 仿真结果表明,基于迭代学习自适应交通信号控制方法的控制效果优于定时控制和感应控制.     

基于遗传算法的交通信号多层模糊控制模型研究

针对城市交通信号控制问题,提出了一种基于交通需求强度的单路口多层模栅控制模型,第一层用来判断路口的交通需求强度;第二层为相位优化层,主要完成相位优化功能;第三层为绿灯时间优化层,用来确定各个相位的有效绿灯时间,针对模糊控制模型中隶属度函数优化的问题提出了利用遗传算法进行模糊控制模型中隶属度函数的优化模型,确定了遗传算法各类参数的计算方法,通过与普通多层模糊控制模型仿真的比较,结果表明本文提出的基于遗传算法的多层模糊控制模型具有较好的控制效果.     

城市交通感应控制综述

城市交通感应信号控制是一种重要的交通信号控制方法,目前被国内外许多中小城市广泛应用。简略介绍了传统的感应控制方法,重点论述了基于绿时有效利用率的感应控制、基于模糊控制和绿时有效利用率的全感应控制、具有相序优化功能的全感应控制等几种改进的感应控制算法的基本原理、控制过程及线圈安装位置,分析了各种感应控制方法的延时策略。分析了定时信号控制和感应信号控制的优缺点,最后对感应信号控制的进一步研究提出了几点看法。     

����ģ���߼��Ľ�ͨ�źſ��Ʒ�����������ɳ�ذ�������Ӧ��ǰ��

模糊控制器的应用于1977年首次在文献中提出,其中指出对于有简单绿灯延时控制的单车道交叉口,模糊控制器比车辆感应式控制器更具优势。此后,模糊控制器有了进一步发展,关于交通信号控制的模糊逻辑方法的研究也进一步深入,该方法被陆续应用于无转向车流的双车道交叉口、无限制的单车道交叉口、多交叉口、相位顺序和相位时长控制、拥挤交叉口和路网等等,尤其在高负荷和不均衡交通流条件下表现出优于传统交通信号控制方法的特性。模糊逻辑方法可以改善自适应交通信号控制,改变自适应控制器和TMS的整个决策过程,很大程度上改善未来的交通需求管理方法,然而这类交通信号控制和交通需求管理方法的实际应用并不多见。在诸如沙特阿拉伯这样的发展中国家,学者应根据本国的特有情况研究基于模糊逻辑的交通信号控制与TMS的发展潜力,从而减少拥挤导致的各种损失。     

����·��ͨ�ֲ�����ϵͳ�ĵ���ѧϰ���Ʒ���

本文基于快速路交通流分布参数系统模型,利用快速路交通流系统具有重复运行的显著特点,设计一种新的入口匝道分布参数迭代学习边界控制方案.所提出的方法采用带有反馈的PD-型控制律,不仅可以从以前重复过程中学习有用的知识,提高系统的控制精度;还可以有效的抑制当前运行过程中系统的量测噪声和扰动等不确定影响因素.该方法的另一个显著特点在于充分利用了快速路交通系统的分布参数模型描述,更全面地利用了系统的时空控制信息,从而提高了整个路段的控制性能.本文基于Matlab仿真进一步说明所提出方法的有效性和适用性.     

基于MP 与MPC 相结合的分布式交通信号控制研究

依托于最大压(Max Pressure,MP)分布式信号控制特性,结合已建立的实时排队长度预测模型,利用模型预测控制(Model Predictive Control,MPC)进一步对修正后的MP信号控制策略进行滚动反馈优化,提出了MP与MPC相结合的分布式信号控制方法. 模型验证结果表明：MPC嵌入后,MP优化下的交叉口1 与交叉口2 延误分别降低了13.47%、15.35%;并且对比了MP绿信比分配权重修正前后对控制输出的影响,优化后瓶颈路段的车道4 和车道10 的排队溢出次数分别从6 次和9 次降低为0 次,表明修正后MP绿信比权重的信号优化策略更能有效防止排队溢出现象的发生.     

基于多智能体的城市交通区域协调控制方法

在分析城市道路交通信号控制特点的基础上,提出了基于多智能体的城市道路区域协调控制方法.在单路口Agent中引入加强学习方法,实现交通信号实时在线调整;在由多交叉口构成的区域路网中,以车辆平均延误为目标,通过多路口Agent之间的协调机制,实现城市交通区域信号控制的智能协调和全局优化,提高整个区域交通的效率,减少车辆的延误.通过仿真实验,与定时控制和感应控制相比,该方法使车辆的平均延误明显减小.