基于规则约束的深度强化学习智能车辆高速路场景下行驶决策

针对强化学习算法下智能车辆训练中动作选择过程随机性强、训练效率低等问题，提出了基于规则约束和深度Q网络（DQN）算法的智能车辆行驶决策框架，将引入的规则分为与换道相关的硬约束和与车道保持相关的软约束，分别通过动作检测模块（Action Detection Module）与奖励函数来实现。同时结合竞争深度Q网络（Dueling DQN）和双重深度Q网络（Double DQN）对DQN的网络结构进行改进，并引入N步自举（N-Step Bootstrapping）学习提高DQN的训练效率，最后在Highway-env平台高速路场景下与原始DQN算法进行综合对比验证模型的有效性，改进后的算法提高了智能车辆任务成功率和训练效率。     

全设置连续流交叉口信号配时及延误模型

为了解决连续流交叉口车辆多次停车问题，提出了各流向车辆在所遇第2条停车线处不用停车的优化控制策略。通过协调主预信号配时，调整信号控制相位相序方案，促使车辆直接通过所遇第2条停车线，使得左转车辆停车次数由3次减少到2次或者1次，直行车辆停车次数由2次减少到1次。分析各流向车辆到达-驶离图式，构建左转车流在所遇第3条停车线处的延误计算模型，结合Webster经典模型，给出连续流交叉口整体延误计算模型，其计算结果与VISSIM仿真结果基本一致。推导给出车辆不二次停车、车车不冲突以及连续流交叉口自身交通组织等因素所需满足的约束条件，以交叉口车均延误最小化为优化目标，构建连续流交叉口主预信号协调配时优化控制模型，并设计了4种交通场景以验证不同情况下的效益改善情况。研究结果表明：通过信号协调减少1次停车，能够降低50%以上的车均延误和车均停车次数；根据各转向交通量所占比例选择合适的车道分配方案有助于提升连续流交叉口通行效率；在2种策略下交叉口车均停车次数分别为0.88~1.05、0.59~0.77，与已有控制策略约2次车均停车次数相比，明显降低了连续流交叉口车辆停车次数。研究成果可为连续流交叉口控制提供新的视角，对交叉口通行效率的提升效果也更加显著。     

连续流交叉口通行效率仿真分析

针对现有交叉口左转车流与直行车流交叉冲突,车流不连续,运行效率低的问题,选取国外多个城市已经投入使用并取得良好效果的连续流交叉口为分析研究对象。介绍了连续流交叉口基本概念,在连续流交叉口车流组织和信号控制方案的基础上,利用Vissim仿真软件构建了连续流交叉口运行仿真模型,选取车辆延误为评价指标,对连续流交叉口的通行效率进行了评价分析。研究结果表明:随着连续流交叉口主信号交叉口与预信号交叉口间距的不断增加,左转车辆的平均延误没有明显变化,而直行车辆的车均延误缓慢增加;连续流交叉口左转车辆的车均延误较传统交叉口减少25%;直行车辆的车均延误较传统交叉口减少45%。     

基于通行能力的借对向车道左转交叉口信号控制模型优化

借道左转是一种在交叉口现有车道设置基本不变的情况下,为了保证更多的左转车辆可以快速通过交叉口而借用对向出口车道进行左转的新型交通组织方式。该交通组识方式适用于当前有专用左转信号相位且左转车流量较大的交叉口。基于苏州市人民路-十梓街交叉口的实际运行困境,在该交叉口进口道进行借对向车道左转的渠化设计和信号控制方案设计,以此来提高交叉口的交通流通行效率。通过分析车流到达情况和车道使用情况,基于传统交叉口通行能力公式,建立借道左转交叉口通行能力模型。接着以左转通行能力最大为目标,以预信号时长、借道左转车道的开口位置为优化变量,建立了交叉口信号控制方案优化模型,并采用迭代算法进行求解。最后通过仿真试验,利用人民路-十梓街交叉口的实际运行数据对所建立的优化控制方案进行验证,证明模型的有效性。结果表明:优化后的借道左转方案可以提高左转机动车通行能力,降低进口道延误,提高交叉口的整体运行效率;对于设置了借道左转车道的两个南北向进口道,左转车道的平均延误分别降低了35%和33%,平均排队长度也有显著下降,且对没有设置借道左转的东西进口道影响较小,说明该借道左转组织方案在左转车流量较大的交叉口适用性良好,具有实践价值和可操作性。     

基于强化学习DDPG的智能车辆轨迹跟踪控制

针对智能车辆在轨迹跟踪过程中的横向控制问题，提出一种基于强化学习中深度确定性策略梯度算法（Deep Deterministic Policy Gradient，DDPG）的智能车辆轨迹跟踪控制方法。首先，将智能车辆的跟踪控制描述为一个基于马尔可夫决策过程（MDP）的强化学习过程，强化学习的主体是由Actor神经网络和Critic神经网络构成的Actor-Critic框架；强化学习的环境包括车辆模型、跟踪模型、道路模型和回报函数。其次，所提出方法的学习主体以DDPG方法更新，其中采用回忆缓冲区解决样本相关性的问题，复制结构相同的神经网络解决更新发散问题。最后，将所提出的方法在不同场景中进行训练验证，并与深度Q学习方法（Deep Q-Learning，DQN）和模型预测控制（Model Predictive Control，MPC）方法进行比较。研究结果表明：基于DDPG的强化学习方法所用学习时间短，轨迹跟踪控制过程中横向偏差和角偏差小，且能满足不同车速下的跟踪要求；采用DDPG和DQN强化学习方法在不同场景下均能达到训练片段的最大累计回报；在2种仿真场景中，基于DDPG的学习总时长分别为DQN的9.53%和44.19%，单个片段的学习时长仅为DQN的20.28%和22.09%；以DDPG、DQN和MPC控制方法进行控制时，在场景1中，基于DDPG方法的最大横向偏差分别为DQN和MPC的87.5%和50%，仿真时间分别为DQN和MPC的12.88%和53.45%；在场景2中，基于DDPG方法的最大横向偏差分别为DQN和MPC的75%和21.34%，仿真时间分别为DQN和MPC的20.64%和58.60%。     

面向车流量智能检测的YOLOv7算法改进与应用

针对当前机器视觉识别中车流量检测的精度问题,以YOLOv7人工智能算法为基础,通过视觉跟踪并叠加注意力机制,提出一种基于YOLOv7和Deep SORT的改进型车流量智能检测方法。通过将注意力模块GAM与YOLOv7网络进行融合增强检测网络的特征提取能力;同时在改进后的YOLOv7网络中引入Deep SORT跟踪算法以改善车辆间相互遮挡导致复检漏检问题。实验选取重庆市渝中区经纬大道双向六车道为研究对象,在新铺社天桥上采用固定相机连接移动笔记本电脑的方式进行数据采集以及算法验证,为了保证算法的可重复性,分别选取早高峰、午平峰和晚高峰3个时段分别录取了5 min的交通流视频。利用在交通视频中通过设置虚拟检测线,让新算法在车辆检测的同时对车辆运行轨迹进行跟踪,当车辆经过检测线时记录车辆的身份编号,以此来实现交通视频的车流量监测与跟踪计数。实验结果表明：改进后的新算法相比于原YOLOv7算法在车辆检测方面平均精度提高了2.3%,视频车流量统计的精度提高了8.2%。     

逆向左转交叉口的全感应公交优先信号控制技术

逆向左转交叉口已在中国70余个城市实现常态化应用，各地却始终没有形成设置和运用配套交通控制设施的统一做法。当公交专用车道穿过逆向左转交叉口时，必须考虑如何实施公交优先信号控制。基于此，针对十字形逆向左转交叉口提出一种全感应公交优先信号控制技术，该技术对信号灯设置、信号相位设置、相位显示顺序选择和交通流数据采集提出具体要求。以消除逆向左转车道的交通安全风险、加快优先车辆的运行速度、减少机动车相位的绿灯浪费为目标，设计5组逻辑规则，构成信号控制算法，向优先车辆提供绿灯延长和绿灯早启服务，自动调整机动车相位的绿灯时长、预左转相位的红灯时长和绿灯时长。选取1个典型的十字形常规交叉口和1个十字形逆向左转交叉口作为试验对象，利用Vissim创建虚拟道路交通环境。在交通仿真试验中，通过D-最优设计生成1 000个高负荷交通需求场景，共进行3 000次仿真运行。研究结果表明：就应用全感应信号控制技术的交叉口而言，设置逆向左转车道会在统计学意义上显著影响交叉口性能，对于降低全体车辆平均延误有明显效果，对于降低优先车辆平均延误有一定效果；就逆向左转交叉口而言，将全感应信号控制技术升级成全感应公交优先信号控...     

排阵式交叉口延误及最佳周期模型

为了提高排阵式交叉口这一非常规信号交叉口的运行效率，对其延误和最佳周期进行分析。首先针对先直行后左转、先左转后直行和直行左转交替通行3种信号相位相序，通过对排序区内车辆驶入、驶离、受信号控制阻滞等车流运行情况的分析，构建可反映排阵式交叉口车辆2次停车启动的车均延误计算模型。通过仿真对比可知，左转和直行延误估算误差均在10%范围内。在此基础上，以交叉口总延误最小为目标，考虑清空时长、主、预信号相位差、绿灯时长等约束条件，建立排阵式交叉口最佳周期理论模型。针对不同排阵式控制进口道数量设置的情况，通过对最佳周期的拟合分析，建立最佳周期简化模型。与理论模型相比，最佳周期简化模型的拟合优度在0.935~0.972范围内。通过模型对比和案例分析，对最佳周期简化模型的优化效益和稳定性进行检验。研究结果表明：在非饱和状态下，建立的最佳周期模型的平均误差和均方误差分别为2.13%和2.39%，均小于Webster模型和HCM2010模型的计算结果，具有较高的准确性和稳定性，案例中可降低车均延误36.46%；相较于传统信号控制交叉口，建议排阵式交叉口采用较小的周期时长，且当关键流量比大于0.6时尤为显著，分析中发现最佳周期减小14.53%~34.65%。     

卫星岛式环形交叉口的概念设计

基于对环形交叉口分流方式的分析,以减少交织区车流量和缩短左转车辆绕行距离为出发点,提出了卫星岛式环形交叉口的设计概念,对现行环形交叉口形式进行了重组和改进:(1)在每条道路末端增设卫星岛;(2)车辆进入中心岛后绕中心岛顺时针单向行驶;(3)分离右转车道。据此设计了卫星岛式环形交叉口的构型。针对卫星岛式环形交叉口的交通组织方式,运用交通流线分析技术,重点分析了左转和调头车辆的运行路径。结果表明:卫星岛式环形交叉口能大幅提高交叉口的通行能力,尤其适用于左转和调头车流量大的交叉口,为现代平面交叉设计提供了一种新选择。     

平行流交叉口设计方法研究及通行效益分析

为解决常规交叉口左转和直行冲突问题,提出了一种创新设计的平行流交叉口,探讨了其信号配时方案及VISSIM仿真研究方法,给出了临界车流、主预信号协调、移位左转车道长度、预信号交叉口长度等信号配时依据,并比较了平行流交叉口和常规交叉口的通行效益。仿真结果表明,平行流交叉口能够提升交叉口通行效益,在低、中、高3种流量场景下,相对于常规交叉口,车均延误分别降低了45.63%、57.42%、75.55%,车均停车次数分别降低了7.5%、11.49%、48.10%,且当常规交叉口处于过饱和状态时,采用平行流交叉口效益更优。     

不同交通流状况下的交叉口信号控制策略

从交叉口信号的传统控制与现代控制两个层面，对不同交通流状况下的交叉口控制策略选取问题进行了较为全面深入的分析研究，分别讨论了定时控制、感应控制、模糊控制与最优控制在交叉口信号控制中的适用条件，并着重阐述了饱和交通状况下路口信号的最优控制方法，从而有效地解决了使用模糊控制技术进行交叉口信号控制时存在的一些问题。研究结果表明，在饱和交通状况下单纯依靠通过车辆数与排队车辆数来实施模糊控制并非合理，此时需要进一步考虑车道饱和流量因素的影响。     

自适应信号控制下交叉口延误计算方法研究

为了研究交通信号的自适应控制方法,需要对交叉口延误进行定量的分析与计算。本文根据信号交叉口理论,在以往定时信号延误研究的基础上,基于交叉口一个进口方向的车辆延误分析,推导了信号控制交叉口不同交通运行状况下的交叉口延误公式;进而对自适应信号控制下交叉口延误的计算方法进行了研究,提出了自适应信号控制下交叉口延误的计算方法———根据交叉口各进口方向不同的交通运行状况以及所处的相序选择相应的公式计算交叉口各进口方向的车辆延误,然后对其求和,得到交叉口延误。     

信号控制下交叉口延误计算方法研究

为了对交通信号控制参数进行优化,需要对交叉口延误进行定量的分析与计算。根据信号控制交叉口理论,在以往定时信号延误研究的基础上,基于交叉口一个进口方向的车辆延误分析,针对交叉口各进口方向同时处于非饱和与同时处于过饱和交通状况,分析并推导了交叉口延误公式.并用具体的算例说明了公式的用法。公式表明了交叉口延误与信号控制参数、车辆到达率等参数之间的动态关系,为进一步研究交通信号自适应控制方法和建立交通信号控制参数优化的性能指标函数提供了信息。     

交叉口信号控制自组织算法

为提高信号交叉口的控制效率,运用模式识别基本理论,对交叉口交通流运行状态的基本特征进行了提取,构建了信号控制模式类型与模式空间;依据定时控制、感应控制和自适应控制延误模型,运用统计模式识别方法建立了交叉口信号控制的模式分类方法;在此基础上,应用自组织理论,建立了信号控制方式之间的转换算法(自组织算法)与协商机制;最后结合哈尔滨市智能交通系统应用示范工程调查数据进行仿真。研究结果表明:交叉口信号控制自组织算法较单一信号控制方式在提高信号控制效益方面具有明显优势。     

基于无线地磁的交叉口信号控制策略研究

感应控制主要是利用无线地磁检测器采集道路交叉口实时交通信息,及时传递给交通控制系统,结合感应控制自动实施控制的原理,确定城市道路交叉口智能控制方案,根据交叉口交通量实际状况进行合理配时;文章对合肥市黄山路-天智路交叉口的固定信号周期测得的周期、相位时间、通过的车辆数及车辆平均等待的时间与感应控制条件下的各参数实际值作对比,分析各参数之间存在的差距,确定在车流量较少的情况下,感应控制优于常规的固定周期信号控制方法。     

城市道路交叉口公交预信号控制方法及其应用研究

综述了公交预信号的国内外技术现状,提出城市道路交叉口公交预信号设置条件,给出了公交预置区车道布局方式,通过实验修正了公交专用候驶区长度计算模型,并给出了交叉口区域停车线、车道分布及公交优先检测器的布设。以上海市鲁班路复兴中路路口为应用对象,调查了公交预信号可实施条件,并计算了第二停车线设置位置,计算出车道灯先红先绿信号控制时间,论文基于PA-RAMICS仿真评估表明1 h内该路口公交车等待时间减少了28%,社会车辆平均等待时间增加了6%,达到公交信号优先的目的。     

信号交叉口基于出发时刻预测的生态驾驶方法

在城市道路交通中,信号交叉口区域内车辆频繁停车启动的现象,加剧了整体交通流的能源消耗、污染排放与车辆延误。为了减少信号交叉口启停波现象对整体交通流产生的负面影响,以面向未来人工驾驶车辆(HDV)/智能网联车辆(CAV)混合构成的新型混合交通环境为基础,提出了一种基于出发时刻预测的生态驾驶方法,通过优化CAV的驾驶轨迹,减少交叉口区域的车辆延误和能源消耗。首先,对混合交通流的基本图模型进行了分析,根据启停波影响范围,划分CAV通过交叉口的驾驶场景;然后,建立了子区渗透率对饱和车头时距的影响关系,预测了CAV以当前饱和车头时距通过交叉口的时间;最后,结合车辆与交叉口的距离,利用分段三角函数模型,生成其通过交叉口的速度限制曲线,并将优化速度嵌入到智能车辆的跟驰模型中作为限制速度,从而使CAV在无法通过当前绿灯窗口的条件下,实现提前减速,在通过交叉口区域后解除速度限制,切换回自身的跟驰模型。此外,还提出了平均综合效能这一指标来综合评价驾驶策略在效率和能耗2个方面的性能,并将提出的基于出发时刻预测的生态驾驶方法与传统网联车辆控制方法、经典交叉口节能控制方法进行了对比。研究结果表明:提出的出发时刻预测方法可以精确预测CAV在交叉口的出发时刻,有效减少车辆的能源消耗与污染排放,同时提高信号交叉口的通行效率;在渗透率大于60%情况下,该方法对系统效能的提高达到12%左右,在10%渗透率条件下也可以达到6%的效能增益;在交通饱和流率在0.5~0.9的范围内时,系统的效能增益较明显。     

基于Q-learning和BP神经元网络的交叉口信号灯控制

解决单交叉口信号灯最优控制问题。提出了基于强化学习的信号灯控制系统结构,应用强化学习中Q学习,将信号灯最优控制问题转变成是否切换运行相位的决策问题,提出了采用BP神经元网络实现Q学习的信号灯控制系统。应用微观交通仿真软件PARAMICS进行仿真分析,结果表明该系统能够感知交通流变化,并能够自适应地调整信号灯切换策略,以达到最优的控制效果,该方法是可行的,与定时控制相比具有明显的优势。