基于TD3算法的人机混驾交通环境自动驾驶汽车换道研究

提高人类驾驶人的接受度是自动驾驶汽车未来的重要方向,而深度强化学习是其发展的一项关键技术。为了解决人机混驾混合交通流下的换道决策问题,利用深度强化学习算法TD3（Twin Delayed Deep Deterministic Policy Gradient）实现自动驾驶汽车的自主换道行为。首先介绍基于马尔科夫决策过程的强化学习的理论框架,其次基于来自真实工况的NGSIM数据集中的驾驶数据,通过自动驾驶模拟器NGSIM-ENV搭建单向6车道、交通拥挤程度适中的仿真场景,非自动驾驶车辆按照数据集中驾驶人行车数据行驶。针对连续动作空间下的自动驾驶换道决策,采用改进的深度强化学习算法TD3构建换道模型控制自动驾驶汽车的换道驾驶行为。在所提出的TD3换道模型中,构建决策所需周围环境及自车信息的状态空间、包含受控汽车加速度和航向角的动作空间,同时综合考虑安全性、行车效率和舒适性等因素设计强化学习的奖励函数。最终在NGSIM-ENV仿真平台上,将基于TD3算法控制的自动驾驶汽车换道行为与人类驾驶人行车数据进行比较。研究结果表明：基于TD3算法控制的车辆其平均行驶速度比人类驾驶人的平均行车速度高4.8%,在安全性以及舒适性上也有一定的提升;试验结果验证了训练完成后TD3换道模型的有效性,其能够在复杂交通环境下自主实现安全、舒适、流畅的换道行为。     

自动驾驶汽车的智能决策模型研究

行为决策系统在很大程度上反映了自动驾驶汽车的智能化水平,作为自动驾驶汽车的大脑,行为决策系统决定了自动驾驶车辆的可行性和安全性。文章基于行车效率与行车安全对高速自动驾驶汽车的智能决策进行了研究。通过引入能效函数与动态子区域监测系统,实时计算本车道与相邻车道的行车能效值以及本车与周边车辆的碰撞风险,并基于此确定最优驾驶策略,一定程度上提升了自动驾驶车辆的行车效率与安全。     

基于驾驶人不满度的高速公路自动驾驶换道决策

为了实现高速公路的自由换道行为决策，并满足行车安全高效性、决策结果平稳无震荡、与运动规划模块结合引导车辆行驶等要求，提出了一种基于驾驶人不满度的换道行为决策方法。首先，根据驾驶人的速度期望建立了驾驶人不满度累积模型，并基于驾驶人速度不满累积度产生换道意图。其次，依据不同车道障碍车的运动状态，设计了2种目标车道选择策略，通过预测引擎对各个待选车道进行预测和评估，选取其中行车效率较高的车道作为目标车道，同时建立换道最小安全距离模型，用以在换道全过程中判断换道的可行性。然后，将换道行为决策的结果以目标车道的形式传递给基于改进人工势场的运动规划模块，用于运动规划模块目标的选取，以引导车辆横纵向运动。最后，在CarSim/PreScan/Simulink的联合仿真平台和硬件在环平台上建立多种测试场景，验证换道行为决策算法。试验结果表明：换道行为决策算法能够依据驾驶人速度不满累积度产生稳定的换道意图，进而根据所设计的换道策略选取具有更高行车效率的目标车道，并在换道过程中持续判断换道的可行性，以应对障碍车辆突然加减速等突发状况，保证换道过程的高效性和安全性；换道行为决策算法通过目标车道的转换，引导运动规划模块调整车辆的运动，实现跟车、换道等行为。     

基于模仿学习和强化学习的智能车辆换道行为决策

本文中提出了一种基于模仿学习和强化学习的智能车辆换道行为决策方法。其中宏观决策模块通过模仿学习构建极端梯度提升模型,根据输入信息在车道保持、左换道和右换道中选择宏观决策指令,以此确定所需求解的换道行为决策子问题;各细化决策子模块通过深度确定性策略梯度强化学习方法得到优化策略,求解相应换道行为决策子问题,以确定车辆运动目标位置并下发执行。仿真结果表明:本文中提出方法的策略学习速度比单纯强化学习方法快,且其综合性能优于有限状态机、行为克隆模仿学习和单纯强化学习等方法。     

基于规则约束的深度强化学习智能车辆高速路场景下行驶决策

针对强化学习算法下智能车辆训练中动作选择过程随机性强、训练效率低等问题，提出了基于规则约束和深度Q网络（DQN）算法的智能车辆行驶决策框架，将引入的规则分为与换道相关的硬约束和与车道保持相关的软约束，分别通过动作检测模块（Action Detection Module）与奖励函数来实现。同时结合竞争深度Q网络（Dueling DQN）和双重深度Q网络（Double DQN）对DQN的网络结构进行改进，并引入N步自举（N-Step Bootstrapping）学习提高DQN的训练效率，最后在Highway-env平台高速路场景下与原始DQN算法进行综合对比验证模型的有效性，改进后的算法提高了智能车辆任务成功率和训练效率。     

基于轨迹预测的智能汽车行驶风险评估方法

提出了基于预测轨迹的行车风险评估方法，首先建立了沿预测轨迹两侧具有渐变高斯截面特征的驾驶风险域DRF以表征驾驶员行为的不确定性，然后考虑车辆与周围静态、动态障碍物处于特定状态的风险后果建立环境事件成本，得到适应复杂行车场景不确定性的量化感知风险，并基于贝叶斯理论融合预测区间内的量化感知风险时间序列，实现了对于未来行车潜在碰撞风险的预测。实车轨迹和仿真实验结果表明，相比于经典TTC指标方法，基于融合未来一段时间内自车与周边环境交互信息的DRF的风险评估方法可以更快、更准确地辨识复杂交通场景的行车风险变化，为研究周边多车复杂场景下车辆碰撞风险问题提供了参考。     

基于注意力Seq2Seq网络的高速公路交织区车辆变道轨迹预测

针对交通状态复杂的高速公路交织区域，经验丰富的驾驶人能够通过正确地推断周围车辆的未来运动进行及时的车道变换，这对于实现安全高效的自动驾驶至关重要，然而目前的自动驾驶车辆往往缺乏这种预测能力。为此，基于深度学习理论，提出了一种结合注意力机制和编-解码器结构的交织区车辆强制性变道轨迹预测方法，利用Next Generation Simulation（NGSIM）数据集提取车辆变道过程中的关键特征，并引入碰撞时间（Time to Collision，TTC）和避免碰撞减速度（Deceleration Rate to Avoid a Crash，DRAC）2种风险指标，将变道车辆及其周围车辆视为一个整体状态单元，同时补全状态单元内部不同车辆在横向和纵向上的时空状态特征，从而更有效地刻画车辆间的动态交互行为；然后将不同观测车辆的连续窗口序列输入基于长短期记忆网络（Long Short-term Memory，LSTM）的编-解码器，预测交织区车辆变道的未来运动轨迹，通过添加软注意力模块，使模型能够集中聚焦于影响车辆在不同时刻下位置变化的关键信息，再现了真实交通场景下车辆的变道行为。试验验证表明：基于注意力机制的编-解码器模型与当前流行的卷积长短期记忆网络、极限梯度提升树等模型相比具有更高的轨迹预测精度，在长时域的变道轨迹拟合上有显著的优越性，为辅助和自动驾驶领域的发展提供了新思路。     

信号交叉口行车风险场建立及车辆通行行为优化

随着汽车逐步向智能化、网联化发展,智能网联车辆逐步进入实际应用阶段。进行智能网联车辆的通行行为优化,对提升驾驶安全性和行车效率,避免事故发生和交通拥堵至关重要。车辆在通过交叉口时将受到很多环境及运动因素的影响,而现有的通行优化模型难以准确表达各类因素共同作用下的行驶环境。为此,基于风险场理论建立由环境场和运动场组成的信号交叉口行车风险场,表征信号交叉口中每点的实时行车风险程度,从而引导车辆驶向风险值低点,并提供下一步长的位移及速度指引,实现车辆的动态轨迹优化及速度控制。典型场景下的仿真结果表明：在优化模型的控制下单车的信号交叉口通行效率明显提升,其中直行方向车辆单车平均通行效率提升最高,平均提升6.35%,通过对交叉口面积内所有车辆进行通行行为优化,交叉口通行效率提升了9.3%,这表明所建模型可以准确表达交叉口行车环境并优化车辆通行行为。研究结论可应用于自动驾驶车辆的交叉口通行控制,并为网联环境下的行车环境表达和安全驾驶控制提供模型基础。     

驾驶人驾驶决策机制遵循最小作用量原理

为提升智能汽车的自主决策能力，使其能够学习人的决策智慧以适应复杂多变的道路交通环境，需要揭示驾驶人决策机制。首先通过对自然驾驶数据的分析，发现在车辆行驶过程中能够反映驾驶人决策行为的主要运动特征参数存在极值现象，而产生极值现象的内在动因是驾驶人遵循“趋利避害”的基本决策机制，即驾驶过程中驾驶人力图实现机动性和安全性综合性能最优。受自然界包括物理和生物行为上的众多极值现象遵循最小作用量原理的启发，提出驾驶人决策机制遵循最小作用量原理的假设。随后建立抽象描述驾驶过程的物理模型，并提出最小作用量决策模型（Least Action Decision-making Model，LADM），通过与传统驾驶决策模型（经典跟车模型和换道模型）对比，分析结果显示LADM模型更具通用性。最后开展了实车试验，采集20名驾驶人在自由行驶、跟车行驶和邻车切入3种工况下的试验数据，分析计算并检验了不同驾驶人行车过程的理论最小作用量和实际作用量。试验结果表明：驾驶人在驾驶过程中的实际作用量与最小作用量之间无显著性差异，体现出驾驶人在行车过程中对安全和高效具有共性追求，验证了驾驶人决策机制遵循最小作用量原理。     

基于影响系数的高速公路行车风险评估模型

为提高高速公路行车风险评估的客观性,减少已有评价方法在指标聚合权重确定过程中的主观因素影响,准确反映高速公路和环境风险状况,针对已有评价方法在指标聚合过程中的主观任意性,提出基于影响系数确定评价指标的权重,对评价指标进行聚合,并以此建立高速公路不同状态下的行车风险评估模型。首先分析自由行驶稳定安全条件、换车道行驶状态和跟车行驶状态的车辆碰撞限制安全条件,在此基础上,利用安全条件提出风险评估基本指标及不同状态下的车辆行驶风险函数。通过相同比例的指标增量计算风险增量,利用风险函数及风险增量计算各个指标的影响系数,运用影响系数确定风险评估指标的聚合权重,从而建立高速公路不同行驶状态风险评估模型,最后提出高速公路行车风险等级划分标准。利用模型对陕西定汉线宝鸡至坪坎高速公路某长陡纵坡路段的不同行驶状态风险进行计算,确定行车风险等级,筛选出不同行驶状态下的高风险路段,通过对比验证。结果表明,运用评估模型确定的1个换车道高风险路段和2个跟车行驶高风险路段与利用现行的《公路项目安全性评价规范》确定的高风险路段一致。该模型对于高速公路行车风险的有效识别及划分,可以为高速公路交通安全管理提供有效的决策支持。     

基于不同风格行驶模型的自动驾驶仿真测试自演绎场景研究

为了验证自动驾驶汽车决策结果的安全性,提出一种具有自主决策和交互能力的行驶模型生成方法,该行驶模型作为背景车被用于构建自演绎仿真场景来测试自动驾驶汽车的连续决策能力。首先,以强化学习为基础、结合遗传与进化思想,创新地设计并生成了具有自主决策和交互能力的不同风格行驶模型;然后,在模型构建阶段分别训练生成了保守、普通和激进3种风格的行驶模型,其中普通风格行驶模型的训练参数来源于自然驾驶数据集highD的车辆参数分布,保证了该行驶模型的真实性;最后,在普通风格行驶模型的基础上设计并训练出了具有显著激进特征的激进风格行驶模型,以增强自演绎场景的复杂性和测试效果。结果表明：在模型真实性方面,以highD数据集中的跟车速度、车头间距、换道时刻下碰撞时间等参数的分布为真值,研究所生成的普通风格行驶模型的参数分布与真值的平均相似程度为88%,相较于基于规则的智能驾驶人模型（IDM）提升了20.3%;在场景测试性方面,以被测系统为主要责任方的碰撞次数为评估指标,研究生成的不同风格行驶模型所构成的自演绎场景的测试性约是由IDM构成的基线场景的7倍。因此,设计和生成的行驶模型所构成的自演绎场景可以有效支撑面向自动驾驶决策系统的仿真测试。     

单车场景下城市交叉口的智能驾驶车辆左转决策研究

在复杂动态的城市道路环境中,不同的交通参与者之间会不可避免地产生时间或空间上的冲突。针对该问题,对智能驾驶车辆在城市交叉口左转时潜在的冲突行为进行分析并建立决策模型。考虑了车辆运动模式并基于高斯过程回归模型(GPR)建立了直行车辆长时轨迹预测模型,结合轨迹预测提出了基于冲突消解的智能驾驶车辆决策流程(模型)和考虑多因素的驾驶动作选择方法。基于Matlab/Simulink&Prescan搭建仿真验证平台,联合真实数据对算法进行验证。结果表明,单车场景下,决策模型能够以90%的成功率引导无人驾驶车辆完成通行任务。     

基于融合离散动作的双延迟深度确定性策略梯度算法的自动驾驶端到端行为决策方法

针对基于强化学习的车辆驾驶行为决策方法存在的学习效率低、动作变化不平滑等问题，研究了1种融合不同动作空间网络的端到端自动驾驶决策方法，即融合离散动作的双延迟深度确定性策略梯度算法（TD3WD）。在基础双延迟深度确定性策略梯度算法（TD3）的网络模型中加入1个输出离散动作的附加Q网络辅助进行网络探索训练，将TD3网络与附加Q网络的输出动作进行加权融合，利用融合后动作与环境进行交互，对环境进行充分探索，以提高对环境的探索效率；更新Critic网络时，将附加网络输出作为噪声融合到目标动作中，鼓励智能体探索环境，使动作值预估更加准确；利用预训练的网络获取图像特征信息代替图像作为状态输入，降低训练过程中的计算成本。利用Carla仿真平台模拟自动驾驶场景对所提方法进行验证，结果表明:在训练场景中，所提方法的学习效率更高, 比TD3和深度确定性策略梯度算法（DDPG）等基础算法收敛速度提升约30%；在测试场景中，所提出的算法的收敛后性能更好，平均压线率和转向盘转角变化分别降低74.4%和56.4%。      

人机混驾环境下无信号交叉口自动驾驶汽车左转运动规划研究

为了使自动驾驶汽车在人机混驾环境下能安全、高效地左转通过无信号交叉口，在借鉴人类驾驶人左转时会对周围车辆驾驶意图进行提前预判的基础上，提出了一种基于周围车辆驾驶意图预测的自动驾驶汽车左转运动规划模型。首先将无信号交叉口处周围车辆的驾驶意图分为左转、右转、直行3种类型，利用相关向量机预测周围车辆驾驶意图，以概率形式输出意图预测结果并实时更新，进一步界定自动驾驶汽车与周围车辆的潜在冲突区域并判断是否存在时空冲突；接着，在充分考虑他车速度、航向及车辆到达冲突区域边界距离的基础上建立基于部分可观测马尔可夫决策过程的自动驾驶汽车左转运动规划模型，生成一系列期望加速度；最后，基于Prescan-Simulink联合仿真平台搭建无信号交叉口仿真场景，对所提左转运动规划方法进行仿真验证，将基于博弈论的运动规划方法、基于人工势场理论的运动规划方法与所提出的方法进行比较，并选取行进比例达到1所用的时间和碰撞次数作为评价指标。研究结果表明：基于相关向量机的驾驶意图预测方法可在自动驾驶汽车到达交叉口之前准确预测出他车驾驶意图；基于部分可观测马尔可夫决策过程的左转运动规划方法能够通过速度调整策略实现人机混驾环境下自动驾驶汽车与周围车辆在无信号交叉口处的交互；不同算法对比效果表明，所提左转运动规划方法在自动驾驶汽车与不同数量周围车辆交互的仿真场景下均可有效避免碰撞事故发生并提高自动驾驶汽车左转通过无信号交叉口的效率。     

Torque control allocation based on constrained optimization with regenerative braking for electric vehicles

This paper proposes a constrained optimization-based torque control allocation method aimed to improve energy efficiency, and thus, driving range for electric vehicles. In the proposed method, the cost function is defined not only to achieve desired yaw moment for vehicle handling and stability, but also to minimize power losses for energy efficiency. The particular attention is paid to the power losses due to tire slips both longitudinally and laterally. The constraints are also set based on thorough investigation on various causes of power disppation such that the torque is allocated with restraint to use regenerative braking in its maximum capacity. The proposed control allocation method has been tested and verified to be effective on energy efficiency improvement through both simulation and experiment under various driving maneuvers.     

基于深度强化学习的车辆跟驰控制

针对自适应巡航控制系统在控制主车跟驰行驶中受前车运动状态的不确定性影响问题，在分析车辆运动特点的基础上，提出一种能够考虑前车运动随机性的跟驰控制策略。搭建驾驶人实车驾驶数据采集平台，招募驾驶人进行实车跟驰道路试验，建立驾驶人真实驾驶数据库。假设车辆未来时刻的加速度决策主要受前方目标车辆运动影响，建立基于双前车跟驰结构的主车纵向控制架构。将驾驶数据库中的驾驶数据分别视作前车和前前车运动变化历程，利用高斯过程算法建立了前车纵向加速度变化随机过程模型，实现对前方目标车运动状态分布的概率性建模。将车辆跟驰问题构建为一定奖励函数下的马尔可夫决策过程，引入深度强化学习研究主车跟驰控制问题。利用近端策略优化算法建立车辆跟驰控制策略，通过与前车运动随机过程模型进行交互式迭代学习，得到具有运动不确定性跟驰环境下的主车纵向控制策略，实现对车辆纵向控制的最优决策。最后基于真实驾驶数据，对控制策略进行测试。研究结果表明：该策略建立了车辆纵向控制与主车和双前车状态之间的映射关系，在迭代学习过程中对前车运动的随机性进行考虑，跟驰控制中不需要对前车运动进行额外的概率预测，能够以较低的计算量实现主车稳定跟随前车行驶。     

自动驾驶系统交通规则符合性仿真验证方法

随着自动驾驶技术的不断发展，高级别自动驾驶车辆逐步在限定区域开展实际道路测试，确保和提高自动驾驶系统安全驾驶能力是当前研究、测试和工程开发的热点难点。面对自动驾驶车辆将长期与人类驾驶车辆混行，并与其他交通参与者遵守同样交通规则的现实需要，提出一种验证和测试自动驾驶系统交通规则符合性的方法，以期降低多车混行条件下的交通安全风险。针对各类交通法律法规语义自动解析技术瓶颈，提出规范化-逻辑化两阶段交通规则数字化模型，基于改进谓词度量时序逻辑框架(Metric Temporal Logic，MTL)，将自然语言交通规则转换为命题、逻辑连接词和时序算子组成的逻辑编码，生成了自动驾驶系统可理解、可执行、可验证的数字化交通规则，并构建了交通规则命题的分级分类体系。提出了一套基于自动驾驶车辆高精度运动轨迹的交通规则符合性验证算法，并搭建仿真试验平台，在高速公路交通场景下开展了试验验证。理论分析与试验表明：精简命题空间、新增时序算子和谓词逻辑词等改进有效提高了原有MTL框架的时间表现能力，解决了时序逻辑性不足等问题，大幅提高了交通规则数字化转换效率，对地方性交通法规和未来交通法规修订提供了良好的兼容性。提出的交通规则符合性验证方法及试验平台可以有效测试自动驾驶系统对现有交通规则的遵守能力，相关成果对提高自动驾驶系统安全性能和未来混行交通安全管控水平具有重要意义。