基于模仿学习和强化学习的智能车辆换道行为决策

本文中提出了一种基于模仿学习和强化学习的智能车辆换道行为决策方法.其中宏观决策模块通过模仿学习构建极端梯度提升模型,根据输入信息在车道保持、左换道和右换道中选择宏观决策指令,以此确定所需求解的换道行为决策子问题;各细化决策子模块通过深度确定性策略梯度强化学习方法得到优化策略,求解相应换道行为决策子问题,以确定车辆运动目...     

基于驾驶人心理风险场模型的个性化换道决策方法

行驶环境中交互车辆的运动行为会对驾驶人心理产生刺激,引起驾驶人心理状态的变化,进而影响其换道决策行为。为此提出了1种基于驾驶人心理风险场模型的个性化换道决策方法。基于单向3车道快速路交通场景,通过交互式多模型分析车辆的横向速度与横向位移,引入可变横向速度相关的转移概率矩阵,预测交互车辆的目标车道选择;建立驾驶人心理风险场模型,量化行驶环境与交互车辆的运动行为对驾驶人心理风险造成的影响;利用高仿真驾驶模拟器联合SUMO试验平台开展287人次的模拟驾驶试验,通过建立混合交通仿真场景采集驾驶人的换道数据,并选取平均碰撞时间与驾驶人心理风险因子2个特征参数,使用K-means算法进行驾驶风格聚类,将驾驶人分为保守型、正常型和激进型这3类,并进一步确定不同风格的驾驶人在换道初始时刻所能接受的心理风险阈值。在此基础上,实现车辆的个性化安全换道决策。驾驶模拟器试验验证结果表明：对应于保守型、正常型和激进型的驾驶人,实际最小换道决策时间分别为3.48,6.29,11.33 s,实际最大换道决策时间分别为4.65,7.45,12.52 s,理论换道决策时间分别为4.09,6.83,11.95 s,所建立...     

基于轨迹数据的交叉口进口道车辆换道行为特性分析

为探索城市信号交叉口进口道范围内机动车换道行为特性，利用无人机拍摄视频提取车辆换道轨迹数据，分析了进口道车辆换道行为的宏观和微观特性。研究结果表明：强制换道行为多发生在距离停车线60 m～90 m处，自由换道行为在90 m～120 m处；换道时间集中分布在4.5 s～5.5 s之间，其中强制换道的平均时间为4.58 s，自由换道时长为3.81 s；强制换道行为主要受目标车道的可插入间隙及前后车辆的速度差影响，但整体来看分布较为分散；自由换道行为追求行车效率，目标车道的交通运行状况往往要优于原车道，换道行为主要受到原车道前车的相对距离和速度影响。本研究成果可以为城市交叉口的理论研究提供方法参考，为进口道的管理与控制提供理论基础。     

数据驱动的驾驶员换道行为分析与预测综述

换道是一种具有极高风险的驾驶行为,许多交通事故发生在换道过程中,相邻车道车辆的突然换道行为会产生很大安全风险并影响车辆的乘坐舒适性,对周围车辆的换道行为进行预测对驾驶辅助系统和自动驾驶汽车都十分必要。随着V2X(Vehicle-to-Everything)技术、5G技术的快速发展,车辆可以从周围环境中获得更多信息,使换道行为预测成为可能。文中对换道意图的产生及换道过程进行分析,将换道过程分为换道意图产生阶段、换道准备阶段和执行阶段,总结将车辆上各种传感器获得的车辆速度、加速度、位置、方向盘转角等信息及通过V2X技术从交通环境中获得的信息用于换道行为预测的主要方法。目前许多研究采用机器学习方法,按照所使用的数据类型可分为基于驾驶员生理活动信息的方法和基于车辆CAN总线信息、运动学及其与周围车辆运动关系信息的方法,也有研究将二者相结合。数据驱动的换道行为预测方法也可用于车辆的主动换道决策和执行过程,强化学习(RL)算法可以从真实数据中学习决策和驾驶行为,而这些对于传统的基于规则的方法来说基本不可行,故其在研究车辆主动换道时被广泛使用。     

考虑驾驶人风格的换道轨迹规划与控制（双语出版）

基于自动换道控制技术中融合个性化驾驶人风格的研究,建立考虑驾驶人风格的车辆换道轨迹规划及控制模型以提高换道规划控制模型对不同风格驾驶人的适用性,在保证安全性的基础上进一步满足驾驶人的个性化需求。首先通过问卷调查的方式采集得到了212份驾驶人风格量表数据,采用主成分分析法和K均值（K-means）聚类分析法将驾驶人按驾驶风格分为激进型、普通型和谨慎型,并通过驾驶模拟器试验采集不同风格驾驶人分别在自车道前车、目标车道前车和目标车道后车影响下的换道行为数据。然后对椭圆车辆模型进行改进,以描述不同风格驾驶人的行车安全区域,并据此构建3种典型工况下不同风格驾驶人的换道最小安全距离模型,结合驾驶舒适性约束、车辆几何位置约束以及不同风格驾驶人的换道行为数据,以换道纵向位移最短为目标,实现适应驾驶人风格的换道轨迹规划。最后以基于预瞄的路径跟踪模型作为前馈量,设计基于动力学的线性二次型最优（LQR）反馈控制器,通过调节控制权重矩阵实现3种工况下不同驾驶人风格的换道轨迹跟踪。PreScan和MATLAB/Simulink联合仿真结果表明：所设计的考虑驾驶人风格的换道轨迹规划及跟踪控制模型能够实现不同驾驶风格的自动换道轨迹规划及跟踪控制,可满足驾驶人个性化换道需求。     

高速公路驾驶人换道意图识别模型

为了增加驾驶人换道过程中的安全性,提出一种基于隐马尔科夫理论的驾驶人意图换道识别方法.在模拟高速公路环境下,采用非接触式眼动追踪仪采集驾驶人的眼动数据、头部运动数据以及车辆行驶数据,选取左-右链结构的隐马尔科夫模型(GM-HMM)分别建立向左换道、向右换道和车道保持模型.结果显示,所建立的驾驶人的意图识别模型的准确率达到了90%以上.     

基于TD3算法的人机混驾交通环境自动驾驶汽车换道研究

提高人类驾驶人的接受度是自动驾驶汽车未来的重要方向,而深度强化学习是其发展的一项关键技术。为了解决人机混驾混合交通流下的换道决策问题,利用深度强化学习算法TD3（Twin Delayed Deep Deterministic Policy Gradient）实现自动驾驶汽车的自主换道行为。首先介绍基于马尔科夫决策过程的强化学习的理论框架,其次基于来自真实工况的NGSIM数据集中的驾驶数据,通过自动驾驶模拟器NGSIM-ENV搭建单向6车道、交通拥挤程度适中的仿真场景,非自动驾驶车辆按照数据集中驾驶人行车数据行驶。针对连续动作空间下的自动驾驶换道决策,采用改进的深度强化学习算法TD3构建换道模型控制自动驾驶汽车的换道驾驶行为。在所提出的TD3换道模型中,构建决策所需周围环境及自车信息的状态空间、包含受控汽车加速度和航向角的动作空间,同时综合考虑安全性、行车效率和舒适性等因素设计强化学习的奖励函数。最终在NGSIM-ENV仿真平台上,将基于TD3算法控制的自动驾驶汽车换道行为与人类驾驶人行车数据进行比较。研究结果表明：基于TD3算法控制的车辆其平均行驶速度比人类驾驶人的平均行车速度高4.8%,在安全性以及舒适性上也有一定的提升;试验结果验证了训练完成后TD3换道模型的有效性,其能够在复杂交通环境下自主实现安全、舒适、流畅的换道行为。     

车队认知能力增强的通信区块间隙优化方法

为了在单车超越车队的过程中缩短超车车辆与车队间通信范围，减少车队通信压力，锁定影响车辆入队的关键车队区块，同时通过将待进入关键区块的车队进行间隙优化调整，为驾驶人提供定制化换道入队引导服务，提出了基于驾驶人超车风格特征参数的车队内信息传输关键区块锁定算法，通过分析影响驾驶人换道入队位置范围的关键因素，将驾驶人换道入队过程分为本车道速度调整过程与入队速度调整过程，利用非参数贝叶斯算法获取驾驶人超车换道特征数据并提出基于关键区块所在车队位置序列的车辆间隙优化调整策略。研究结果表明：超车车辆加速度、与前车预计碰撞时间、与车队相对速度是影响驾驶人换道入队范围的关键因素；通过非参数贝叶斯算法将超车车辆运行数据分类获取的驾驶人换道入队驾驶操作基元，可准确提供驾驶人行为特征关键参数；通过将驾驶人换道特征分为48个子类型，可锁定驾驶人换道入队范围且车队关键区块范围随着超车车辆与车队速度差值不同在各个特征类型上呈现不同变化趋势；针对驾驶人入队特征对待进入车队关键区块的车辆间隙进行优化调整，不仅可以为驾驶人提供可接受的驾驶辅助信息，同时减少了车队间隙产生过程中车辆加速度范围，提升了车队运行的舒适性。     

基于轨迹数据的地下快速路换道决策模型研究

为准确描述城市地下快速路换道行为特性,基于8自由度驾驶模拟试验,获取了不同交通流情况下,全时全员车辆高精度轨迹数据,并提取了471个自由换道和164个强制换道样本。分析主车与目标车道前、后车以及当前车道的前车间隙特征,选取车速为性能指标,均方根百分比误差为拟合优度函数,利用遗传算法对GIPPS模型进行参数标定及效果验证。结果表明:自由换道决策时,与目标车道前车的间隙远大于与目标车道后车的间隙,而强制换道决策更多受驾驶任务影响,周围车辆间隙大小无显著差异。自由换道间隙符合对数正态分布,强制换道间隙符合伽马分布。GIPPS换道决策模型在自由换道和强制换道行为样本的验证中,模型预测误差值不同,自由换道模型参数的误差更小。研究结果对于构建符合地下快速路环境特征的换道决策模型具有重要价值。     

多车道高速公路出口车辆换道行为研究

为研究多车道高速公路出口车辆换道行为,提出了出口换道车辆样本的识别指标与标准。基于筛选出的高速公路出口段的车辆换道样本,分析了不同换道需求次数下的出口换道位置分布特征,确定车辆换道影响范围,通过对车辆换道影响范围图的特征和原因的分析,并结合实际情况,提出高速公路出口诱导设置的建议。基于最后一次换道和路段上普通换道的持续时间、速度、横向加速度、纵向加速度样本,利用SPSS中T检验模块,完成换道过程中的车辆运动状态特征显著性分析。最后,找出换道意图关键影响因素,构建驾驶人换道意图与各关键影响因素的二元Logistic关系模型。     

基于视觉特性的驾驶人预瞄时间建模

针对固定时长的预瞄时间无法真实反映驾驶人预瞄行为的问题,首先对自由流条件下的驾驶人视觉特性进行研究,得到直行路段驾驶人注视点多分布在车道中央、弯道路段驾驶人注视点多分布在内侧边缘线附近且视线近似与内侧边缘线相切的结论;在此基础上,探究直行和弯道路段驾驶人预瞄时间的求解方法,并借助驾驶模拟器进行试验,获得了17位驾驶人的预瞄时间。由于预瞄时间的原始数据分布离散程度高,难以直观地体现其随道路线形的变化规律,因而对预瞄时间随道路线形的分布特征进行研究,利用分组求中位数的方法进行数据处理,最终构建预瞄时间关于道路线形的分段线性函数和非线性指数函数。最后,通过数值仿真研究不同类型的预瞄时间（固定时长的预瞄时间、分段线性函数预瞄时间及指数函数预瞄时间）对人-车-路闭环系统动力学特性的影响。研究结果表明：驾驶人预瞄特性会对车辆的轨迹跟随和车道保持绩效产生重要影响;在闭环系统中使用随道路线形变化的预瞄时间可以显著提高车辆的轨迹跟随绩效,确保车辆在指定车道内行驶;驾驶人对道路环境的感知具有自适应性,通过其视觉特性可准确感知环境变化,并据此调整决策目标及其操纵特性。     

智能网联环境下基于安全势场理论的车辆换道模型

为有效刻画未来智能网联环境下车辆在换道过程中面临的驾驶风险,保证车辆执行更加安全的换道决策,建立基于安全势场理论的车辆换道模型。首先针对车辆换道过程中所遇到的驾驶风险进行评估,利用势场理论给出车辆行驶过程中不同运动状态下安全势场的空间分布。其次根据换道过程中相关车辆不同安全势场分布情况计算出换道结束时的车间临界距离,相比于传统的车间临界距离计算模型,提出方法能够动态刻画出车辆在不同速度、加速度条件下临界距离的变化趋势,并且能够根据车辆不同的运动状态,动态表达出车辆间临界距离的变化。在此基础上,根据智能网联环境下车辆各类运动状态能够被实时感知的特点,总结出车辆各类运动状态下需要的换道安全临界时间,最终建立基于安全势场理论的最小安全距离换道模型。最后,对模型进行数值仿真分析,仿真结果表明：车辆换道所需要的最小纵向安全距离与换道车辆以及其周围车辆的运动状态有着直接关系。在今后趋于成熟的智能网联环境下,该模型可以进一步进行扩展,利用安全势场的分布情况,对车辆换道过程进行动态实时干涉,能够为今后智能网联环境下车辆协同换道、车辆自动驾驶以及车辆群体优化控制等相关研究提供一定的理论支撑。     

基于状态空间采样的高速公路智能网联车辆轨迹动态规划

为实现智能网联车辆在高速公路动态行车环境下的轨迹实时规划，提出一种基于状态空间采样的轨迹动态规划方法。首先，以安全性为原则选取主车当前行驶的理想车道。基于Frenet坐标与笛卡尔坐标的转换关系，建立车辆运动横、纵向解耦的独立积分系统。将高速公路常见的行驶状态分为车道保持与定速巡航、变道以及前车跟随3类，预测主车行驶车道并针对3类行驶状态分别设计轨迹终端的目标配置方法。然后，利用多项式函数生成连接初始配置和目标配置的多条待选轨迹。构建考虑轨迹偏离理想车道程度、始末速度变化、规划周期和轨迹舒适性的综合损失函数，结合速度、加速度、曲率检查来评价各条待选轨迹的成本并进行排序。最后，预测车辆的横、纵向运动轨迹并构建一种胶囊形的车辆虚拟安全边界，通过碰撞检测，确定主车的最优轨迹，设置动态规划触发条件及时更新最优轨迹并避免过度规划浪费资源。研究结果表明：提出的算法能满足高速公路场景的动态规划需求；通过对轨迹规划周期、虚拟安全边界、动态规划时间间隔等关键参数的分析与优化，主车的横摆角速度范围稳定在-0.1~0.15 (°)·s^-1，横向加速度范围稳定在-0.16~0.32 m·s^-2，跟踪参考轨迹的最大误差不超过0.022 m，提出的算法能规划出具有高安全性、稳定性和舒适性的轨迹。     

In-depth understanding of lane changing interactions for in-vehicle driving assistance systems

Lane-changing events are often related with safety concern and traffic operational efficiency due to complex interactions with neighboring vehicles. In particular, lane changes in stop-and-go traffic conditions are of keen interest because these events lead to higher risk of crash occurrence caused by more frequent and abrupt vehicle acceleration and deceleration. From these perspectives, in-depth understanding of lane changes would be of keen interest in developing in-vehicle driving assistance systems. The purpose of this study is to analyze vehicle interactions using vehicle trajectories and to identify factors affecting lane changes with stop-and-go traffic conditions. This study used vehicle trajectory data obtained from a segment of the US-101 freeway in Southern California, as a part of the Next Generation Simulation (NGSIM) project. Vehicle trajectories were divided into two groups; with stop-and-go and without stop-and-go traffic conditions. Binary logistic regression (BLR), a well-known technique for dealing with the binary choice condition, was adopted to establish lane-changing decision models. Regarding lane changes without stop-and-go traffic conditions, it was identified based on the odd ratio investigation that he subject vehicle driver is more likely to pay attention to the movement of vehicles ahead, regardless of vehicle positions such as current and target lanes. On the other hand, the subject vehicle driver in stop-and-go traffic conditions is more likely to be affected by vehicles traveling on the target lane when deciding lane changes. The two BLR models are adequate for lane-changing decisions in normal and stop-and-go traffic conditions with about 80 % accuracy. A possible reason for this finding is that the subject vehicle driver has a tendency to pay greater attention to avoiding sideswipe or rear-end collision with vehicles on the target lane. These findings are expected to be used for better understanding of driver’s lane changing behavior associated with congested stop-and-go traffic conditions, and give valuable insights in developing algorithms to process sensor data in designing safer lateral maneuvering assistance systems, which include, for example, blind spot detection systems (BSDS) and lane keeping assistance systems (LKAS).     

人机协作系统中车辆轨迹规划与轨迹跟踪控制研究

自动驾驶系统需具备响应驾驶人意图且有效执行驾驶人意图的能力，以解决人机协作系统中存在的人机冲突、人机优势融合等问题。提出决策层“以人为主”、执行层“以机为首”的人机协作关系，构建包含驾驶人意图识别模块、基于意图识别的轨迹规划模块与轨迹跟踪控制模块的人机协作一体化控制系统框架，并重点对轨迹规划模块与轨迹跟踪控制模块开展研究。首先，结合双向长短期记忆神经网络（Bi-directional Long Short Term Memory，Bi-LSTM）与注意力机制模型建立换道轨迹规划模型；在改进人工势场算法中引入模型预测控制并建立避险轨迹规划模型。其次，通过开展驾驶模拟器试验建立换道与避险驾驶行为数据集，为拟人化模型训练和模型参数确定提供支撑。然后，综合考虑车辆状态变量、控制输入与输出以及道路结构参数等约束条件，构建基于最优转向前轮输入的线性时变模型预测轨迹跟踪控制器，实现对规划轨迹的精准跟踪。最后，基于驾驶模拟器搭建人机协作系统硬件在环测试平台，对轨迹规划模块与轨迹跟踪控制模块开展硬件在环测试与验证。结果表明：换道与避险规划轨迹光滑且平稳，轨迹跟踪控制过程中，车辆航向角与前轮转角变化平稳；所构建的轨迹规划与轨迹跟踪控制模块在确保安全性前提下可实现不同场景中的车辆运动控制需求。     

Modeling Human Vehicle Driving by Model Predictive Online Optimization

A driver model is designed which relates the driver's action to his perception, driving experience, and preferences over a wide range of possible traffic situations. The basic idea behind the work is that the human uses his sensory perception and his expert knowledge to predict the vehicle's future behavior for the next few seconds (prediction model). At a certain sampling rate the vehicle's future motion is optimized using this prediction model, in order to meet certain objectives. The human tries to follow this optimal behavior using a compensatory controller. Based on this hypothesis, human vehicle driving is modeled by a hierarchical controller. A repetitive nonlinear optimization is employed to plan the vehicle's future motion (trajectory planning task), using an SQP algorithm. This is combined with a PID tracking control to minimize its deviations. The trajectory planning scheme is experimentally verified for undisturbed driving situations employing various objectives, namely ride comfort, lane keeping, and minimized speed variation. The driver model is then applied to study path planning during curve negotiation under various preferences. A highly dynamic avoidance maneuver (standardized ISO double lane change) is then simulated to investigate the overall stability of the closed loop vehicle/driver system.     

人机共驾智能车驾驶模式决策属性析取研究

为了深入分析驾驶模式决策影响因子,通过实车试验采集了人-车-路多源特征信息。用驾驶人主观经验将驾驶模式划分为人工驾驶、警示辅助、自动驾驶3种状态,并利用采集的驾驶人血流量脉冲（BVP）和皮肤电导（SC）值进行K均值聚类,将驾驶人当前合适的驾驶模式自动聚类为3级。通过融合驾驶人自汇报结果和聚类结果对驾驶模式进行准确标定。采用以信息增益为依据的Ranker算法对多特征进行排序,并在此基础上,根据多分类器分级结果确定最优特征属性集合。研究结果表明：当选取车速、车头时距、车道中心距离、前轮转角标准差、驾驶经验5个指标为特征子集时,支持向量机、朴素贝叶斯及K近邻这3种分类器的识别准确率都超过90%;除警示辅助模式与自动驾驶模式下的车速值和车道中心距之外,其余所有不同模式决策属性值均呈显著性差异;研究结果可为人机共驾智能车驾驶模式决策提供依据。     

基于车联网的汽车自动换道方法研究

为弥补现有汽车自动换道时未考虑周围车辆运动状态变化以及舒适性差和通行效率低等方面的不足,同时提出了在车联网条件下的汽车自动换道方法,主要包括动态轨迹的规划、前馈与反馈相结合的PQ跟踪控制策略两部分,开展Carsim和simulink联合仿真以及实车验证结果表明,与传统非动态自动换道方法相比,该方法能有效解决在换道过程中周围车辆车速变化及车辆突然闯入等情况的难题,明显提高了换道过程中的安全性,由数据分析可知在保证车辆舒适性、稳定性的同时,换道时间缩短了20%,有效提高了车辆换道效率。     

车联网环境下自动驾驶车辆车道选择决策模型

试验车道选择行为是自动驾驶车辆最基本的决策行为之一,利用车联网技术可以使车道选择结果更加全面、合理.首先,对高速公路自动驾驶车辆车道选择决策过程进行分析,并以车联网感知通信范围内的车辆的平均速度、重车比例及前往车道的理想换道时间为主要指标创建成本函数,根据计算结果输出最优车道序列;然后,以Gipps安全驾驶模型为基础,...     

基于前车轨迹预测的高速智能车运动规划

针对现有运动规划算法大多只考虑障碍车当前状态,本文中提出一种基于前车运动轨迹预测的高速车辆运动规划算法。首先,融合考虑驾驶意图与基于车辆运动模型的方法对前车轨迹进行预测;然后,采用贝塞尔曲线(Bezier)规划主车运动轨迹,结合避撞过程中与前车碰撞风险概率,高速避撞车辆速度变化特点以及车辆运动稳定性等因素建立目标函数,并考虑车辆动力学与运动学约束,使用序列二次规划(SQP)方法对Bezier曲线的控制点和主车运动目标点位置进行优化求解,得到最优避撞运动轨迹;最后,以前车直行和换道两种工况为例,对主车的避撞运动轨迹进行规划,分析不同工况下主车避撞过程中的运动状态变化以及与前车碰撞风险概率变化。结果表明,所提出的运动规划算法能够保证车辆的避撞安全性与运动稳定性。