城市道路场景下考虑多类交通参与者的多模态车辆轨迹预测方法研究

车辆轨迹预测是自动驾驶的关键技术之一,针对以往模型较少考虑城市道路场景中车辆以外多类交通参与者的问题,本研究提出了一种多类交通参与者的多模态车辆轨迹预测模型。该模型使用门控循环单元对历史轨迹信息进行编码,并利用注意力机制将多类交通参与者的特征映射到用图结构表达的驾驶场景中,通过图注意力网络进行环境特征提取,从而使模型能感知环境中的多类交通参与者。此外,模型通过节点轨迹预测与坐标轨迹预测模块输出最终的多模态轨迹预测结果。基于城市道路场景数据集nuScenes的实验结果表明：相较于同类现有模型,所提出的模型算力需求更低、预测更准确,且能适用于人车混合的城市道路驾驶场景。     

自动驾驶汽车行为预测综述

为了能够满足自动驾驶汽车在复杂交通场景中安全高效运行,自动驾驶汽车必须做到对周围对象不确定性行为进行准确预测。作为自动驾驶的关键技术,近年来不断有新的轨迹预测思路和算法被提出,尤其是针对复杂交通场景中的对象轨迹预测。通过将复杂交通场景中的预测对象分为:车辆轨迹预测和行人轨迹预测2类,在此基础上对不同预测对象采用近年来的主流预测算法进行分类总结。最后讨论了当前行为预测存在的问题,并提出了一些有价值的研究展望。     

基于LSTM网络的驾驶意图识别及车辆轨迹预测

自动驾驶汽车需具备预测周围车辆轨迹的能力，以便做出合理的决策规划，提高行驶安全性和乘坐舒适性。运用深度学习方法，设计了一种基于长短时记忆（LSTM）网络的驾驶意图识别及车辆轨迹预测模型，该模型由意图识别模块和轨迹输出模块组成。意图识别模块负责识别驾驶意图，其利用Softmax函数计算出驾驶意图分别为向左换道、直线行驶、向右换道的概率；轨迹输出模块由编码器-解码器结构和混合密度网络（MDN）层组成，其中的编码器将历史轨迹信息编码为上下文向量，解码器结合上下文向量和已识别的驾驶意图信息预测未来轨迹；引入MDN层的目的是利用概率分布来表示车辆未来位置，而非仅仅预测一条确定的轨迹，以提高预测结果的可靠性和模型的鲁棒性。此外，将被预测车辆及其周围车辆组成的整体视为研究对象，使模型能够理解车-车间的交互式行为，响应交通环境的变化，动态地预测车辆位置。使用基于真实路况信息的NGSIM（Next Generation SIMulation）数据集对模型进行训练、验证与测试。研究结果表明：与传统的基于模型的方法相比，基于LSTM网络的轨迹预测方法在预测长时域轨迹上具有明显的优势，考虑交互式信息的意图识别模块具备更高的预判性和准确率，且基于意图识别的轨迹预测能降低预测轨迹与真实轨迹间的均方根误差，显著提高轨迹预测精度。     

混驾环境下基于主从博弈的多车协同决策规划

在自动驾驶车辆与人工驾驶车辆混行的复杂交通环境中,如何减小驾驶行为截然不同的2类车辆间的复杂相互作用对于车辆行驶安全性、乘坐舒适性和交通通行效率的影响,是当前自动驾驶决策与控制领域亟待解决的关键问题。提出了一个人机混驾环境下人工驾驶车辆与自动驾驶车辆之间的非合作博弈交互框架。首先,综合考虑车辆加速度线性递减的驾驶人纵向操纵特性、差异化配合程度和不同的延迟响应特性,建立人工驾驶车辆的纵向博弈策略。其次,考虑自动驾驶车辆与周围车辆的安全性约束,以及自动驾驶车辆在换道过程中的舒适性和通行效率目标,设计了自动驾驶车辆的纵向博弈策略。然后,基于主从博弈理论对不同混驾环境下人工驾驶车辆与自动驾驶车辆的博弈交互问题进行求解,得到最优的换道间隙和自动驾驶车辆的纵向速度轨迹,并采用模型预测控制方法规划出自动驾驶车辆的横向安全换道轨迹。最后,根据人工驾驶车辆不同配合度和延迟响应时间的差异,设计了多组人机混驾试验工况进行验证。试验结果表明：自动驾驶车辆能够快速准确识别人工驾驶车辆的配合度,选择出最优的目标换道间隙,并与间隙周围的自动驾驶车辆协作来汇入目标间隙。在换道过程中,自动驾驶车辆始终与周围车辆保持安全...     

基于LSTM概率多模态预期轨迹预测方法

针对单模态轨迹预测无法充分表示未来预测空间以及解决轨迹预测固有的不确定性问题，本文构建了驾驶行为意图识别及交通车辆预期轨迹预测模型。驾驶行为意图识别模块识别被预测车辆车道保持、左换道、右换道、左加速换道和右加速换道的概率；交通车辆预期轨迹预测模块采用编码器-解码器架构，输出被预测车辆未来6 s内可能发生的多种行为和轨迹。通过HighD数据集对模型进行训练、验证与测试。试验结果表明：基于意图识别的预期轨迹预测模型生成的多模态概率分布可提高本车行驶安全性，与其他方法相比显著提高轨迹预测精度，在预测长时域轨迹上具有明显的优势。     

基于注意力Seq2Seq网络的高速公路交织区车辆变道轨迹预测

针对交通状态复杂的高速公路交织区域，经验丰富的驾驶人能够通过正确地推断周围车辆的未来运动进行及时的车道变换，这对于实现安全高效的自动驾驶至关重要，然而目前的自动驾驶车辆往往缺乏这种预测能力。为此，基于深度学习理论，提出了一种结合注意力机制和编-解码器结构的交织区车辆强制性变道轨迹预测方法，利用Next Generation Simulation（NGSIM）数据集提取车辆变道过程中的关键特征，并引入碰撞时间（Time to Collision，TTC）和避免碰撞减速度（Deceleration Rate to Avoid a Crash，DRAC）2种风险指标，将变道车辆及其周围车辆视为一个整体状态单元，同时补全状态单元内部不同车辆在横向和纵向上的时空状态特征，从而更有效地刻画车辆间的动态交互行为；然后将不同观测车辆的连续窗口序列输入基于长短期记忆网络（Long Short-term Memory，LSTM）的编-解码器，预测交织区车辆变道的未来运动轨迹，通过添加软注意力模块，使模型能够集中聚焦于影响车辆在不同时刻下位置变化的关键信息，再现了真实交通场景下车辆的变道行为。试验验证表明：基于注意力机制的编-解码器模型与当前流行的卷积长短期记忆网络、极限梯度提升树等模型相比具有更高的轨迹预测精度，在长时域的变道轨迹拟合上有显著的优越性，为辅助和自动驾驶领域的发展提供了新思路。     

面向前车的驾驶行为感知与意图识别算法研究

感知周围车辆的驾驶行为并识别其意图将成为新一代高级驾驶辅助系统的重要组成部分。针对现有方法只考虑单一驾驶行为且可扩展性和可伸缩性差,提出一种基于稀疏表示理论的驾驶行为感知字典模型(Driving Behavior Perception Dictionary Model, DBPDM)。将车辆行驶状态视为时间序列,设计基于自回归积分移动平均(Autoregressive Integrated Moving Average,ARIMA)结合在线梯度下降(Online Gradient Descent, OGD)优化器的在线预测模型,提出基于驾驶行为预测的意图识别构架(Intention Recognition Framework, IRF)。首先,采用图Lasso方法估计典型驾驶行为的稀疏逆协方差矩阵构建驾驶行为字典库,并采用Logdet散度方法计算各逆协方差矩阵的差异获得行为感知字典模型。然后,基于在线预测模型对目标车辆的行驶轨迹和运动状态进行预测,结合主车车辆的行驶状态作为稀疏表示的观测信号,以获取预测时域内的目标车辆意图。最后,采用NGSIM (Next Generation SIMulation)真实驾驶数据对模型进行开发和测试。研究结果表明:所提出的行为感知模型能对6种典型驾驶行为构建行为字典,在分类准确率上与现有方法相比有明显提升,对换道和转向行为样本的平均识别准确率分别达到99.1%和92.9%;该模型能够在相对早期阶段准确地识别出车辆行为;在线预测算法能较好预测出目标车辆的行驶轨迹和运动状态,从而间接地反映出其在预测时域内的驾驶意图;IRF可在换道和转向行为开始前的1.5 s较为准确地识别出目标车辆的意图,平均识别准确率超过80%。     

基于轨迹预测的智能汽车行驶风险评估方法

提出了基于预测轨迹的行车风险评估方法，首先建立了沿预测轨迹两侧具有渐变高斯截面特征的驾驶风险域DRF以表征驾驶员行为的不确定性，然后考虑车辆与周围静态、动态障碍物处于特定状态的风险后果建立环境事件成本，得到适应复杂行车场景不确定性的量化感知风险，并基于贝叶斯理论融合预测区间内的量化感知风险时间序列，实现了对于未来行车潜在碰撞风险的预测。实车轨迹和仿真实验结果表明，相比于经典TTC指标方法，基于融合未来一段时间内自车与周边环境交互信息的DRF的风险评估方法可以更快、更准确地辨识复杂交通场景的行车风险变化，为研究周边多车复杂场景下车辆碰撞风险问题提供了参考。     

基于神经网络的智能驾驶模式识别研究

为满足智能驾驶汽车高级驾驶辅助系统(ADAS)功能研发和验证的需求,提高ADAS功能的准确性,设计了一款基于神经网络的智能驾驶模式识别程序,该程序由数据采集、目标检测、场景识别预测3个模块组成。数据采集模块利用ESR毫米波雷达、前置摄像头对交通环境及周围车辆的数据信息进行采集;目标监测模块通过控制算法选择判断触发各类ADAS功能场景的最可疑目标;场景识别处理模块以汽车制造商提供的大量自然驾驶数据的场景挖掘结果为依据,利用神经网络学习各类ADAS场景的特征行为,并通过约束条件对各类ADAS功能场景的识别结果进行实时判定。通过开放道路试验进行验证,结果表明,该程序的场景识别结果准确率可达到99.86%。     

人机协作系统中车辆轨迹规划与轨迹跟踪控制研究

自动驾驶系统需具备响应驾驶人意图且有效执行驾驶人意图的能力，以解决人机协作系统中存在的人机冲突、人机优势融合等问题。提出决策层“以人为主”、执行层“以机为首”的人机协作关系，构建包含驾驶人意图识别模块、基于意图识别的轨迹规划模块与轨迹跟踪控制模块的人机协作一体化控制系统框架，并重点对轨迹规划模块与轨迹跟踪控制模块开展研究。首先，结合双向长短期记忆神经网络（Bi-directional Long Short Term Memory，Bi-LSTM）与注意力机制模型建立换道轨迹规划模型；在改进人工势场算法中引入模型预测控制并建立避险轨迹规划模型。其次，通过开展驾驶模拟器试验建立换道与避险驾驶行为数据集，为拟人化模型训练和模型参数确定提供支撑。然后，综合考虑车辆状态变量、控制输入与输出以及道路结构参数等约束条件，构建基于最优转向前轮输入的线性时变模型预测轨迹跟踪控制器，实现对规划轨迹的精准跟踪。最后，基于驾驶模拟器搭建人机协作系统硬件在环测试平台，对轨迹规划模块与轨迹跟踪控制模块开展硬件在环测试与验证。结果表明：换道与避险规划轨迹光滑且平稳，轨迹跟踪控制过程中，车辆航向角与前轮转角变化平稳；所构建的轨迹规划与轨迹跟踪控制模块在确保安全性前提下可实现不同场景中的车辆运动控制需求。     

基于时-空注意力机制的车辆轨迹预测

城市交通环境中车辆的驾驶行为随机性较高，且驾驶人驾驶风格迥异。为了解决复杂交通环境下车辆行驶轨迹难以精确预测的问题，在社会生成对抗网络(Social GAN)的基础上，考虑车辆的行驶速度、加速度、航向角等行驶状态参数和形状尺寸，建立车辆间交互影响力场模型，提出一种基于时-空注意力机制的车辆轨迹预测算法(SIA-GAN)。根据受到场景中其他车辆交互影响力的大小赋予其他车辆不同的空间注意力权重因子，重点关注对自车行驶影响较大的车辆信息，并结合时间注意力机制挖掘自身车辆对观测时段内历史轨迹特征向量的时间依赖性，得到车辆预测轨迹。为验证所提算法的有效性，在开源数据集上对算法进行迭代训练，并与LSTM、Social LSTM、Social GAN三种轨迹预测算法进行对比分析。研究结果表明：SIA-GAN不仅在训练时的收敛速度上有较大提升，且与现有其他轨迹预测算法相比在平均位移误差、最终位移误差、平均速度误差、平均航向角误差等评价指标均有大幅下降，预测3.2 s时各项指标平均降低了51.25%、60.1%、37.84%、13.75%;预测4.8 s时各项指标平均降低了52.78%、61.47%、3...     

基于人-车交互的行人轨迹预测

针对行人轨迹预测具有复杂、拥挤的场景和社会交互问题,基于长短时记忆网络（Long Short-term Memory Network, LSTM）对行人与车辆、行人与其他行人的交互进行建模,提出一种基于人-车交互的行人轨迹预测模型（VP-LSTM）。该模型同时考虑了行人与行人的交互、行人与车辆的交互,更适用于复杂的交通场景。所构建的VP-LSTM包括3个输入,以行人的方向和速度作为历史轨迹序列输入,行人与行人的相对位置作为人-人交互信息输入,行人与车辆的相对位置作为人-车交互信息输入。该方法首先设计扇形人-人交互邻域和圆形人-车交互邻域来准确捕捉对被预测行人有相互作用的行人和车辆;其次建立3种不同的LSTM编码层来编码历史行人轨迹序列、人-人、人-车社交信息;然后定义人-人、人-车交互的防碰撞函数和方向注意力函数作为人-车、人-人社交信息的权重,进一步提高社会信息的精度;再将人-人、人-车交互信息输入到注意力模块中筛选出对行人影响大的社会信息;最后将筛选后的社会信息与行人历史轨迹序列一起输入到LSTM神经网络中进行行人轨迹预测,并在构建的DUT人-车交互数据集上验证提出的网络。研究结果表明：提出的方法能够准确地预测出交通场景中,人-车交互行人未来一段时间内的运动轨迹,有效提高了预测精度,提高了智能驾驶决策的准确性。     

Modeling Human Vehicle Driving by Model Predictive Online Optimization

A driver model is designed which relates the driver's action to his perception, driving experience, and preferences over a wide range of possible traffic situations. The basic idea behind the work is that the human uses his sensory perception and his expert knowledge to predict the vehicle's future behavior for the next few seconds (prediction model). At a certain sampling rate the vehicle's future motion is optimized using this prediction model, in order to meet certain objectives. The human tries to follow this optimal behavior using a compensatory controller. Based on this hypothesis, human vehicle driving is modeled by a hierarchical controller. A repetitive nonlinear optimization is employed to plan the vehicle's future motion (trajectory planning task), using an SQP algorithm. This is combined with a PID tracking control to minimize its deviations. The trajectory planning scheme is experimentally verified for undisturbed driving situations employing various objectives, namely ride comfort, lane keeping, and minimized speed variation. The driver model is then applied to study path planning during curve negotiation under various preferences. A highly dynamic avoidance maneuver (standardized ISO double lane change) is then simulated to investigate the overall stability of the closed loop vehicle/driver system.     

Modeling Human Vehicle Driving by Model Predictive Online Optimization

A driver model is designed which relates the driver's action to his perception, driving experience, and preferences over a wide range of possible traffic situations. The basic idea behind the work is that the human uses his sensory perception and his expert knowledge to predict the vehicle's future behavior for the next few seconds (prediction model). At a certain sampling rate the vehicle's future motion is optimized using this prediction model, in order to meet certain objectives. The human tries to follow this optimal behavior using a compensatory controller. Based on this hypothesis, human vehicle driving is modeled by a hierarchical controller. A repetitive nonlinear optimization is employed to plan the vehicle's future motion (trajectory planning task), using an SQP algorithm. This is combined with a PID tracking control to minimize its deviations. The trajectory planning scheme is experimentally verified for undisturbed driving situations employing various objectives, namely ride comfort, lane keeping, and minimized speed variation. The driver model is then applied to study path planning during curve negotiation under various preferences. A highly dynamic avoidance maneuver (standardized ISO double lane change) is then simulated to investigate the overall stability of the closed loop vehicle/driver system.     

交汇水域船舶轨迹预测与航行意图识别

针对典型水上交通场景交汇水域，研究了1种数据驱动的船舶轨迹预测与航行意图识别方法。设计CNN+LSTM组合神经网络，通过学习交汇水域船舶的历史轨迹，以CNN+LSTM网络为编码器提取其通航环境及船舶航行时空特征，LSTM与全连接层为解码器同步输出未来时段内船舶轨迹序列和航路选择，从而形成船舶轨迹与航行意图识别模型。同时，引入Dropout网络结构描述该模型的预测不确定性，采用随机关闭CNN+ LSTM核心网络部分神经单元的方式，以相同轨迹序列作为输入获取多组相近的预测结果，根据其统计均值与方差对船舶轨迹预测的不确定性进行量化。以美国沿海某交汇水域公开AIS数据为对象开展实验，创建了该交汇水域船舶航行轨迹数据集，以输入时长60 min，采样频率3 min作为输入条件，Dropout值取0.5，实验结果表明:所提方法对未来60 min时段内的轨迹预测误差为3.946 n mile，航行意图识别准确率达87%，不确定性估计覆盖率达85.7%。与LSTM预测方法相比，当船舶操纵性发生改变时，所提CNN+LSTM模型的轨迹预测误差降低了31.6%，而且兼具船舶航行意图识别及预测不确定性估计能力，有利于智能航行与海事监管技术发展。      

基于MM-STConv的端到端自动驾驶行为决策模型

针对现有端到端自动驾驶模型输入数据类型单一导致预测精确度低的问题，选取RGB图像、深度图像和车辆历史连续运动状态序列作为多模态输入，并利用语义信息构建一种基于时空卷积的多模态多任务（Multimodal Multitask of Spatial-temporal Convolution，MM-STConv）端到端自动驾驶行为决策模型，得到速度和转向多任务预测参量。首先，通过不同复杂度的卷积神经网络提取场景空间位置特征，构建空间特征提取子网络，准确解析场景目标空间特征及语义信息；其次，通过长短期记忆网络（LSTM）编码-解码结构捕捉场景时间上、下文特征，构建时间特征提取子网络，理解并记忆场景时间序列信息；最后，采用硬参数共享方式构建多任务预测子网络，输出速度和转向角的预测值，实现对车辆的行为预测。基于AirSim自动驾驶仿真平台采集虚拟场景数据，以98 200帧虚拟图像及对应的车辆速度和转向角标签作为训练集，历经10 000次训练周期、6 h训练时长后，利用真实驾驶场景数据集BDD100K进行模型的测试与验证工作。研究结果表明：MM-STConv模型的训练误差为0.130 5，预测精确度达到83.6%，在多种真实驾驶场景中预测效果较好；与现有其他主流模型相比，该模型综合场景空间信息与时间序列信息，在预测车辆速度和转向角方面具有明显的优势，可提升模型的预测精度、稳定性和泛化能力。     

基于毫米波雷达组群的全域车辆轨迹检测技术方法

高精度车辆轨迹数据对于高速公路交通管理和智慧服务具有非常重要的研究及应用价值，然而现有的车辆轨迹感知技术难以获得全域全时车辆轨迹数据。为此，提出一种基于毫米波雷达的全域车辆轨迹跟踪技术方法，该方法包括：雷达原始数据获取及适配、轨迹数据清洗及降噪、道路线形感知及还原、车辆轨迹匹配及拼接。其中，雷达原始数据获取及适配通过构建雷达帧数据适配表将雷达数据格式标准化，并通过构建的轨迹可信度评价指标K，剔除镜像车辆轨迹数据，进而基于历史行车轨迹的统计学特征，采用聚类方法还原道路线形，最终通过雷达群组间车辆轨迹特征分析及匹配拼接，实现设备内部及跨设备对车辆轨迹的持续跟踪。利用载波相位差分技术(Real-time Kinematic, RTK)和基于无人机航拍视频定位技术分别对单车及多车轨迹跟踪精度进行检验。研究结果表明：在单目标跟踪状态下，系统的纬度偏差均值为-0.284 m，经度偏差均值为-0.352 m，纬度误差均值为0.712 m，经度误差均值为0.539 m；在多目标跟踪状态下，系统丢车率约为8%，轨迹定位与真实位置偏差均值为0.990 m，具备良好的轨迹跟踪精度。该方法为未来从更加宏观的范围内研究个体驾驶行为风险转移分析、微观水平的驾驶风险的时空演化提供了数据支撑。