基于注意力机制的多模态自动驾驶行为决策模型

针对现有端到端自动驾驶模型未考虑驾驶场景中不同区域的重要性和不同语义类别之间的关系而导致预测准确率低的问题，受驾驶人注意力机制和现有端到端自动驾驶模型的启发，充分考虑驾驶场景的动态变化、驾驶场景的语义信息和深度信息对驾驶行为决策的影响，以连续多帧驾驶场景的RGB图像为输入，构建一种基于注意力机制的多模态自动驾驶行为预测模型，实现对方向盘转角和车速的准确预测。首先，通过语义分割模型和单目深度估计模型分别获取RGB图像的语义图像和深度图像；其次，为剔除与驾驶行为决策无关信息，以神经科学和空间抑制理论为基础，设计一种拟人化注意力机制作为能量函数来计算驾驶场景中不同区域的重要度；为学习语义图像中与驾驶行为决策最为相关类别之间的关系，采用图注意力网络(Graph Attention Network,GAT)对驾驶场景的语义图像进行特征提取；然后，以保留RGB特征为原则对提取的驾驶场景的图像特征、语义特征和深度特征进行融合，采用卷积长短期记忆网络(Convolutional Long Short Term Memory,ConvLSTM)实现融合特征在连续多帧之间的传递，进而实现下一帧驾驶场景对应驾驶行为的预测；最后，与其他模型的对比试验、消融试验、泛化试验和特征可视化试验来充分验证所提出自动驾驶行为预测模型的性能。试验结果表明：与其他驾驶行为预测模型相比，所提出模型的训练误差为0.021 2，预测准确率为86.97%，均方误差为0.031 5，其驾驶行为的预测性能优于其他模型；连续多帧的语义图像和深度图像、拟人化注意力机制和面向语义特征提取的GAT有助于提升驾驶行为预测的性能；该模型具有较好的泛化能力,其做出驾驶行为预测所依赖的特征与经验丰富的驾驶人所关注的特征基本一致。     

自适应均衡学习的端到端类人驾驶控制决策网络

针对现有端到端自动驾驶网络对于类人驾驶行为与思维特征模拟不足的问题，从类人驾驶特征出发，设计了一个包含时空特征、历史状态特征及未来特征的端到端类人驾驶控制决策网络。采用多层卷积和长短期卷积时序记忆网络（Conv-LSTM），对前方道路视觉感知图像时间序列进行时空特征提取，同时采用一维卷积和长短期时序记忆网络（Long Short-Term Memory，LSTM） 对车辆状态信息时间序列进行历史状态特征提取，进而采用多任务参数共享方式进行当前时刻和未来序列的方向盘转角、车速的控制决策，并以未来序列作为辅助任务督促当前时刻的主任务学习。为更好地耦合汽车纵横向控制参数学习的过程，还提出一种权衡纵横向控制参数损失量级及学习速度的权重自适应方法，并引入容差阈值，建立衡量纵横向控制参数训练效果的评价方法。依托Comma2k19数据集对所构建控制决策网络进行训练和验证，体现出良好的可行性及优越性。     

城市道路场景下考虑多类交通参与者的多模态车辆轨迹预测方法研究

车辆轨迹预测是自动驾驶的关键技术之一,针对以往模型较少考虑城市道路场景中车辆以外多类交通参与者的问题,本研究提出了一种多类交通参与者的多模态车辆轨迹预测模型。该模型使用门控循环单元对历史轨迹信息进行编码,并利用注意力机制将多类交通参与者的特征映射到用图结构表达的驾驶场景中,通过图注意力网络进行环境特征提取,从而使模型能感知环境中的多类交通参与者。此外,模型通过节点轨迹预测与坐标轨迹预测模块输出最终的多模态轨迹预测结果。基于城市道路场景数据集nuScenes的实验结果表明：相较于同类现有模型,所提出的模型算力需求更低、预测更准确,且能适用于人车混合的城市道路驾驶场景。     

基于改进GAN的端到端自动驾驶图像生成方法

基于端到端数据系统的自动驾驶系统对驾驶图像存在巨大需求。为解决一般生成式对抗网络模型在扩充驾驶图像数据集时不稳定及生成图像特征缺乏多样性的问题,研究1种改进网络模型LS-InfoGAN。结合最小二乘对抗损失防止模型梯度消失,并缓解生成器优化矛盾,提升模型训练稳定性。通过最大化生成图像与真实图像间的互信息提升生成器特征学习能力,改善生成图像特征多样性。利用转置卷积层还原图像特征,提升生成图像特征清晰度。以自主构建的模拟驾驶场景中获取的带标签驾驶图像集对模型有效性及其数据集扩充应用效果进行验证。实验分析表明：相比改进前模型,LS-InfoGAN模型的图像生成过程稳定性平均提升35%;使用此模型扩充的数据集进行端到端自动驾驶系统中决策网络的训练能在不采集新图像的情况下将系统决策性能提升1%~2%;建议使用此模型扩充图像数据集时将生成图像数量设置为原始训练集图像数量的1~2倍。

     

基于空洞空间池化金字塔的自动驾驶图像语义分割方法

如果车辆在道路上能精确而快速地理解人和车的语义,就能在很大程度上对障碍躲避、路径规划等做出指导。现有的基于深度学习的语义分割方法存在分割速度和分割精度不能兼得等问题。本文在现有语义分割网络的基础上,通过在特征提取基准网络后添加空洞空间池化金字塔结构,可以获取图像的多尺度语义信息。实验结果表明,文中提出的A＿ASPP＿1和A＿ASPP＿2两个模块能对自动驾驶场景中常见的人和各类车辆图像进行有效的分割。对应的两种改进的网络结构虽然分割速度稍有降低,但其训练结果的平均交并比相比现有双分支网络BiSeNet分别提升了2.1和1.2个百分点。     

基于Prescan 的信号灯路口跟停场景虚拟重构

为满足我国智能驾驶汽车测试场景库的搭建和ADAS(高级驾驶辅助系统)功能研发和验证的需求,设计了一种基于Prescan的交通信号灯路口车辆跟停场景虚拟重构方法,该方法由道路环境建设模块、初始条件设定模块和车辆控制模块组成。道路环境建设模块通过输入道路参数信息构建虚拟道路,初始条件设定模块通过输入本车和目标车的初始位置、初始速度信息确定零时刻车辆和道路的空间位置及状态信息,车辆控制模块依据车辆速度位置等信息,利用训练的神经网络控制本车加速度,实现跟停场景的虚拟重构。仿真结果表明,该方法可以实现交通信号灯路口车辆跟停场景的虚拟重构。     

融合时空特征的端到端自动驾驶车辆转向角预测

端到端自动驾驶系统可完成从感知输入到车辆控制输出的直接映射,已成为当前无人驾驶研究的一个重要方向.显然,在动态环境中自主驾驶车辆需要具有处理时空信息的能力,以实现精确平滑的车辆运动控制.为此,提出一种新的时空信息融合模型,在双流卷积网络(Two-stream CNN)的基础上引入门控循环单元(GRU)网络来实现端到端自...     

基于分段学习模型的自动驾驶行为决策算法研究

在具有车道线的特定自动驾驶场景中,针对目前端到端的行为决策算法直接输入原始图像进行决策导致的网络模型迁移性差、预测精度欠佳、泛化能力不足等问题,提出一种基于分段学习模型的车辆自动驾驶行为决策算法。首先,基于GoogLeNet建立一种端到端的车道线检测网络模型,并引入车道中心线作为决策的重要线索提高算法的迁移能力,同时利用YOLOv3目标检测模型对本车道内前方最近障碍物进行位置检测;而后,经几何测量模型将两者检测结果转换成环境状态信息向量为决策做支撑;最后,构建基于长短期记忆(LSTM)网络的驾驶行为决策模型,根据编码的历史状态信息刻画出动态环境中车辆的运动模式,并结合当前时刻的状态推理得到驾驶行为参量。使用建立的真实驾驶场景数据集对模型分别进行训练、验证与测试,离线测试结果显示车道线检测模型的检测位置误差小于1.3%,车道内前方障碍物检测模型的检测精度达98%以上,驾驶行为决策网络模型表征预测优度的决定系数 大于0.7。为进一步验证算法的有效性,搭建了Simulink/PreScan联合仿真平台,多种工况下的仿真验证试验中多个评价指标均达到工程精度要求,实车测试的试验结果也表明该算法可实现复杂驾驶场景下平稳、准确无偏航的预测效果并满足实时性要求,且与传统端到端模式的算法相比,具有更好的迁移性和泛化能力。     

基于整车在环仿真的自动驾驶汽车室内快速测试平台

整车在环仿真测试方法可以安全、高效地验证复杂环境和极端工况等场景下自动驾驶汽车性能的有效性,基于此研发一种基于整车在环仿真的自动驾驶汽车室内快速测试平台,该平台由前轴可旋转式转鼓试验台、试验台测控子系统、虚拟场景自动生成子系统、虚拟传感器模拟子系统、驾驶模拟器、自动驾驶汽车和测试结果自动分析评价子系统组成。通过在试验台滚筒上独立加载转矩模拟车辆行驶阻力,可动态模拟不同的路面附着系数,同时利用坡度、侧倾和转向随动机构可模拟车辆俯仰角、侧倾角和航向角3个自由度;采用虚拟现实技术柔性集成车辆动力学模型、传感器仿真、复杂道路交通环境及测试用例仿真,模拟多种道路交通场景,并通过传感器仿真及数据融合等技术快速测试自动驾驶汽车智能感知与行为决策等性能指标。将自动驾驶汽车、虚拟仿真场景和试验台耦合构建一个闭环系统,完成了多项关键技术研发,包括：多自由度高动态试验台结构设计、虚拟测试场景自动重构方法和传感器数据模拟及注入方法,可满足在各种场景下测试自动驾驶汽车整车性能的需求。此外,为验证快速测试平台的有效性,以U-turn轨迹跟踪控制为研究实例,基于简化的车辆运动学模型和模型预测控制算法,在平台上搭建U-turn场景并对自动驾驶汽车的轨迹跟踪控制算法性能进行大量测试。结果表明：自动驾驶汽车室内快速测试平台可以真实地模拟汽车在道路上的运行工况,自动驾驶汽车在虚拟场景中的轨迹跟踪效果良好,与参考轨迹的偏差小于8%,证明了该测试平台检测方法的有效性。     

基于融合离散动作的双延迟深度确定性策略梯度算法的自动驾驶端到端行为决策方法

针对基于强化学习的车辆驾驶行为决策方法存在的学习效率低、动作变化不平滑等问题，研究了1种融合不同动作空间网络的端到端自动驾驶决策方法，即融合离散动作的双延迟深度确定性策略梯度算法（TD3WD）。在基础双延迟深度确定性策略梯度算法（TD3）的网络模型中加入1个输出离散动作的附加Q网络辅助进行网络探索训练，将TD3网络与附加Q网络的输出动作进行加权融合，利用融合后动作与环境进行交互，对环境进行充分探索，以提高对环境的探索效率；更新Critic网络时，将附加网络输出作为噪声融合到目标动作中，鼓励智能体探索环境，使动作值预估更加准确；利用预训练的网络获取图像特征信息代替图像作为状态输入，降低训练过程中的计算成本。利用Carla仿真平台模拟自动驾驶场景对所提方法进行验证，结果表明:在训练场景中，所提方法的学习效率更高, 比TD3和深度确定性策略梯度算法（DDPG）等基础算法收敛速度提升约30%；在测试场景中，所提出的算法的收敛后性能更好，平均压线率和转向盘转角变化分别降低74.4%和56.4%。      

人机混驾环境下无信号交叉口自动驾驶汽车左转运动规划研究

为了使自动驾驶汽车在人机混驾环境下能安全、高效地左转通过无信号交叉口,在借鉴人类驾驶人左转时会对周围车辆驾驶意图进行提前预判的基础上,提出了 一种基于周围车辆驾驶意图预测的自动驾驶汽车左转运动规划模型.首先将无信号交叉口处周围车辆的驾驶意图分为左转、右转、直行3种类型,利用相关向量机预测周围车辆驾驶意图,以概率形式输出...     

基于时-空注意力机制的车辆轨迹预测

城市交通环境中车辆的驾驶行为随机性较高，且驾驶人驾驶风格迥异。为了解决复杂交通环境下车辆行驶轨迹难以精确预测的问题，在社会生成对抗网络(Social GAN)的基础上，考虑车辆的行驶速度、加速度、航向角等行驶状态参数和形状尺寸，建立车辆间交互影响力场模型，提出一种基于时-空注意力机制的车辆轨迹预测算法(SIA-GAN)。根据受到场景中其他车辆交互影响力的大小赋予其他车辆不同的空间注意力权重因子，重点关注对自车行驶影响较大的车辆信息，并结合时间注意力机制挖掘自身车辆对观测时段内历史轨迹特征向量的时间依赖性，得到车辆预测轨迹。为验证所提算法的有效性，在开源数据集上对算法进行迭代训练，并与LSTM、Social LSTM、Social GAN三种轨迹预测算法进行对比分析。研究结果表明：SIA-GAN不仅在训练时的收敛速度上有较大提升，且与现有其他轨迹预测算法相比在平均位移误差、最终位移误差、平均速度误差、平均航向角误差等评价指标均有大幅下降，预测3.2 s时各项指标平均降低了51.25%、60.1%、37.84%、13.75%;预测4.8 s时各项指标平均降低了52.78%、61.47%、3...     

eTS fuzzy driver model for simultaneous longitudinal and lateral vehicle control

In this paper, evolving Takagi-Sugeno (eTS) fuzzy driver model is proposed for simultaneous lateral and longitudinal control of a vehicle in a test track closed to traffic. The developed eTS fuzzy driver model can capture human operator’s driving expertise for generating desired steering angle, throttle angle and brake pedal command values by processing only information which can be supplied by the vehicle’s on-board control systems in real time. Apart from other fuzzy rule based (FRB) models requiring human expert knowledge or off-line clustering, the developed eTS driver model can adapt itself automatically, even ‘from scratch’, by an on-line learning process using eTS algorithm while human driver is supervising the vehicle. Proposed eTS fuzzy driver model’s on-line human driver identification capability and autonomous vehicle driving performance were evaluated on real road profiles created by digitizing two different intercity express ways of Turkey in IPG© CarMaker® software. The training and validation simulation results demonstrated that eTS fuzzy driver model can be used in product development phase to speed up different tests via realistic simulations. Furthermore eTS fuzzy driver model has an application potential in the field of autonomous driving.     

基于时空融合LSTM网络的驾驶视角轨迹预测

自动驾驶环境感知系统的重要任务之一是对周围交通目标进行轨迹预测,其输出轨迹可为决策控制和路径规划提供所需目标信息.考虑传统轨迹预测方法一般基于俯视视角而难以满足自动驾驶车载感知的实际需求,提出一种基于长短时记忆(LSTM)网络模块、空间交互模块和时间行为注意力模块相融合的驾驶视角轨迹预测算法.为更好体现交通目标与周围环...     

基于变权重系数的分布式驱动无人车轨迹跟踪

为了提高分布式无人车轨迹跟踪的精度，提出了基于自主与差动协调转向控制的轨迹跟踪方法。首先，在车辆三自由度模型基础上，基于模型预测控制（MPC）实时计算前轮转角以控制车辆进行自主转向轨迹跟踪。在此过程中，为了提高自主转向下车辆的轨迹跟踪精度与行驶的稳定性，考虑多种因素，利用经验公式及神经网络控制对MPC的预瞄步数和预瞄步长进行多参数调整，实现预瞄时间的自适应控制。其次，在恒转矩需求的情况下，以轨迹偏差为PID控制器的输入及左右轮毂电机转矩为输出进行差动转向控制，实现了差动转向下的轨迹跟踪控制。然后，通过设置权重系数的方法将自主与差动转向相结合。考虑到车辆横纵向动力学因素，采用模糊控制及经验公式对权重系数进行了调整，从而在提高车辆转向灵活性与轨迹跟踪效果的同时保证车辆行驶的稳定性。CarSim与Simulink联合仿真以及实车试验结果表明：与自主转向轨迹跟踪相比，采用变权重系数的协调控制可以在不同的工况下提高车辆的转向灵活性与轨迹跟踪的精度，轨迹跟踪偏差的均方根值改善率达到了11%。所提出的协调转向控制方法可为分布式驱动车辆转向灵活性的提高及轨迹跟踪精度的改善提供一种新的思路。     

装载机避障轨迹规划及模型预测轨迹跟踪

轮式装载机在工作区域行驶时,避障过程频繁,以往的避障轨迹规划未考虑整车转向半径约束和车速变化,也较少考虑整车在动力学模型条件下的轨迹跟踪性能.针对上述情况,以自动驾驶轮式装载机为对象,基于最优快速随机扩展树算法(RRT*),考虑车身膨胀圆个数,生成全局最优避障路径,以整车最小稳定转向半径为约束,利用CC-Steer算法...