基于MM-STConv的端到端自动驾驶行为决策模型

针对现有端到端自动驾驶模型输入数据类型单一导致预测精确度低的问题，选取RGB图像、深度图像和车辆历史连续运动状态序列作为多模态输入，并利用语义信息构建一种基于时空卷积的多模态多任务（Multimodal Multitask of Spatial-temporal Convolution，MM-STConv）端到端自动驾驶行为决策模型，得到速度和转向多任务预测参量。首先，通过不同复杂度的卷积神经网络提取场景空间位置特征，构建空间特征提取子网络，准确解析场景目标空间特征及语义信息；其次，通过长短期记忆网络（LSTM）编码-解码结构捕捉场景时间上、下文特征，构建时间特征提取子网络，理解并记忆场景时间序列信息；最后，采用硬参数共享方式构建多任务预测子网络，输出速度和转向角的预测值，实现对车辆的行为预测。基于AirSim自动驾驶仿真平台采集虚拟场景数据，以98 200帧虚拟图像及对应的车辆速度和转向角标签作为训练集，历经10 000次训练周期、6 h训练时长后，利用真实驾驶场景数据集BDD100K进行模型的测试与验证工作。研究结果表明：MM-STConv模型的训练误差为0.130 5，预测精确度达到83.6%，在多种真实驾驶场景中预测效果较好；与现有其他主流模型相比，该模型综合场景空间信息与时间序列信息，在预测车辆速度和转向角方面具有明显的优势，可提升模型的预测精度、稳定性和泛化能力。     

基于多层时空融合网络的驾驶人注意力预测

类人驾驶是提升汽车智能化程度的重要途径之一，识别和定位驾驶人的感兴趣目标和区域，进而快速、精确地感知驾驶场景中潜在风险或提供决策所需关键信息，能够有效增强智能汽车的功能可理解性和鲁棒性。本文基于层次化编码器-解码器架构设计轻量化多层时空融合网络，建立轻量化驾驶人注意力预测模型。首先，以MobileNetV2作为编码器的骨干网络，提取当前帧4个尺度上的多层次空间特征，将其存入记忆模块并与在历史帧上提取的多层次特征在时间维度叠加，得到连续帧间的时空特征后传输至解码器。其次，基于层次化解码结构设计解码器，采用逆瓶颈3D卷积模块设计时空融合层，融合每个独立分支上的时空特征。最后，融合4个独立分支上捕获不同尺度信息的预测结果，获得驾驶人注意力预测值作为模型预测输出结果。结果表明：本文提出的驾驶人注意力预测模型，通过在多个特征尺度上的编码与解码，能够有效利用动态场景当前帧和历史帧间的时间、空间、尺度信息；在DADA-2000和TDV数据集上的测试实验表明，在多个指标上优于当前同类优秀模型；模型尺寸为19 MB，单帧运算速度为0.02 s，实现了优秀的模型轻量化与实时性效果。综上所述，本研究解决了当...     

基于分段学习模型的自动驾驶行为决策算法研究

在具有车道线的特定自动驾驶场景中,针对目前端到端的行为决策算法直接输入原始图像进行决策导致的网络模型迁移性差、预测精度欠佳、泛化能力不足等问题,提出一种基于分段学习模型的车辆自动驾驶行为决策算法。首先,基于GoogLeNet建立一种端到端的车道线检测网络模型,并引入车道中心线作为决策的重要线索提高算法的迁移能力,同时利用YOLOv3目标检测模型对本车道内前方最近障碍物进行位置检测;而后,经几何测量模型将两者检测结果转换成环境状态信息向量为决策做支撑;最后,构建基于长短期记忆(LSTM)网络的驾驶行为决策模型,根据编码的历史状态信息刻画出动态环境中车辆的运动模式,并结合当前时刻的状态推理得到驾驶行为参量。使用建立的真实驾驶场景数据集对模型分别进行训练、验证与测试,离线测试结果显示车道线检测模型的检测位置误差小于1.3%,车道内前方障碍物检测模型的检测精度达98%以上,驾驶行为决策网络模型表征预测优度的决定系数 大于0.7。为进一步验证算法的有效性,搭建了Simulink/PreScan联合仿真平台,多种工况下的仿真验证试验中多个评价指标均达到工程精度要求,实车测试的试验结果也表明该算法可实现复杂驾驶场景下平稳、准确无偏航的预测效果并满足实时性要求,且与传统端到端模式的算法相比,具有更好的迁移性和泛化能力。     

不同情景下自动驾驶接管行为的影响特征

为探究不同情景下自动驾驶接管行为的影响特征,面向驾驶人、自动驾驶车辆、交通环境等内容提出自动驾驶测试研究框架。基于驾驶模拟技术开发自动驾驶测试平台,通过案例验证其有效性,为自动驾驶相关技术的测试评估提供有力支撑。研究以接管场景、接管请求时间、驾驶次任务、交通流为要素设计18个高速公路接管情景,邀请被试开展驾驶模拟试验测试。从主观维度探究驾驶人对自动驾驶的适应性差异,从客观维度构建广义线性混合效应模型,研究驾驶人属性因素(性别、年龄、驾龄)和接管情景因素(接管场景、接管请求时间、驾驶次任务)的主效应及其交互作用对接管行为的影响。统计分析结果表明：①性别因素对自动驾驶的信任度和状态感知度有统计学差异,男性对自动驾驶的适应性高于女性;②驾驶人的年龄和驾龄因素对试验前和试验后的技术接受度具有显著影响,对技术信任度和状态感知度具有统计学差异,中年人和老年人、中驾龄和高驾龄人群的适应性相对较高;③不同因素水平对应的接管成功率、正确率和第一操纵行为不同。广义线性混合效应模型结果表明：①接管情景因素及其交互作用对接管行为指标具有显著影响;②模型中引入驾驶人属性因素,发现与接管情景因素存在交互效用。研究基于驾驶模拟技术开发自动驾驶测试平台的方法具有一定的推广性,研究结果可为深度挖掘自动驾驶接管行为影响因素及其作用机理奠定基础。     

面向人机协同共驾的驾驶行为短时预测方法研究

通过实时感知交通场景下的汽车相对运动状态和行车安全信息,对驾驶人的操纵行为进行短时预测,进而为人机协同驾驶中主权切换的模式与方法提供依据.基于线性最优二次型方法建立了典型驾驶意图下的驾驶操纵序贯链优化目标函数,通过求解目标函数得到驾驶人操纵行为对车辆运动状态的改变量,并结合运动学CA模型提出了驾驶操纵行为短时预测模型.运用统计检验分析实车试验和所提出的模型得到的仿真试验驾驶输入之间的差异程度.实车实验的统计检验结果表明,不同驾驶工况下的驾驶输入差值的配对样本T检验的T统计量分别为1.96,0.1,1.36,均小于其T临界检验值.所提出的模型能较好的模拟实际驾驶操纵行为特征,并能对驾驶人操纵行为进行准确的短时预测.      

人机协作系统中车辆轨迹规划与轨迹跟踪控制研究

自动驾驶系统需具备响应驾驶人意图且有效执行驾驶人意图的能力，以解决人机协作系统中存在的人机冲突、人机优势融合等问题。提出决策层“以人为主”、执行层“以机为首”的人机协作关系，构建包含驾驶人意图识别模块、基于意图识别的轨迹规划模块与轨迹跟踪控制模块的人机协作一体化控制系统框架，并重点对轨迹规划模块与轨迹跟踪控制模块开展研究。首先，结合双向长短期记忆神经网络（Bi-directional Long Short Term Memory，Bi-LSTM）与注意力机制模型建立换道轨迹规划模型；在改进人工势场算法中引入模型预测控制并建立避险轨迹规划模型。其次，通过开展驾驶模拟器试验建立换道与避险驾驶行为数据集，为拟人化模型训练和模型参数确定提供支撑。然后，综合考虑车辆状态变量、控制输入与输出以及道路结构参数等约束条件，构建基于最优转向前轮输入的线性时变模型预测轨迹跟踪控制器，实现对规划轨迹的精准跟踪。最后，基于驾驶模拟器搭建人机协作系统硬件在环测试平台，对轨迹规划模块与轨迹跟踪控制模块开展硬件在环测试与验证。结果表明：换道与避险规划轨迹光滑且平稳，轨迹跟踪控制过程中，车辆航向角与前轮转角变化平稳；所构建的轨迹规划与轨迹跟踪控制模块在确保安全性前提下可实现不同场景中的车辆运动控制需求。     

基于深度卷积-Tokens降维优化视觉Transformer的分心驾驶行为实时检测

针对基于端到端深度卷积神经网络的驾驶行为检测模型缺乏全局特征提取能力以及视觉Transformer(vision transformer,ViT)模型不擅长捕捉底层特征和模型参数量较大的问题，本文提出一种基于深度卷积和Tokens降维的ViT模型用于驾驶人分心驾驶行为实时检测，并通过开展与其他模型的对比试验、所提模型的消融试验和模型注意力区域的可视化试验充分验证了所提模型的优越性。本文所提模型的平均分类准确率和精确率分别为96.93%和96.95%，模型参数量为21.22 M，基于真实车辆平台在线推理速度为23.32 fps，表明所提模型能够实现实时分心驾驶行为检测。研究结果有利于人机共驾系统的控制策略制定和分心预警。     

基于TD3算法的人机混驾交通环境自动驾驶汽车换道研究

提高人类驾驶人的接受度是自动驾驶汽车未来的重要方向,而深度强化学习是其发展的一项关键技术。为了解决人机混驾混合交通流下的换道决策问题,利用深度强化学习算法TD3（Twin Delayed Deep Deterministic Policy Gradient）实现自动驾驶汽车的自主换道行为。首先介绍基于马尔科夫决策过程的强化学习的理论框架,其次基于来自真实工况的NGSIM数据集中的驾驶数据,通过自动驾驶模拟器NGSIM-ENV搭建单向6车道、交通拥挤程度适中的仿真场景,非自动驾驶车辆按照数据集中驾驶人行车数据行驶。针对连续动作空间下的自动驾驶换道决策,采用改进的深度强化学习算法TD3构建换道模型控制自动驾驶汽车的换道驾驶行为。在所提出的TD3换道模型中,构建决策所需周围环境及自车信息的状态空间、包含受控汽车加速度和航向角的动作空间,同时综合考虑安全性、行车效率和舒适性等因素设计强化学习的奖励函数。最终在NGSIM-ENV仿真平台上,将基于TD3算法控制的自动驾驶汽车换道行为与人类驾驶人行车数据进行比较。研究结果表明：基于TD3算法控制的车辆其平均行驶速度比人类驾驶人的平均行车速度高4.8%,在安全性以及舒适性上也有一定的提升;试验结果验证了训练完成后TD3换道模型的有效性,其能够在复杂交通环境下自主实现安全、舒适、流畅的换道行为。     

城市道路场景下考虑多类交通参与者的多模态车辆轨迹预测方法研究

车辆轨迹预测是自动驾驶的关键技术之一,针对以往模型较少考虑城市道路场景中车辆以外多类交通参与者的问题,本研究提出了一种多类交通参与者的多模态车辆轨迹预测模型。该模型使用门控循环单元对历史轨迹信息进行编码,并利用注意力机制将多类交通参与者的特征映射到用图结构表达的驾驶场景中,通过图注意力网络进行环境特征提取,从而使模型能感知环境中的多类交通参与者。此外,模型通过节点轨迹预测与坐标轨迹预测模块输出最终的多模态轨迹预测结果。基于城市道路场景数据集nuScenes的实验结果表明：相较于同类现有模型,所提出的模型算力需求更低、预测更准确,且能适用于人车混合的城市道路驾驶场景。     

基于超效率数据包络分析的重型车驾驶人驾驶安全绩效评价方法

为解决网联环境下重型车驾驶人驾驶安全绩效评价在指标多样性、模型可靠性、评价完整性和结果可溯性等方面的问题，提出一种基于超效率数据包络分析的重型车驾驶人驾驶安全绩效评价框架，包括驾驶行为指标提取方法、包含零值的超效率数据包络分析方法和基于效率前沿分析的驾驶安全绩效提升方案。基于网联环境下重型车自然驾驶数据特征，提取6个行程级的危险驾驶行为指标作为模型输入项，包括：表征激进驾驶的超速行为、急加速行为和急减速行为；表征分心驾驶和疲劳驾驶的打哈欠行为、使用手机行为和吸烟行为。表征驾驶风险暴露因素的行驶时间和行驶里程作为模型输出项。将每个驾驶人视为独立的决策单元，构建3种驾驶绩效评价模型，分别从激进驾驶、分心和疲劳驾驶以及综合驾驶风险3个维度对驾驶绩效进行评价。进一步利用效率前沿分析准确识别低绩效驾驶人，并量化其达到最佳驾驶绩效所需提升的驾驶行为指标。将该框架应用于南京某重型车车队的34名驾驶人，使用连续3个月的网联数据开展驾驶绩效评价。结果表明：该框架能够准确计算驾驶绩效得分，不同驾驶绩效等级驾驶人之间的驾驶行为特征存在显著差异，超速行为和打哈欠行为是影响驾驶绩效评价结果的关键因素，针对低绩效...     

基于M形深度架构的非结构化道路可行驶区域推荐模型

针对边界模糊、路况多变的非结构化道路，为满足智能汽车在正常、应急等复杂行驶工况下对可行驶区域的视觉检测需求，提出一种在M形深度架构下融合多尺度交互策略和双重注意力机制的可行驶区域推荐模型，能够在复杂驾驶场景中精细分割出非结构化道路的强推荐、弱推荐、不推荐行驶区域。首先，在编码器-解码器的骨架基础上，构建倒金字塔式的多尺度分层输入和分层输出结构，以有效融合非结构化道路的浅层形态学特征与深层语义信息，并平衡模型在不同尺度上的预测偏倚，提升复杂驾驶场景下对多尺度与变尺度目标的分割精度；其次，构建集成通道注意力和空间注意力的跳跃连接结构，使模型在实现编码特征与解码特征高效传递的同时，聚焦于学习与道路可行驶性相关的重要特征，进一步强化模型对非结构化道路的检测性能。通过多种途径构建包含城郊、乡村、园区等真实场景的非结构化道路驾驶数据集。试验结果表明：得益于M形深度架构对多尺度交互策略和双注意力机制的融合，提出的模型在多种真实驾驶场景下均能较好地实现强推荐行驶区域、弱推荐行驶区域、不推荐行驶区域和背景区域的精细分割，平均交并比达到92.46%，平均检测速度达到22.7帧·s^-1；与现有其他主流模型相比，提出的模型兼顾了分割精度和时间效率，在非结构化道路可行驶区域检测任务上有明显优势。     

基于时空融合LSTM网络的驾驶视角轨迹预测

自动驾驶环境感知系统的重要任务之一是对周围交通目标进行轨迹预测,其输出轨迹可为决策控制和路径规划提供所需目标信息.考虑传统轨迹预测方法一般基于俯视视角而难以满足自动驾驶车载感知的实际需求,提出一种基于长短时记忆(LSTM)网络模块、空间交互模块和时间行为注意力模块相融合的驾驶视角轨迹预测算法.为更好体现交通目标与周围环...     

基于人体姿态估计的分心驾驶行为检测

为弥补现有驾驶特征提取方法的不足,提高分心驾驶行为检测的准确性和鲁棒性,将2D/3D人体姿态估计应用于驾驶人行为检测,提出一种适用于驾驶舱环境下的驾驶特征提取方法。首先通过将2D姿态估计网络Simple Baseline和分类网络ResNet进行融合,构建基于2D姿态估计的分心驾驶行为检测模型,并在分心驾驶数据集State Farm上分析不同数据增强方法、不同超参数、不同分类网络对模型性能的影响。其次,融合3D密集姿态估计网络DensePose与分类网络ResNet,构建基于3D姿态估计的分心驾驶行为检测模型。接着,在State Farm数据集上,针对模型的实时性和泛化能力,对比分析基于原始图像和基于2D/3D姿态的分心驾驶行为检测模型。最后,针对效果更优的基于2D姿态估计的分心驾驶行为检测模型,在分心驾驶数据集State Farm上,对使用不同姿态估计算法和分类网络的分心驾驶行为检测模型做了交叉试验,对比分析4个不同检测模型的优缺点。进一步地,将基于2D姿态估计的分心驾驶行为检测模型应用于实际采集的驾驶图片,对模型的泛化能力和有效性进行了测试验证。研究结果表明:与基于原始图像的检测模型相比,基于2D和3D姿态的检测模型都能显著提高分心驾驶行为的检测准确率;基于3D姿态的检测模型在检测精度方面略优,但基于2D姿态的检测实时性更好,检测效率是基于3D姿态检测的4倍;在驾驶舱单一环境下,基于2D姿态估计的分心驾驶行为检测模型能够满足分心驾驶行为检测的需求,在分心驾驶行为检测方面具有重要应用价值。     

驾驶人驾驶决策机制遵循最小作用量原理

为提升智能汽车的自主决策能力，使其能够学习人的决策智慧以适应复杂多变的道路交通环境，需要揭示驾驶人决策机制。首先通过对自然驾驶数据的分析，发现在车辆行驶过程中能够反映驾驶人决策行为的主要运动特征参数存在极值现象，而产生极值现象的内在动因是驾驶人遵循“趋利避害”的基本决策机制，即驾驶过程中驾驶人力图实现机动性和安全性综合性能最优。受自然界包括物理和生物行为上的众多极值现象遵循最小作用量原理的启发，提出驾驶人决策机制遵循最小作用量原理的假设。随后建立抽象描述驾驶过程的物理模型，并提出最小作用量决策模型（Least Action Decision-making Model，LADM），通过与传统驾驶决策模型（经典跟车模型和换道模型）对比，分析结果显示LADM模型更具通用性。最后开展了实车试验，采集20名驾驶人在自由行驶、跟车行驶和邻车切入3种工况下的试验数据，分析计算并检验了不同驾驶人行车过程的理论最小作用量和实际作用量。试验结果表明：驾驶人在驾驶过程中的实际作用量与最小作用量之间无显著性差异，体现出驾驶人在行车过程中对安全和高效具有共性追求，验证了驾驶人决策机制遵循最小作用量原理。     

自适应均衡学习的端到端类人驾驶控制决策网络

针对现有端到端自动驾驶网络对于类人驾驶行为与思维特征模拟不足的问题，从类人驾驶特征出发，设计了一个包含时空特征、历史状态特征及未来特征的端到端类人驾驶控制决策网络。采用多层卷积和长短期卷积时序记忆网络（Conv-LSTM），对前方道路视觉感知图像时间序列进行时空特征提取，同时采用一维卷积和长短期时序记忆网络（Long Short-Term Memory，LSTM） 对车辆状态信息时间序列进行历史状态特征提取，进而采用多任务参数共享方式进行当前时刻和未来序列的方向盘转角、车速的控制决策，并以未来序列作为辅助任务督促当前时刻的主任务学习。为更好地耦合汽车纵横向控制参数学习的过程，还提出一种权衡纵横向控制参数损失量级及学习速度的权重自适应方法，并引入容差阈值，建立衡量纵横向控制参数训练效果的评价方法。依托Comma2k19数据集对所构建控制决策网络进行训练和验证，体现出良好的可行性及优越性。     

基于驾驶风格的前撞预警系统报警策略

考虑驾驶风格的影响,设计了一种优化的纵向相对距离预测模型,并基于此模型改进了前撞预警系统报警策略。驾驶风格分类结合了分位点法和信息熵法,以不同方式进行特征提取,使用k-means方法聚类样本数据。基于长短期记忆模型,设计了编码器-解码器模型用于预测,以上述分类的全部数据训练模型的共用部分参数,以提高模型的泛化能力;而以3种驾驶风格对应数据集对模型的个性化部分参数进行更高学习率的训练。利用上述预测模型,对基于欧洲新车评估计划-自动紧急制动系统测试协议的前撞预警策略进行改进,使误报警次数从123降低至50。     

基于不同风格行驶模型的自动驾驶仿真测试自演绎场景研究

为了验证自动驾驶汽车决策结果的安全性,提出一种具有自主决策和交互能力的行驶模型生成方法,该行驶模型作为背景车被用于构建自演绎仿真场景来测试自动驾驶汽车的连续决策能力。首先,以强化学习为基础、结合遗传与进化思想,创新地设计并生成了具有自主决策和交互能力的不同风格行驶模型;然后,在模型构建阶段分别训练生成了保守、普通和激进3种风格的行驶模型,其中普通风格行驶模型的训练参数来源于自然驾驶数据集highD的车辆参数分布,保证了该行驶模型的真实性;最后,在普通风格行驶模型的基础上设计并训练出了具有显著激进特征的激进风格行驶模型,以增强自演绎场景的复杂性和测试效果。结果表明：在模型真实性方面,以highD数据集中的跟车速度、车头间距、换道时刻下碰撞时间等参数的分布为真值,研究所生成的普通风格行驶模型的参数分布与真值的平均相似程度为88%,相较于基于规则的智能驾驶人模型（IDM）提升了20.3%;在场景测试性方面,以被测系统为主要责任方的碰撞次数为评估指标,研究生成的不同风格行驶模型所构成的自演绎场景的测试性约是由IDM构成的基线场景的7倍。因此,设计和生成的行驶模型所构成的自演绎场景可以有效支撑面向自动驾驶决策系统的仿真测试。     

平直高速公路低交通量下L2自动驾驶对驾驶人心理负荷的影响

为研究驾驶人在L2自动驾驶模式下的心理负荷特性,设计了正常驾驶和次任务驾驶2种状态,进行实车高速道路试验,采集21名被试驾驶人在2种驾驶状态下分别选择手动驾驶和自动驾驶模式的眼动数据、次任务绩效和主观评价数据.采用重复测量一般线性模型,分析不同驾驶模式对上述参数的影响,从客观和主观两方面分析驾驶人的心理负荷变化.结果表...     

基于长短期记忆网络的换道意图识别方法

准确识别周围车辆的换道意图将有助于自动驾驶系统决策,从而提升安全性和舒适性。提出一种基于长短期记忆（Long Short-term Memory,LSTM）网络的换道意图识别方法,能够较为准确地识别周围车辆的换道意图。该方法先通过构造收益函数来描述目标车辆（被预测的车辆）与其邻域车辆之间的交互关系,得到目标车辆左换道、右换道和车道保持的收益值,并将该收益值作为交互特征输入到意图识别网络;在意图识别网络中,引入注意力机制,通过网络自学习得到的权重对LSTM层各个时刻的输出加权求和,能够对编码信息进行有效利用,提高换道意图的识别性能;由于车辆的换道意图存在较强的前后依赖性,引入条件随机场（Conditional Random Field,CRF）,采用意图转移特征函数对各个时刻换道意图进行联合建模,并构建负对数似然损失函数作为整个网络的损失。为了验证所提方法的有效性,基于NGSIM数据集训练并评估模型。结果表明：所提方法对换道意图识别的准确率、宏观F1分数、测试集损失分别为0.916 4、0.874 6和0.168 3,均优于支持向量机（SVM）、隐马尔可夫模型（HMM）和LSTM模型。同时,所提模型对左换道和右换道的平均换道提前识别时间分别为3.08、2.33 s,综合换道提前识别时间为2.81 s,优于基线模型,能够为主车的决策提供充足的冗余时间。通过消融分析可知,引入的交互作用模块、注意力机制和条件随机场对准确率的贡献分别为0.012 2、0.004 3和0.011 0,印证了相关模块的有效性。最后由场景验证的案例可以得出,所提方法在准确率、稳定性和换道提前识别时间等指标上优于对比模型。