基于注意力机制的多模态自动驾驶行为决策模型

针对现有端到端自动驾驶模型未考虑驾驶场景中不同区域的重要性和不同语义类别之间的关系而导致预测准确率低的问题，受驾驶人注意力机制和现有端到端自动驾驶模型的启发，充分考虑驾驶场景的动态变化、驾驶场景的语义信息和深度信息对驾驶行为决策的影响，以连续多帧驾驶场景的RGB图像为输入，构建一种基于注意力机制的多模态自动驾驶行为预测模型，实现对方向盘转角和车速的准确预测。首先，通过语义分割模型和单目深度估计模型分别获取RGB图像的语义图像和深度图像；其次，为剔除与驾驶行为决策无关信息，以神经科学和空间抑制理论为基础，设计一种拟人化注意力机制作为能量函数来计算驾驶场景中不同区域的重要度；为学习语义图像中与驾驶行为决策最为相关类别之间的关系，采用图注意力网络(Graph Attention Network,GAT)对驾驶场景的语义图像进行特征提取；然后，以保留RGB特征为原则对提取的驾驶场景的图像特征、语义特征和深度特征进行融合，采用卷积长短期记忆网络(Convolutional Long Short Term Memory,ConvLSTM)实现融合特征在连续多帧之间的传递，进而实现下一帧驾驶场景对应驾驶行为的预测；最后，与其他模型的对比试验、消融试验、泛化试验和特征可视化试验来充分验证所提出自动驾驶行为预测模型的性能。试验结果表明：与其他驾驶行为预测模型相比，所提出模型的训练误差为0.021 2，预测准确率为86.97%，均方误差为0.031 5，其驾驶行为的预测性能优于其他模型；连续多帧的语义图像和深度图像、拟人化注意力机制和面向语义特征提取的GAT有助于提升驾驶行为预测的性能；该模型具有较好的泛化能力,其做出驾驶行为预测所依赖的特征与经验丰富的驾驶人所关注的特征基本一致。     

基于动态图注意力的车辆轨迹预测研究

针对目前轨迹预测研究中交互建模方法使用的图注意力网络（GAT）为静态注意力,无法有效捕捉复杂道路场景中车辆间交互的问题,提出了一种基于编码器-解码器架构的动态图注意力网络（ED-DGAT）预测高速公路环境中运动车辆的未来轨迹。编码模块使用动态图注意力机制学习场景中车辆间的空间交互,采用状态简化动态图注意力网络建模解码阶段车辆运动的相互依赖,最后使用NGSIM数据集评估所提出的模型,并与长短时记忆（LSTM）、联合社交池化与长短时记忆（S-LSTM）、联合卷积社交池化与长短时记忆（CS-LSTM）算法模型进行对比分析,结果表明,预测轨迹的均方根误差（RMSE）降低了25%,且模型的推理速度为CS-LSTM模型的2.61倍。     

城市道路场景下考虑多类交通参与者的多模态车辆轨迹预测方法研究

车辆轨迹预测是自动驾驶的关键技术之一,针对以往模型较少考虑城市道路场景中车辆以外多类交通参与者的问题,本研究提出了一种多类交通参与者的多模态车辆轨迹预测模型。该模型使用门控循环单元对历史轨迹信息进行编码,并利用注意力机制将多类交通参与者的特征映射到用图结构表达的驾驶场景中,通过图注意力网络进行环境特征提取,从而使模型能感知环境中的多类交通参与者。此外,模型通过节点轨迹预测与坐标轨迹预测模块输出最终的多模态轨迹预测结果。基于城市道路场景数据集nuScenes的实验结果表明：相较于同类现有模型,所提出的模型算力需求更低、预测更准确,且能适用于人车混合的城市道路驾驶场景。     

基于卷积神经网络的自行车骑行行为识别

为研究适合我国城市交通的自行车骑行行为分类识别方法,实施骑行行为视频调查试验,并提取骑行者骑行特征信息.结合我国交通现状和自行车交通特点,提出一种新的骑行行为分类方法,新的行为分类可基本覆盖我国自行车交通的所有骑行行为场景.采用提出的行为分类方法对试验个体骑行行为进行人工分类标记,得到不同骑行场景下的骑行行为分类数据集.基于卷积神经网络(CNN)建立自行车骑行行为识别模型,考虑模型输入特征特性以及分类任务复杂度对模型结构进行迭代设计选优,调整模型网络组成和卷积参数,得到分类效果显著的模型结构.对比分析多元Logit分类模型、三层全连接层BP神经网络模型,与本文的卷积网络模型在骑行行为分类预测的表现,在20 000次迭代训练之后,3个模型均得到收敛结果.结果 表明,提出的骑行行为分类模型准确率分别高于多元Logit模型20%,高于BP网络模型15%,显著优于对比模型的识别效果.卷积网络模型可有效解析骑行行为与各骑行特征因素之间的关系.      

数据驱动的智能车个性化场景风险图构建

为实现智能车辆危险预警辅助功能，精确建立个体驾驶员的个性化辅助系统，提出一种数据驱动的智能车个性化场景风险图构建方法。构建复杂交通场景中动静态要素属性与要素之间隐含交互关系的图表征，使用图核方法对图表征数据进行相似性度量，处理分析驾驶员操作数据并获取驾驶员个性化场景危险程度评价标签。基于支持向量机训练识别模型，建立驾驶员个性化危险评价机理与场景特征之间的映射关系，以模型输出的危险程度评价标签与真实值进行实验对比。结果表明，基于场景风险图构建的驾驶员个性化危险场景识别模型识别准确率可达95.8%，比特征向量表示法提高了38.2%，能够有效地做出基于驾驶员驾驶风格的个性化场景危险程度评价。     

交通场景中基于注意力机制神经网络的人群计数

人群计数是计算机视觉领域的重要任务。交通场景中的人群计数任务对于维护公众出行安全、实现交通智能化具有重要作用。公共交通场景中通常存在行人相互遮挡、背景复杂等现象,给人群计数带来了困难。为了实现高精度的人群计数,研究了基于注意力机制的人群密度估计网络。网络包含3个部分：特征提取模块通过生成多尺度的特征图,增强网络的特征表达能力,提高网络对行人大小变化的鲁棒性;注意力模块通过抑制背景噪声响应,强化人群特征响应,生成特征图中人群区域的概率分布,增强网络区分人群区域与背景区域的能力;密度估计模块在注意力机制的约束下指导网络回归高分辨率的人群密度图,提高网络对人群区域的敏感性。设计了基于背景感知的结构损失函数,能够降低模型的错误识别率,提高模型的计数准确率;采用多级监督机制指导网络进行学习,能够帮助梯度反向传播和减少过度拟合,进一步提高网络的人群计数精度。在公共数据集ShanghaiTech上进行了实验,实验结果表明：与目前最先进的算法相比,在ShanghaiTechA和ShanghaiTechB数据集上,平均绝对误差（mean absolute error,MAE）分别提高了2.4%和1.5%...     

基于融合离散动作的双延迟深度确定性策略梯度算法的自动驾驶端到端行为决策方法

针对基于强化学习的车辆驾驶行为决策方法存在的学习效率低、动作变化不平滑等问题，研究了1种融合不同动作空间网络的端到端自动驾驶决策方法，即融合离散动作的双延迟深度确定性策略梯度算法（TD3WD）。在基础双延迟深度确定性策略梯度算法（TD3）的网络模型中加入1个输出离散动作的附加Q网络辅助进行网络探索训练，将TD3网络与附加Q网络的输出动作进行加权融合，利用融合后动作与环境进行交互，对环境进行充分探索，以提高对环境的探索效率；更新Critic网络时，将附加网络输出作为噪声融合到目标动作中，鼓励智能体探索环境，使动作值预估更加准确；利用预训练的网络获取图像特征信息代替图像作为状态输入，降低训练过程中的计算成本。利用Carla仿真平台模拟自动驾驶场景对所提方法进行验证，结果表明:在训练场景中，所提方法的学习效率更高, 比TD3和深度确定性策略梯度算法（DDPG）等基础算法收敛速度提升约30%；在测试场景中，所提出的算法的收敛后性能更好，平均压线率和转向盘转角变化分别降低74.4%和56.4%。      

多通路高分辨率网络与注意力机制融合的车辆检测模型

为改善道路交通监测和保证智能网联交通系统的安全、可靠与稳定运行,提出了在路侧边缘平台中基于多通路高分辨率网络与注意力机制融合的车辆检测模型MCHRANet。该模型采用多通路的高分辨率网络的结构设计,保留高分辨率特征并保障识别准确率。融入注意力机制的特征融合方法,通过特征连接权重自学习实现多尺度特征的深度融合。各通路网络采用跳跃连接促进跨层特征融合,加速网络收敛,并利用公开数据集对车辆检测性能进行评估并验证。结果表明：所提模型的车辆检测性能优于3个传统模型,改进后的网络识别平均精度均值（mAP）指标接近95%,且对于不同场景下的检测具有良好的鲁棒性。     

基于分段学习模型的自动驾驶行为决策算法研究

在具有车道线的特定自动驾驶场景中,针对目前端到端的行为决策算法直接输入原始图像进行决策导致的网络模型迁移性差、预测精度欠佳、泛化能力不足等问题,提出一种基于分段学习模型的车辆自动驾驶行为决策算法。首先,基于GoogLeNet建立一种端到端的车道线检测网络模型,并引入车道中心线作为决策的重要线索提高算法的迁移能力,同时利用YOLOv3目标检测模型对本车道内前方最近障碍物进行位置检测;而后,经几何测量模型将两者检测结果转换成环境状态信息向量为决策做支撑;最后,构建基于长短期记忆(LSTM)网络的驾驶行为决策模型,根据编码的历史状态信息刻画出动态环境中车辆的运动模式,并结合当前时刻的状态推理得到驾驶行为参量。使用建立的真实驾驶场景数据集对模型分别进行训练、验证与测试,离线测试结果显示车道线检测模型的检测位置误差小于1.3%,车道内前方障碍物检测模型的检测精度达98%以上,驾驶行为决策网络模型表征预测优度的决定系数 大于0.7。为进一步验证算法的有效性,搭建了Simulink/PreScan联合仿真平台,多种工况下的仿真验证试验中多个评价指标均达到工程精度要求,实车测试的试验结果也表明该算法可实现复杂驾驶场景下平稳、准确无偏航的预测效果并满足实时性要求,且与传统端到端模式的算法相比,具有更好的迁移性和泛化能力。     

基于GhostNet的轻量级桥梁裂缝图像语义分割算法

针对现有的桥梁裂缝检测语义分割网络参数量过于庞大、计算时间长、难以部署在移动端等资源受限的设备上，而且存在裂缝细节识别困难、分割结果不连续的问题，提出了一种优化PSPNet网络结构的改进型轻量级裂缝语义分割模型Ghost-PSPNet。首先利用GhostNet替换ResNet-50作为主干网络，以更小的计算代价生成冗余特征，其次在模型中引入一条支路结构融合多层级特征，得到含更多准确裂缝形态、空间位置信息的高语义特征图，并在金字塔池化模块(Pyramid pooling module PPM)后嵌入自适应通道注意力机制ECANet来强化上下文语义关系衔接。实验结果表明，与PSPNet以及ShuffletNetV2、VGG16为主干的DeepLabV3+、UNet网络相比该模型mIoU值可达82.8%,所占内存仅为14.9 MB较原始PSPNet模型减少了近90%,实时帧率值FPS为38,实现了实时性和准确率的良好平衡。     

基于深度学习模型的疲劳驾驶行为识别算法

为降低道路交通事故发生率,提出了一种基于深度学习模型的疲劳驾驶行为识别算法。采用照度增强和反射分量均衡化的方法,以提高视频图像质量。将机器视觉工具箱软件用于提取疲劳驾驶人脸行为特征,并通过双流网络构建和训练深度学习模型,实现对疲劳驾驶行为识别。选择了不同睡眠时间段参与者在全封闭路段内的驾驶行为图像,作为实验测试目标。结果表明：用该算法测试1 000张疲劳驾驶行为图像时,识别时间为89 ms,精准度为97.6%,召回率为97.0%;算力需求（每秒所执行的浮点运算次数,FLOPS）≤88;该算法能够提高疲劳驾驶行为的识别精度,有助于降低道路交通事故的发生率。     

基于MM-STConv的端到端自动驾驶行为决策模型

针对现有端到端自动驾驶模型输入数据类型单一导致预测精确度低的问题，选取RGB图像、深度图像和车辆历史连续运动状态序列作为多模态输入，并利用语义信息构建一种基于时空卷积的多模态多任务（Multimodal Multitask of Spatial-temporal Convolution，MM-STConv）端到端自动驾驶行为决策模型，得到速度和转向多任务预测参量。首先，通过不同复杂度的卷积神经网络提取场景空间位置特征，构建空间特征提取子网络，准确解析场景目标空间特征及语义信息；其次，通过长短期记忆网络（LSTM）编码-解码结构捕捉场景时间上、下文特征，构建时间特征提取子网络，理解并记忆场景时间序列信息；最后，采用硬参数共享方式构建多任务预测子网络，输出速度和转向角的预测值，实现对车辆的行为预测。基于AirSim自动驾驶仿真平台采集虚拟场景数据，以98 200帧虚拟图像及对应的车辆速度和转向角标签作为训练集，历经10 000次训练周期、6 h训练时长后，利用真实驾驶场景数据集BDD100K进行模型的测试与验证工作。研究结果表明：MM-STConv模型的训练误差为0.130 5，预测精确度达到83.6%，在多种真实驾驶场景中预测效果较好；与现有其他主流模型相比，该模型综合场景空间信息与时间序列信息，在预测车辆速度和转向角方面具有明显的优势，可提升模型的预测精度、稳定性和泛化能力。     

基于结构重参数化与自适应注意力的复杂路面快速识别模型

在复杂行驶环境下快速准确地识别前方路面类型,是车辆主动控制系统及时做出预判的关键前提。针对现有方法未能兼顾精度和速度且难以在车端部署的问题,提出一种基于结构重参数化与自适应注意力的路面分类模型,可对车辆前方的沥青、水泥、冰雪、沙土、花砖、石板、湿滑等复杂路面进行快速准确的甄别。首先,构建以水平/垂直/方形/点形等多分支异构卷积为核心的特征提取骨干网络。其次,提出一种轻量高效的注意力机制,能够根据特征尺寸自适应地聚合空间上下文信息,并根据特征维度自适应地进行局部跨通道交互,使模型聚焦于高相关的路面特征。在此基础上,引入结构重参数化思想,对模型的训练周期和推理周期进行解耦,在训练时通过多分支学习获得高裕度的特征表示,而在推理时将多分支结构等价转换为直铺式单支路结构,在不牺牲模型性能的前提下获得轻量化的部署模型以及显著的推理加速。试验结果表明：提出的模型能够在复杂行驶环境下有效识别路面类型,以6.57×10⁶的参数量取得99.14%的全场景分类精度和96.48%的新场景分类精度,同时具有496.28帧·s^-1的服务器推理速度和33.89帧·s     

基于改进GAN的端到端自动驾驶图像生成方法

基于端到端数据系统的自动驾驶系统对驾驶图像存在巨大需求。为解决一般生成式对抗网络模型在扩充驾驶图像数据集时不稳定及生成图像特征缺乏多样性的问题,研究1种改进网络模型LS-InfoGAN。结合最小二乘对抗损失防止模型梯度消失,并缓解生成器优化矛盾,提升模型训练稳定性。通过最大化生成图像与真实图像间的互信息提升生成器特征学习能力,改善生成图像特征多样性。利用转置卷积层还原图像特征,提升生成图像特征清晰度。以自主构建的模拟驾驶场景中获取的带标签驾驶图像集对模型有效性及其数据集扩充应用效果进行验证。实验分析表明:相比改进前模型,LS-InfoGAN模型的图像生成过程稳定性平均提升35%;使用此模型扩充的数据集进行端到端自动驾驶系统中决策网络的训练能在不采集新图像的情况下将系统决策性能提升1%~2%;建议使用此模型扩充图像数据集时将生成图像数量设置为原始训练集图像数量的1~2倍。      

基于动态匹配模型的驾驶人嘴部行为识别与分级预警

鉴于嘴部行为能够反映出驾驶人不同的精神状态,本文中提出了一种基于机器视觉的嘴部行为识别与精神状态预警方法。首先采用改进的高斯混合模型进行光照自适应的唇色分割。然后在嘴唇区域内建立了基于灰度能量角点的嘴唇动态匹配模型,用于描述嘴部特征并提取动作参数。最终建立了嘴部行为的判别模式,实现了驾驶人精神状态的分级预警。实验结果表明,动态匹配模型具有较高的嘴部特征匹配精度和动作适应能力。算法能够有效检测"闭嘴"、"说话"和"打哈欠"行为,分心预警和疲劳预警的监测精度分别为85.8%和92.9%。     

基于视频跟踪方法的行人过街状态表达与分析

提出了一种基于视频跟踪的行人过街状态表达与分析方法。采用自适应的混合高斯背景模型实现复杂交通场景下的背景抽取,提取运动行人目标;通过扩展的Kalman滤波算法对过街行人进行跟踪,获取行人的运动轨迹;根据有限状态自动机理论将行人过街过程表达为连续的微观行为状态;在行人过街运动参数的基础上,对行人的过街状态进行推理并分析,得出合理的过街行为方式。通过实际无信号交叉口行人过街视频跟踪实验表明,该方法具有较好的应用性。     

基于多特征融合的隧道场景车辆再识别

为解决隧道内交通监控视频的低分辨率以及光照不均匀导致的再识别准确率偏低的问题，提出了一种基于多特征融合的车辆再识别方法，通过充分利用车辆的各种有效特征信息提升车辆再识别精确度。首先，将卷积块注意力模块(Convolutional Block Attention Module, CBAM)嵌入到YOLOv5模型的骨干网络卷积层，同时采用CIoU损失和DIoU-NMS方案，提高车型检测准确率；其次，使用改进DeepSORT的表观特征提取网络和ResNet网络，分别获取深度卷积神经网络(Deep Convolution Neural Networks, DCNN)特征和车型ID特征；再次，将车型特征、DCNN特征及车辆ID特征使用加和表示层进行融合，形成可鉴别身份特征，以提高车辆再识别精度；最后，基于Softmax交叉熵损失和三元组损失设计指标函数并进行学习，对学习结果进行重排序以进一步提高模型的精度，并将算法在公开数据集VeRi776、VehicleID和自建数据集Tunnel＿Veh4C进行训练验证。结果表明：与现有方法相比，提出的Rank-1、Rank-5和Rank-10识别准确率以及...     

基于改进长短时记忆网络的驾驶行为检测方法研究

疲劳驾驶和不安全驾驶行为是引起交通事故的主要原因,随着智能交通技术的发展,利用深度学习算法进行驾驶行为检测已成为研究的热点之一。在卷积神经网络和长短时记忆神经网络的基础上,结合注意力机制改进网络结构,提出一种混合双流卷积神经网络算法,空间流通道采用卷积神经网络提取视频图像的空间特征值,以空间金字塔池化代替均值池化,统一了特征图的尺度变换,时间流通道采用SSD算法计算视频序列相邻两帧光流图像,用于人眼等脸部小目标的检测,再进行图像特征融合与分类,在LFW数据集和自建数据集中进行了实验,结果表明本方法的人脸识别和疲劳驾驶的检测准确率分别高于其他方法 1.36和2.58个百分点以上。     

基于长短期记忆网络的换道意图识别方法

准确识别周围车辆的换道意图将有助于自动驾驶系统决策,从而提升安全性和舒适性。提出一种基于长短期记忆（Long Short-term Memory,LSTM）网络的换道意图识别方法,能够较为准确地识别周围车辆的换道意图。该方法先通过构造收益函数来描述目标车辆（被预测的车辆）与其邻域车辆之间的交互关系,得到目标车辆左换道、右换道和车道保持的收益值,并将该收益值作为交互特征输入到意图识别网络;在意图识别网络中,引入注意力机制,通过网络自学习得到的权重对LSTM层各个时刻的输出加权求和,能够对编码信息进行有效利用,提高换道意图的识别性能;由于车辆的换道意图存在较强的前后依赖性,引入条件随机场（Conditional Random Field,CRF）,采用意图转移特征函数对各个时刻换道意图进行联合建模,并构建负对数似然损失函数作为整个网络的损失。为了验证所提方法的有效性,基于NGSIM数据集训练并评估模型。结果表明：所提方法对换道意图识别的准确率、宏观F1分数、测试集损失分别为0.916 4、0.874 6和0.168 3,均优于支持向量机（SVM）、隐马尔可夫模型（HMM）和LSTM模型。同时,所提模型对左换道和右换道的平均换道提前识别时间分别为3.08、2.33 s,综合换道提前识别时间为2.81 s,优于基线模型,能够为主车的决策提供充足的冗余时间。通过消融分析可知,引入的交互作用模块、注意力机制和条件随机场对准确率的贡献分别为0.012 2、0.004 3和0.011 0,印证了相关模块的有效性。最后由场景验证的案例可以得出,所提方法在准确率、稳定性和换道提前识别时间等指标上优于对比模型。     

基于GSOM神经网络模型的交通行为模式学习方法研究

提出了一种用于基于视频的交通事件自动检测的交通行为模式学习方法。首先为了获取利用神经网络进行车辆行为模式学习所需的训练数据,一种基于运动估算的车辆跟踪算法被建立,将采集到的灰度视频图像序列转化为车辆标号场时空序列。其次,使用轨迹建模和编码的方法,将跟踪结果转化为轨迹数据用于网络训练。在此基础上,建立自组织神经网络,并针对自组织网络的不足使用改进的GSOM模型,选择欧氏范数作为测度,自主开发了试验软件,以U形转事件为对象开展试验,对轨迹数据进行学习。对比试验结果表明改进的GSOM算法能有效提取行为模式。GSOM相比SOM用于行为模式学习更为有效和准确。