基于注意力机制的多模态自动驾驶行为决策模型

针对现有端到端自动驾驶模型未考虑驾驶场景中不同区域的重要性和不同语义类别之间的关系而导致预测准确率低的问题，受驾驶人注意力机制和现有端到端自动驾驶模型的启发，充分考虑驾驶场景的动态变化、驾驶场景的语义信息和深度信息对驾驶行为决策的影响，以连续多帧驾驶场景的RGB图像为输入，构建一种基于注意力机制的多模态自动驾驶行为预测模型，实现对方向盘转角和车速的准确预测。首先，通过语义分割模型和单目深度估计模型分别获取RGB图像的语义图像和深度图像；其次，为剔除与驾驶行为决策无关信息，以神经科学和空间抑制理论为基础，设计一种拟人化注意力机制作为能量函数来计算驾驶场景中不同区域的重要度；为学习语义图像中与驾驶行为决策最为相关类别之间的关系，采用图注意力网络(Graph Attention Network,GAT)对驾驶场景的语义图像进行特征提取；然后，以保留RGB特征为原则对提取的驾驶场景的图像特征、语义特征和深度特征进行融合，采用卷积长短期记忆网络(Convolutional Long Short Term Memory,ConvLSTM)实现融合特征在连续多帧之间的传递，进而实现下一帧驾驶场景对应驾驶行为的预测；最后，与其他模型的对比试验、消融试验、泛化试验和特征可视化试验来充分验证所提出自动驾驶行为预测模型的性能。试验结果表明：与其他驾驶行为预测模型相比，所提出模型的训练误差为0.021 2，预测准确率为86.97%，均方误差为0.031 5，其驾驶行为的预测性能优于其他模型；连续多帧的语义图像和深度图像、拟人化注意力机制和面向语义特征提取的GAT有助于提升驾驶行为预测的性能；该模型具有较好的泛化能力,其做出驾驶行为预测所依赖的特征与经验丰富的驾驶人所关注的特征基本一致。     

基于多特征融合的行人意图以及行人轨迹预测方法研究

行人作为重要的交通参与者,其行走意图和轨迹预测对智能驾驶汽车的决策规划具有重要意义。基于注意力机制增强的长短时记忆(Long Short-term Memory,LSTM)网络,设计一种多特征融合的行人意图以及行人轨迹预测方法。该方法通过融合行人骨架和头部方向特征,以加强行人运动特征的表达,并将融合特征作为意图预测网络输入,继而得到行人意图;由于行人运动具有不确定性,将行人意图预测类别和历史轨迹坐标的联合向量作为行人轨迹预测网络的输入,以期生成更为精确的轨迹预测结果。此外,在轨迹预测网络中引入注意力机制,以加强LSTM对各个时刻编码向量的有效利用,从而提高网络的行人轨迹预测性能,并基于Daimler数据集进行训练及验证。研究结果表明：所提出的多特征意图预测方法准确率可达96.0%,优于基于骨架单特征的意图预测网络;在预测时域为1 s的情况下,预测轨迹的位置均方根误差为347 mm,相较于恒速度(Constant Velocity,CV)模型、交互多模型(Interacting Multiple Model,IMM)、常规LSTM等基线方法均有明显的提升;在实际场景分析中,提出的方法可提前0.56 s识别行人的转弯意图,可为智能车辆的决策模块提供有益线索;提出的方法能够有效降低行人意图转变过程中的轨迹预测误差,对减小车辆与行人碰撞事故,提高智能车辆行驶安全性具有重要意义。     

基于多层时空融合网络的驾驶人注意力预测

类人驾驶是提升汽车智能化程度的重要途径之一，识别和定位驾驶人的感兴趣目标和区域，进而快速、精确地感知驾驶场景中潜在风险或提供决策所需关键信息，能够有效增强智能汽车的功能可理解性和鲁棒性。本文基于层次化编码器-解码器架构设计轻量化多层时空融合网络，建立轻量化驾驶人注意力预测模型。首先，以MobileNetV2作为编码器的骨干网络，提取当前帧4个尺度上的多层次空间特征，将其存入记忆模块并与在历史帧上提取的多层次特征在时间维度叠加，得到连续帧间的时空特征后传输至解码器。其次，基于层次化解码结构设计解码器，采用逆瓶颈3D卷积模块设计时空融合层，融合每个独立分支上的时空特征。最后，融合4个独立分支上捕获不同尺度信息的预测结果，获得驾驶人注意力预测值作为模型预测输出结果。结果表明：本文提出的驾驶人注意力预测模型，通过在多个特征尺度上的编码与解码，能够有效利用动态场景当前帧和历史帧间的时间、空间、尺度信息；在DADA-2000和TDV数据集上的测试实验表明，在多个指标上优于当前同类优秀模型；模型尺寸为19 MB，单帧运算速度为0.02 s，实现了优秀的模型轻量化与实时性效果。综上所述，本研究解决了当...     

基于M形深度架构的非结构化道路可行驶区域推荐模型

针对边界模糊、路况多变的非结构化道路，为满足智能汽车在正常、应急等复杂行驶工况下对可行驶区域的视觉检测需求，提出一种在M形深度架构下融合多尺度交互策略和双重注意力机制的可行驶区域推荐模型，能够在复杂驾驶场景中精细分割出非结构化道路的强推荐、弱推荐、不推荐行驶区域。首先，在编码器-解码器的骨架基础上，构建倒金字塔式的多尺度分层输入和分层输出结构，以有效融合非结构化道路的浅层形态学特征与深层语义信息，并平衡模型在不同尺度上的预测偏倚，提升复杂驾驶场景下对多尺度与变尺度目标的分割精度；其次，构建集成通道注意力和空间注意力的跳跃连接结构，使模型在实现编码特征与解码特征高效传递的同时，聚焦于学习与道路可行驶性相关的重要特征，进一步强化模型对非结构化道路的检测性能。通过多种途径构建包含城郊、乡村、园区等真实场景的非结构化道路驾驶数据集。试验结果表明：得益于M形深度架构对多尺度交互策略和双注意力机制的融合，提出的模型在多种真实驾驶场景下均能较好地实现强推荐行驶区域、弱推荐行驶区域、不推荐行驶区域和背景区域的精细分割，平均交并比达到92.46%，平均检测速度达到22.7帧·s^-1；与现有其他主流模型相比，提出的模型兼顾了分割精度和时间效率，在非结构化道路可行驶区域检测任务上有明显优势。     

基于GhostNet的轻量级桥梁裂缝图像语义分割算法

针对现有的桥梁裂缝检测语义分割网络参数量过于庞大、计算时间长、难以部署在移动端等资源受限的设备上，而且存在裂缝细节识别困难、分割结果不连续的问题，提出了一种优化PSPNet网络结构的改进型轻量级裂缝语义分割模型Ghost-PSPNet。首先利用GhostNet替换ResNet-50作为主干网络，以更小的计算代价生成冗余特征，其次在模型中引入一条支路结构融合多层级特征，得到含更多准确裂缝形态、空间位置信息的高语义特征图，并在金字塔池化模块(Pyramid pooling module PPM)后嵌入自适应通道注意力机制ECANet来强化上下文语义关系衔接。实验结果表明，与PSPNet以及ShuffletNetV2、VGG16为主干的DeepLabV3+、UNet网络相比该模型mIoU值可达82.8%,所占内存仅为14.9 MB较原始PSPNet模型减少了近90%,实时帧率值FPS为38,实现了实时性和准确率的良好平衡。     

基于无损跨尺度特征融合的交通目标检测算法

针对复杂道路环境下交通目标与背景区分度低、交通小目标密集度高、部分遮挡严重、容易产生漏检、误检等问题，提出了一种融合注意力的无损跨尺度复合空洞残差网络的交通目标检测算法。通过改进SSD基础骨干网络和残差结构，加强网络提取强表征性的高级语义信息能力，解决信息传递损耗和丢失问题。在此基础上提出一种新的多视野聚合空洞残差单元，通过设置不同膨胀率的空洞卷积，获得不同大小感受野，聚合上下文信息实现大目标与小目标的兼顾。提出一种新的无损失跨尺度融合模块，通过该模块进行通道重组，结合通道维度信息填充像素，实现跨通道像素信息融合，进一步提升特征提取的能力。同时引入了坐标注意力机制，将轴向的空间坐标通道信息有效整合到生成注意力图中，构建出能够捕获跨通道信息且包含方向感知和位置敏感信息的注意力残差单元与多视野聚合空洞残差单元。此外，通过引入Soft-NMS降低与高置信度预测框重叠度较大的目标框的置信度，增加二次检测机会，提升了网络模型召回率。最后引入解耦检测头以加快模型收敛速度和提高检测精度。在VOC数据集07+12上的试验结果表明，算法平均精度提升了6.46%,证明了提出算法的准确性和鲁棒性。     

城市道路场景下考虑多类交通参与者的多模态车辆轨迹预测方法研究

车辆轨迹预测是自动驾驶的关键技术之一,针对以往模型较少考虑城市道路场景中车辆以外多类交通参与者的问题,本研究提出了一种多类交通参与者的多模态车辆轨迹预测模型。该模型使用门控循环单元对历史轨迹信息进行编码,并利用注意力机制将多类交通参与者的特征映射到用图结构表达的驾驶场景中,通过图注意力网络进行环境特征提取,从而使模型能感知环境中的多类交通参与者。此外,模型通过节点轨迹预测与坐标轨迹预测模块输出最终的多模态轨迹预测结果。基于城市道路场景数据集nuScenes的实验结果表明：相较于同类现有模型,所提出的模型算力需求更低、预测更准确,且能适用于人车混合的城市道路驾驶场景。     

基于注意力机制的双向门控循环单元网络齿轮故障识别系统

提出一种基于注意力机制 （Attention Mechanism，AM） 的双向门控循环神经网络模型的齿轮故障识别系统。使用基于 STM32 的嵌入式主控制器分别采集正常齿轮、断齿齿轮、轮齿剥落齿轮等 3 种故障齿轮工作时的振动传感器数据，使用基于注意力机制的双向门控循环单元网络模型进行齿轮故障识别。双向门控循环神经网络模型添加了注意力机制，保留输入特征的重要信息，不随步长增加而消失。将采集到的原始数据集按7∶2∶1的比例划分为训练集、验证集和测试集。测试集模型的齿轮故障识别准确率达到了99.67%，与GRU和Bi-GRU等模型的结果对比证明该模型的正确率更高。本系统可用于汽车变速器的监测与故障诊断。     

基于交叉注意力机制的多模态感知融合方法

针对智能汽车道路目标检测任务中单一传感器感知能力有限、多传感器后融合处理复杂等问题,提出了一种基于Transformer交叉注意力机制的多模态感知融合方法。首先,利用交叉注意力机制能较好地融合多模态信息的优势,搭建了基于深度学习方式的端到端融合感知网络,用以接收视觉与点云检测网络的输出,并进行后融合处理。其次,对点云检测网络的三维目标信息进行高召回处理,与视觉图像检测器输出的道路目标信息一同作为网络的输入。最后,通过网络实现二维目标信息向三维信息的融合,输出对三维目标检测信息的修正,从而得到准确度更高的后融合检测信息。在KITTI公开数据集上的验证指标表明,通过所提融合方法引入二维检测信息后,相比较PointPillars、PointRCNN、PV-RCNN及CenterPoint四种基准方法,对车辆、骑行人、行人3种类别的综合平均提升分别为7.07%、2.82%、2.46%、1.60%。通过与基于规则的后融合方法对比,所提融合网络在行人和骑行人中等、困难样本检测上,分别有平均1.88%与4.90%的提升。进一步表明所提方法具有更强的适应性与泛化能力。最后,进行了实车试验平台的搭建及算...     

单级特征图融合坐标注意力的视觉位置识别方法

针对视角和环境变化的场景中现有视觉位置识别方法存在的匹配遗漏和实时性差的问题，提出基于单级特征图融合坐标注意力的视觉位置识别方法。首先通过坐标注意力捕获特征的相对位置信息，然后利用扩张卷积和局部聚合向量网络（NetVLAD）构造多尺度特征融合的编码器，最后基于三元组损失训练网络。经Pitts30k和Nordland数据集验证，在位置识别试验中，与同基线的先进方法 Patch-NetVLAD相比，所提出的方法能够获得同等的召回精度且检索速度提高19%。在回环检测试验中，所提出的方法达到了合理平衡鲁棒性和检索速度的目标。     

基于深度学习的疲劳驾驶检测算法研究

针对疲劳驾驶检测模型需要的实时性与轻量性，在SSD的基础上提出了SSD-MA网络作为人脸部件检测网络。该网络通过替换原SSD主干网络为MobileNetv3，使得模型参数量骤减，加上AFF注意力特征融合了不同尺寸的特征图，进一步提升了对人眼小目标的检测性能，并结合疲劳参数Peclos可以准确地输出被测人员的疲劳状态。经实验验证，SSD-MA在验证集上的mAP值达到了96.9%，较原SSD-300提高了5%，网络整体体积缩减了89%。     

基于小波变换的多源遥感图像融合方法

数据融合是目前遥感应用领域的一个热点问题,文中分析了传统的多源数据融合方法,提出了采用基于多分辨率的小波分解技术进行多源图像融合的方法.它将高分辨率图像的小波系数添加到多频谱(低分辨率)数据上,再将全色图像小波变换的高阶系数添加到多频谱图像的浓度组件上.实验表明,此方法切实可行,能使低分辨率图像的信息提取与利用接近于高分辨率图像.     

高速动态交通场景下自动驾驶车辆换道意图识别模型研究

为提高自动驾驶车辆在高速动态复杂交通场景下车辆换道意图识别精度和预判能力，提出了基于融合注意力机制的卷积残差双向长短时记忆（BiLSTM）识别模型。采用一维卷积神经网络提取车辆运动状态特征；将构造的特征向量作为BiLSTM输入信息；通过残差连接，解决多层BiLSTM易出现的优化瓶颈和梯度消失问题；利用注意力机制，调整残差BiLSTM不同时刻输出权重；应用Softmax函数计算驾驶意图概率。采用NGSIM高速公路数据集对模型进行验证，并与其他4种模型进行对比，结果表明：该模型对换道意图整体识别准确率最高，达到97.44%，在换道前2.5 s预测结果准确率达到90%以上，具有更好的识别精度和预判能力。     

基于动态图注意力的车辆轨迹预测研究

针对目前轨迹预测研究中交互建模方法使用的图注意力网络（GAT）为静态注意力,无法有效捕捉复杂道路场景中车辆间交互的问题,提出了一种基于编码器-解码器架构的动态图注意力网络（ED-DGAT）预测高速公路环境中运动车辆的未来轨迹。编码模块使用动态图注意力机制学习场景中车辆间的空间交互,采用状态简化动态图注意力网络建模解码阶段车辆运动的相互依赖,最后使用NGSIM数据集评估所提出的模型,并与长短时记忆（LSTM）、联合社交池化与长短时记忆（S-LSTM）、联合卷积社交池化与长短时记忆（CS-LSTM）算法模型进行对比分析,结果表明,预测轨迹的均方根误差（RMSE）降低了25%,且模型的推理速度为CS-LSTM模型的2.61倍。     

基于多特征融合的隧道场景车辆再识别

为解决隧道内交通监控视频的低分辨率以及光照不均匀导致的再识别准确率偏低的问题，提出了一种基于多特征融合的车辆再识别方法，通过充分利用车辆的各种有效特征信息提升车辆再识别精确度。首先，将卷积块注意力模块(Convolutional Block Attention Module, CBAM)嵌入到YOLOv5模型的骨干网络卷积层，同时采用CIoU损失和DIoU-NMS方案，提高车型检测准确率；其次，使用改进DeepSORT的表观特征提取网络和ResNet网络，分别获取深度卷积神经网络(Deep Convolution Neural Networks, DCNN)特征和车型ID特征；再次，将车型特征、DCNN特征及车辆ID特征使用加和表示层进行融合，形成可鉴别身份特征，以提高车辆再识别精度；最后，基于Softmax交叉熵损失和三元组损失设计指标函数并进行学习，对学习结果进行重排序以进一步提高模型的精度，并将算法在公开数据集VeRi776、VehicleID和自建数据集Tunnel＿Veh4C进行训练验证。结果表明：与现有方法相比，提出的Rank-1、Rank-5和Rank-10识别准确率以及...     

基于深度学习的高分影像道路提取方法研究

首先阐明了道路数据信息化管理的重要意义,并简要分析了道路元素特征与提取思路,论证了在高分辨率遥感影像和丰富样本集的支持下,基于深度学习的道路提取方法相较于传统方法具有更优的适用性;其次选择了WGAN(Wasserstein生成对抗网络)深度学习模型来实现道路提取操作,通过样本标注与多层融合训练得到了能够根据原始遥感影像直接输出道路元素二值图像的生成模型;最终通过对实际道路提取任务的实验验证,证明了本方法在提取精度和效率上的优势和普适性。     

基于多视图时空卷积的交通流量预测模型

交通流量预测一直是智能交通系统的首要任务。由于交通流量序列具有复杂的时空依赖性,使得对其准确预测变得极具挑战性。现有很多工作主要基于循环神经网络、图网络以及Transformer模型构建交通流量预测模型。考虑到卷积网络具有计算效率高以及特征提取能力强等优点,提出基于多视图时空卷积的交通流量预测模型。模型在输入编码层对序列数据进行表示学习,并引入了位置信息和时间信息。在时空特征表示学习层,考虑到序列具有不同的周期模式,设计了多个表示学习模块。每个时空表示学习模块,基于一维卷积完成局部时空特征挖掘,然后基于因果卷积实现全局时空特征挖掘。在预测层,引入通道注意力机制提升模型对时空特征利用的有效性。在2个真实交通数据集上的实验结果,验证了MSTC模型在交通流预测任务上的有效性。     

基于并行短时面部特征的驾驶人疲劳检测方法研究

为实现更快速、准确的疲劳预警,提出了一种基于并行短时面部特征的驾驶人疲劳检测方法。基于加入了MicroNet模块、CA注意力机制、Wise-IoU损失函数的YOLOv7-MCW目标检测网络提取驾驶人面部的短时面部特征,再使用并行Informer时序预测网络整合YOLOv7-MCW目标检测网络得到的面部时空信息,对驾驶人疲劳状态进行检测与预警。结果表明：在领域内公开数据集UTA-RLDD和NTHU-DDD上,YOLOv7-MCW-Informer模型的准确率分别为97.50%和94.48%,单帧检测时间降低至28 ms,证明该模型具有良好的实时疲劳检测性能。     

基于深度学习的动车组运行安全图像异物检测

动车组在运行过程中容易附着塑料袋等异物,影响动车组的运行安全.针对动车组运行安全图像异物自动检测的问题,研究基于卷积神经网络的动车组异物检测与分割模型,该模型采用特征金字塔网络提取异物的多尺度融合特征,通过区域提议网络生成未知类别的候选区域,通过预测网络对候选区域进行分类和位置回归,并通过分割网络生成预测区域的蒙版.针对异物形态变化多样,采用可变形卷积改变感受野适应异物形态的变化.针对异物检测任务中异物数量远小于背景零部件的数量,采用在线困难样本挖掘筛选出困难样本重新输入预测网络以平衡正负样本的比例.实验分析表明,通过优化方法使得最终模型检测精度达到了90.35%,提升了4.03%;召回率达到94.85%,提升了8.1%.      

基于 Bi-LSTM 的多类型特征融合驾驶员疲劳识别方法

针对传统的基于驾驶员面部图像采集的单一类型特征的疲劳识别方法，在阴影遮挡及光照变化场景下存在准确性、鲁棒性不足的问题，深入开展基于多类型特征融合的驾驶员疲劳识别方法研究。在分析非图像化的驾驶员疲劳特征的基础上，通过机器人操作系统 （Robot Operating System， ROS）的话题订阅来实现驾驶员生理特征、操作行为特征及面部特征的多源数据同步采集。处理原始数据并分析数据特性，提出了一种融合生理特征与驾驶员及观测者主观评价的数据标注策略，标注疲劳特征，构建驾驶员疲劳数据集；将驾驶员操作行为特征与面部特征融合，形成多类型特征融合序列，并基于双向长短时记忆 （Bi-directional Long Short-Term Memory，Bi-LSTM）网络，构建多类型特征融合的疲劳识别模型；通过单一类型特征与多类型特征对比试验、不同场景对比试验证明，基于Bi-LSTM的多类型特征融合识别方法的准确率和鲁棒性较单一类型特征识别方法均有明显提升，能在各种场景下更好地识别驾驶员的疲劳状态。