基于注意力机制的多模态自动驾驶行为决策模型

针对现有端到端自动驾驶模型未考虑驾驶场景中不同区域的重要性和不同语义类别之间的关系而导致预测准确率低的问题，受驾驶人注意力机制和现有端到端自动驾驶模型的启发，充分考虑驾驶场景的动态变化、驾驶场景的语义信息和深度信息对驾驶行为决策的影响，以连续多帧驾驶场景的RGB图像为输入，构建一种基于注意力机制的多模态自动驾驶行为预测模型，实现对方向盘转角和车速的准确预测。首先，通过语义分割模型和单目深度估计模型分别获取RGB图像的语义图像和深度图像；其次，为剔除与驾驶行为决策无关信息，以神经科学和空间抑制理论为基础，设计一种拟人化注意力机制作为能量函数来计算驾驶场景中不同区域的重要度；为学习语义图像中与驾驶行为决策最为相关类别之间的关系，采用图注意力网络(Graph Attention Network,GAT)对驾驶场景的语义图像进行特征提取；然后，以保留RGB特征为原则对提取的驾驶场景的图像特征、语义特征和深度特征进行融合，采用卷积长短期记忆网络(Convolutional Long Short Term Memory,ConvLSTM)实现融合特征在连续多帧之间的传递，进而实现下一帧驾驶场景对应驾驶行为的预测；最后，与其他模型的对比试验、消融试验、泛化试验和特征可视化试验来充分验证所提出自动驾驶行为预测模型的性能。试验结果表明：与其他驾驶行为预测模型相比，所提出模型的训练误差为0.021 2，预测准确率为86.97%，均方误差为0.031 5，其驾驶行为的预测性能优于其他模型；连续多帧的语义图像和深度图像、拟人化注意力机制和面向语义特征提取的GAT有助于提升驾驶行为预测的性能；该模型具有较好的泛化能力,其做出驾驶行为预测所依赖的特征与经验丰富的驾驶人所关注的特征基本一致。     

基于自适应阈值的三维激光点云地面分割算法研究

针对自动驾驶汽车感知模块中三维激光点云前后背景分割过程存在的误分割问题,提出了一种基于路面波动幅度的自适应阈值地面分割方法。该方法将原始点云进行栅格划分,依据点云数量信息设计了相应的高度阈值分割算法和地面平面模型分割算法。具体地,地面平面模型分割算法首先选取局部区域点集拟合地面平面模型,然后针对地面点云分割中存在的误分割问题,构建路面波动幅度方程,并采用基于点集分布特征的自适应阈值方法实现初步分割,最后借助分割后的地面点云重新优化平面模型与分割阈值。本文中基于开源语义分割数据集Semantic-KITTI提出了统一的算法评价基准数据集Semantic-Nova与性能评价指标,同时基于自研的自动驾驶汽车平台采集的实际场景进行了性能测试。试验结果表明,本文中提出的自适应阈值地面分割算法不仅在基准数据集上能够达到较高的精度,而且在实际场景中满足鲁棒性和实时性要求,具有较高的工程应用价值。     

基于空洞空间池化金字塔的自动驾驶图像语义分割方法

如果车辆在道路上能精确而快速地理解人和车的语义,就能在很大程度上对障碍躲避、路径规划等做出指导。现有的基于深度学习的语义分割方法存在分割速度和分割精度不能兼得等问题。本文在现有语义分割网络的基础上,通过在特征提取基准网络后添加空洞空间池化金字塔结构,可以获取图像的多尺度语义信息。实验结果表明,文中提出的A＿ASPP＿1和A＿ASPP＿2两个模块能对自动驾驶场景中常见的人和各类车辆图像进行有效的分割。对应的两种改进的网络结构虽然分割速度稍有降低,但其训练结果的平均交并比相比现有双分支网络BiSeNet分别提升了2.1和1.2个百分点。     

基于实例分割的车道线检测算法

为实现在自动驾驶复杂场景下检测数量变化的车道线，提出一种基于实例分割的车道线检测算法。首先以ResNet18网络作为主干网络提取图像特征，采用特征金字塔网络进行特征融合。同时设计一种扩张卷积残差模块来提高检测的精度；然后基于车道线的位置进行实例分割，利用语义分割出的车道线点位置预测对应的聚类点位置，通过对聚类点采用DBSCAN聚类算法实现车道线实例区分。结果表明，该算法能够在复杂的自动驾驶场景下有效地进行多车道线检测，在CULane数据集和TuSimple数据集上的调和平均值分别达到75.2%和97.0%。     

基于M形深度架构的非结构化道路可行驶区域推荐模型

针对边界模糊、路况多变的非结构化道路，为满足智能汽车在正常、应急等复杂行驶工况下对可行驶区域的视觉检测需求，提出一种在M形深度架构下融合多尺度交互策略和双重注意力机制的可行驶区域推荐模型，能够在复杂驾驶场景中精细分割出非结构化道路的强推荐、弱推荐、不推荐行驶区域。首先，在编码器-解码器的骨架基础上，构建倒金字塔式的多尺度分层输入和分层输出结构，以有效融合非结构化道路的浅层形态学特征与深层语义信息，并平衡模型在不同尺度上的预测偏倚，提升复杂驾驶场景下对多尺度与变尺度目标的分割精度；其次，构建集成通道注意力和空间注意力的跳跃连接结构，使模型在实现编码特征与解码特征高效传递的同时，聚焦于学习与道路可行驶性相关的重要特征，进一步强化模型对非结构化道路的检测性能。通过多种途径构建包含城郊、乡村、园区等真实场景的非结构化道路驾驶数据集。试验结果表明：得益于M形深度架构对多尺度交互策略和双注意力机制的融合，提出的模型在多种真实驾驶场景下均能较好地实现强推荐行驶区域、弱推荐行驶区域、不推荐行驶区域和背景区域的精细分割，平均交并比达到92.46%，平均检测速度达到22.7帧·s^-1；与现有其他主流模型相比，提出的模型兼顾了分割精度和时间效率，在非结构化道路可行驶区域检测任务上有明显优势。     

自动驾驶仿真多逻辑场景综合评价方法

基于场景的仿真测试方法已成为解决自动驾驶汽车性能验证的核心思路,该方法将车辆连续驾驶过程进行分割获取非重复的独立场景片段,并在仿真环境中进行测试。与测试过程相贴合,本文提出了一种自动驾驶仿真多逻辑场景综合评价方法。首先建立自动驾驶汽车多逻辑场景综合评价方法,明确兼顾场景自身特征信息及仿真过程信息的场景权重分析流程;通过暴露度、失控度、危害度建立逻辑场景自身特征信息权重;建立包含仿真精度信息、要素种类信息、参数空间信息、离散步长信息的仿真过程信息权重;基于HighD数据集抽取前车制动、前车左侧切入、前车右侧切入场景信息,并基于本文提出的方法及基准算法测试结果计算场景权重,最终获取两种被测算法在多逻辑场景中的综合评价结果。     

面向自动驾驶数据生成的风格迁移网络研究

自动驾驶数据集的丰富性是保证基于深度学习的自动驾驶算法鲁棒性和可靠性的关键。当前的自动驾驶数据集在夜晚场景和各类气候、天气条件下的数据量仍十分有限，为满足无人驾驶领域的应用需求，本文中构建了风格迁移网络，可将当前自动驾驶数据集转换为夜晚、雪天等多种形式。该网络采用单编码器-双解码器结构，综合语义分割网络、跳跃连接和多尺度鉴别器等多种手段用于提高图像的生成质量，生成的图像具有良好的视觉效果。用真实数据训练deeplabv3+语义分割网络来评价生成图像的结果表明，本文采用的网络生成图像的平均交并比比基于双编码-双解码结构的两种网络（AugGAN和UNIT）分别提升了2.50%和4.41%。     

城市道路场景下考虑多类交通参与者的多模态车辆轨迹预测方法研究

车辆轨迹预测是自动驾驶的关键技术之一,针对以往模型较少考虑城市道路场景中车辆以外多类交通参与者的问题,本研究提出了一种多类交通参与者的多模态车辆轨迹预测模型。该模型使用门控循环单元对历史轨迹信息进行编码,并利用注意力机制将多类交通参与者的特征映射到用图结构表达的驾驶场景中,通过图注意力网络进行环境特征提取,从而使模型能感知环境中的多类交通参与者。此外,模型通过节点轨迹预测与坐标轨迹预测模块输出最终的多模态轨迹预测结果。基于城市道路场景数据集nuScenes的实验结果表明：相较于同类现有模型,所提出的模型算力需求更低、预测更准确,且能适用于人车混合的城市道路驾驶场景。     

基于局部窗口交叉注意力的轻量型语义分割

在自动驾驶汽车环境感知任务中，采用环视相机在统一鸟瞰图（bird’s eye view,BEV）坐标系下对车道线、车辆等目标进行语义分割受到广泛关注。针对相机个数增加致使任务推理延迟线性上升、实时性难以完成语义分割任务的难题，本文提出一种基于局部窗口交叉注意力的轻量型语义分割方法。采用改进型EdgeNeXt骨干网络提取特征，通过构建BEV查询和图像特征之间的局部窗口交叉注意力，完成对跨相机透视图之间的特征查询，然后对融合后的BEV特征图通过上采样残差块对BEV特征解码，以得到BEV语义分割结果。在nuScenes公开数据集上的实验结果表明，该方法在BEV地图静态车道线分割任务中平均IoU达到35.1%，相较于表现较好的HDMapNet提高2.2%，推理速度相较于较快的GKT提高58.2%，帧率达到106 FPS。     

拓扑地图的路口局部路径生成策略

交叉路口是自动驾驶开发过程中面临的复杂交通场景,采用高精度地图方案成本高昂,而仅通过车载传感器难以有效识别路口形状,因此,提出了一种基于开源拓扑地图与视觉可行驶区域检测技术的路口局部路径规划算法。首先,基于开源拓扑地图采用A*算法规划全局导航路径作为引导线,然后通过语义分割技术识别当前可行驶区域,并结合车辆实时定位信息,在路口确定局部路径的起点、终点与一组备选控制点,最后采用贝塞尔曲线插值方法,得到备选路径的曲线簇,根据多维度加权代价函数结果选取最优局部路径,进而实现车辆在路口转弯过程的自动驾驶。实验结果表明,该策略能够在不依赖高精地图的情况下,在路口处有效规划出局部路径,提高自动驾驶车辆在路口处的通过能力,路口通过率可达99%。该策略不依赖高精地图和激光雷达,对于自动驾驶量产降本具有重大意义。     

基于检测的高效自动驾驶实例分割方法

基于深度学习的实例分割算法在大规模通用场景中取得了良好的分割性能，然而面向复杂交通场景的多目标实例分割仍然极具挑战性，尤其在算法的高精度和较快推理速度的权衡方面，而这对于智能汽车的行驶安全性至关重要。鉴于此，本文以实时性算法Orienmask为基础，提出了一种基于单阶段检测算法的多头实例分割框架。具体来说，所提框架由骨干网络、特征融合模块和多头掩码构建模块组成。首先，本文通过在骨干网络中加入残差结构获取更加完整的高维表征信息。其次，为了产生更具判别性的特征表达，本文通过引入自校正卷积重构特征金字塔，并使用全局注意力机制改善信息传播以进一步优化所提框架的特征融合模块。最后，提出的多头掩码构建机制通过细化场景目标尺寸分布显著提高不同目标的分割性能。本文算法在开源数据集BDD100k上进行大量测试与验证，分别在边界框和掩码上获得了23.3%和19.4%的均交并比（mAP@0.5:0.95），与基线方法相比，平均指标提高了5.2%和2.2%。同时在基于自主搭建的实车平台上进行的道路实验也证明本算法能够较好地适应真实驾驶环境，且满足实时性分割需求。     

基于多传感器融合的紧耦合SLAM系统

同时建图与定位(SLAM)是自动驾驶功能重要的组成部分,现有算法以激光或视觉惯性里程计为主,未充分利用多模态传感器各自的优势,对特征缺失的场景鲁棒性不足.针对此问题,本文中提出了一种采用激光雷达、摄像头和惯性测量单元(IMU)的多传感器紧耦合SLAM系统.首先它改善了激光雷达点云特征提取和平面拟合的方案,提升了利用点云...     

基于改进RepVGG网络的车道线检测算法

为提高自动驾驶系统中车道线检测的速度和精度,提出了基于可解耦训练状态与推理状态的车道线检测算法.在结构重参数化VGG(RepVGG)主干网络中引入注意力机制压缩-激励(SE)模块,增强对重要车道线信息的特征提取;同时设计并行可分离的辅助分割分支,对局部特征进行建模以提高检测精度.采用行方向位置分类车道线检测方式,在主干...     

单级特征图融合坐标注意力的视觉位置识别方法

针对视角和环境变化的场景中现有视觉位置识别方法存在的匹配遗漏和实时性差的问题，提出基于单级特征图融合坐标注意力的视觉位置识别方法。首先通过坐标注意力捕获特征的相对位置信息，然后利用扩张卷积和局部聚合向量网络（NetVLAD）构造多尺度特征融合的编码器，最后基于三元组损失训练网络。经Pitts30k和Nordland数据集验证，在位置识别试验中，与同基线的先进方法 Patch-NetVLAD相比，所提出的方法能够获得同等的召回精度且检索速度提高19%。在回环检测试验中，所提出的方法达到了合理平衡鲁棒性和检索速度的目标。     

基于异质边增强时空图注意力网络的自动驾驶换道轨迹规划

轨迹规划仍然是自动驾驶技术大规模应用所面临的关键难题之一。例如,自动驾驶中的换道轨迹规划算法通常被构建为一个针对代价函数的优化过程。然而,为适应多样化的交通场景而手动调整代价函数中的特征权重,是一项极具挑战性的任务。针对这一问题,提出了一种基于异质边增强时空图注意力网络(Heterogeneous Edge-enhanced Spatial-Temporal Graph ATtention network, HEST-GAT)的新型换道轨迹规划方法。首先,采用逆强化学习技术,从大量专家级换道示范中提取代价函数的特征权重向量,构建了一个专家级换道示范数据集。然后,将交通场景构建为一个异质有向图,其中,交通参与者的位置定义为节点属性,交通参与者间的相对位置作为边属性,交通参与者之间的关联类型则定义为边类型。边的属性和类型组合,形成了边的特征表示。为捕获交通场景中的空间和时间信息,采用HEST-GAT网络进行特征提取,并计算了各场景下代价函数的特征权重。接着构建了一个结合轨迹特征和特征权重的代价函数,并通过优化过程生成最终的换道轨迹规划。为验证所提出方法的实用性,在真实驾驶数据集上进行了多轮...     

基于多层时空融合网络的驾驶人注意力预测

类人驾驶是提升汽车智能化程度的重要途径之一，识别和定位驾驶人的感兴趣目标和区域，进而快速、精确地感知驾驶场景中潜在风险或提供决策所需关键信息，能够有效增强智能汽车的功能可理解性和鲁棒性。本文基于层次化编码器-解码器架构设计轻量化多层时空融合网络，建立轻量化驾驶人注意力预测模型。首先，以MobileNetV2作为编码器的骨干网络，提取当前帧4个尺度上的多层次空间特征，将其存入记忆模块并与在历史帧上提取的多层次特征在时间维度叠加，得到连续帧间的时空特征后传输至解码器。其次，基于层次化解码结构设计解码器，采用逆瓶颈3D卷积模块设计时空融合层，融合每个独立分支上的时空特征。最后，融合4个独立分支上捕获不同尺度信息的预测结果，获得驾驶人注意力预测值作为模型预测输出结果。结果表明：本文提出的驾驶人注意力预测模型，通过在多个特征尺度上的编码与解码，能够有效利用动态场景当前帧和历史帧间的时间、空间、尺度信息；在DADA-2000和TDV数据集上的测试实验表明，在多个指标上优于当前同类优秀模型；模型尺寸为19 MB，单帧运算速度为0.02 s，实现了优秀的模型轻量化与实时性效果。综上所述，本研究解决了当...     

基于稀疏卷积神经网络的车载激光雷达点云语义分割方法

对车载激光雷达扫描得到的点云进行语义分割是保证行车安全、加强驾驶员对周边环境理解的重要手段之一。因为内存限制和大规模点云场景更加稀疏的特点,将传统神经网络的方法直接沿用到车载激光雷达扫描得到的点云场景中的效果不佳。本文中针对大规模点云的稀疏性,利用稀疏卷积神经网络对体素化点云进行特征提取。考虑到逐点处理分支抑制点云数据的密度不一致性导致的信息损失,另外设计了3D-CA和3D-SA模块,使稀疏卷积神经网络更好地提取特征。实验结果表明,与传统卷积神经网络的方法和将点云投影到平面的方法相比,使用稀疏卷积神经网络对大规模点云进行语义分割,可将平均交并比提升4.1%和3.4%,证明了该方法的有效性。     

基于激光雷达点云的道路几何信息提取与数字化建模研究

为实现快速、自动化的道路几何信息提取和数字化建模，基于激光雷达点云提出了一套从道路语义分割、几何线形提取到集成化建模的通用框架。首先，基于空间上下文特征基础框架，将局部特征的最大值和邻域均值进行聚合以作为局部特征，使用径向分布参数与三维坐标描述全局上下文特征，构建道路语义分割网络。其次，基于道路场景分割结果，通过体素降采样和半径滤波法减少点云数据量、去除离群点，并利用可变半径Alpha Shapes (VA-Shapes)算法提取道路边线，结合获取的边线横纵坐标，计算路段几何信息(路宽、纵坡、横坡等),使用inshape函数和插值法构建交叉口的数字高程模型。最后，采用Dynamo for Revit将道路几何信息导入并生成道路路线，通过Revit软件设计道路自适应族构件及不同类别基础设施族构件，实现精细化道路数字建模。利用开源数据集Semantic3D进行训练和测试，分析与评价道路几何信息提取效果。研究结果表明：所提出的算法总体准确度为95%,路面的单类交并比为97.9%,能够很好地实现道路点云场景的自动化语义分割；相比于传统的固定半径Alpha Shapes算法，VA-Shapes算...     

凸凹不平道路几何参数识别和模型重构方法研究

自动驾驶汽车的凸凹不平道路和异常路面行驶，不仅要考虑道路曲率等因素，还需要对路面凸起、凹坑等特征和病害进行识别建模，提高车辆通过性、安全性和舒适性。为此，本文提出了一种基于激光雷达的凸凹不平道路几何参数识别和模型重构方法。首先，将局部加权散点平滑方法（Lowess）首次应用于激光雷达点云处理，提高了激光雷达点云数据的平滑性；其次，提出了基于斜率阈值分割的路面几何参数识别方法，通过设置斜率阈值对道路凸起与凹坑进行识别提取；再次，通过识别特征点云边界构建了带约束的分段多项式函数路面连续典型特征拟合数学模型。最后，通过建立的室内路面典型特征沙盘模型及路面实测数据，应用本文提出的方法，对凸凹不平道路的凹坑和凸起等特征进行了识别和模型重构。结果表明，分段多项式拟合方法在拟合次数5～6次时达到拟合效果极限位置，此时各个场景中92%的数据点拟合均方根误差在0～0.015 m范围内，本文提出的方法能准确完成凸凹不平道路几何参数识别，实现路面典型特征三维数学模型重构。     

基于三维锥形栅格的激光点云语义分割方法EI北大核心CSCD

激光点云语义分割是自动驾驶系统中道路场景感知的重要分支。虽然主流方法将点云转换为规则的二维图像或笛卡尔栅格进行处理,减少因点云非结构化所带来的计算量,但二维图像方法不可避免地改变点云的三维几何拓扑结构,而笛卡尔栅格忽略了室外激光点云的密度不一致性,从而限制了包括行人和自行车等小物体的语义分割能力。因此,本文中提出了一种基于三维锥形栅格和稀疏卷积的激光点云语义分割方法,利用锥形栅格分区解决了点云的稀疏性和密度不一致的问题;为提高模型推理速度,设计了重参数化三维稀疏卷积网络。在SemanticKITTI和nuScenes两个大规模数据集上对所提方法进行评估。结果表明,与目前最新的点云分割方法相比,所提方法的平均交并比分别提升了1.3%和0.8%,尤其对小物体识别有显著的提升。