基于实例分割的车道线检测算法

为实现在自动驾驶复杂场景下检测数量变化的车道线，提出一种基于实例分割的车道线检测算法。首先以ResNet18网络作为主干网络提取图像特征，采用特征金字塔网络进行特征融合。同时设计一种扩张卷积残差模块来提高检测的精度；然后基于车道线的位置进行实例分割，利用语义分割出的车道线点位置预测对应的聚类点位置，通过对聚类点采用DBSCAN聚类算法实现车道线实例区分。结果表明，该算法能够在复杂的自动驾驶场景下有效地进行多车道线检测，在CULane数据集和TuSimple数据集上的调和平均值分别达到75.2%和97.0%。     

基于改进GAN的端到端自动驾驶图像生成方法

基于端到端数据系统的自动驾驶系统对驾驶图像存在巨大需求。为解决一般生成式对抗网络模型在扩充驾驶图像数据集时不稳定及生成图像特征缺乏多样性的问题,研究1种改进网络模型LS-InfoGAN。结合最小二乘对抗损失防止模型梯度消失,并缓解生成器优化矛盾,提升模型训练稳定性。通过最大化生成图像与真实图像间的互信息提升生成器特征学习能力,改善生成图像特征多样性。利用转置卷积层还原图像特征,提升生成图像特征清晰度。以自主构建的模拟驾驶场景中获取的带标签驾驶图像集对模型有效性及其数据集扩充应用效果进行验证。实验分析表明:相比改进前模型,LS-InfoGAN模型的图像生成过程稳定性平均提升35%;使用此模型扩充的数据集进行端到端自动驾驶系统中决策网络的训练能在不采集新图像的情况下将系统决策性能提升1%~2%;建议使用此模型扩充图像数据集时将生成图像数量设置为原始训练集图像数量的1~2倍。      

基于局部窗口交叉注意力的轻量型语义分割

在自动驾驶汽车环境感知任务中，采用环视相机在统一鸟瞰图（bird’s eye view,BEV）坐标系下对车道线、车辆等目标进行语义分割受到广泛关注。针对相机个数增加致使任务推理延迟线性上升、实时性难以完成语义分割任务的难题，本文提出一种基于局部窗口交叉注意力的轻量型语义分割方法。采用改进型EdgeNeXt骨干网络提取特征，通过构建BEV查询和图像特征之间的局部窗口交叉注意力，完成对跨相机透视图之间的特征查询，然后对融合后的BEV特征图通过上采样残差块对BEV特征解码，以得到BEV语义分割结果。在nuScenes公开数据集上的实验结果表明，该方法在BEV地图静态车道线分割任务中平均IoU达到35.1%，相较于表现较好的HDMapNet提高2.2%，推理速度相较于较快的GKT提高58.2%，帧率达到106 FPS。     

基于MM-STConv的端到端自动驾驶行为决策模型

针对现有端到端自动驾驶模型输入数据类型单一导致预测精确度低的问题，选取RGB图像、深度图像和车辆历史连续运动状态序列作为多模态输入，并利用语义信息构建一种基于时空卷积的多模态多任务（Multimodal Multitask of Spatial-temporal Convolution，MM-STConv）端到端自动驾驶行为决策模型，得到速度和转向多任务预测参量。首先，通过不同复杂度的卷积神经网络提取场景空间位置特征，构建空间特征提取子网络，准确解析场景目标空间特征及语义信息；其次，通过长短期记忆网络（LSTM）编码-解码结构捕捉场景时间上、下文特征，构建时间特征提取子网络，理解并记忆场景时间序列信息；最后，采用硬参数共享方式构建多任务预测子网络，输出速度和转向角的预测值，实现对车辆的行为预测。基于AirSim自动驾驶仿真平台采集虚拟场景数据，以98 200帧虚拟图像及对应的车辆速度和转向角标签作为训练集，历经10 000次训练周期、6 h训练时长后，利用真实驾驶场景数据集BDD100K进行模型的测试与验证工作。研究结果表明：MM-STConv模型的训练误差为0.130 5，预测精确度达到83.6%，在多种真实驾驶场景中预测效果较好；与现有其他主流模型相比，该模型综合场景空间信息与时间序列信息，在预测车辆速度和转向角方面具有明显的优势，可提升模型的预测精度、稳定性和泛化能力。     

基于注意力机制的多模态自动驾驶行为决策模型

针对现有端到端自动驾驶模型未考虑驾驶场景中不同区域的重要性和不同语义类别之间的关系而导致预测准确率低的问题，受驾驶人注意力机制和现有端到端自动驾驶模型的启发，充分考虑驾驶场景的动态变化、驾驶场景的语义信息和深度信息对驾驶行为决策的影响，以连续多帧驾驶场景的RGB图像为输入，构建一种基于注意力机制的多模态自动驾驶行为预测模型，实现对方向盘转角和车速的准确预测。首先，通过语义分割模型和单目深度估计模型分别获取RGB图像的语义图像和深度图像；其次，为剔除与驾驶行为决策无关信息，以神经科学和空间抑制理论为基础，设计一种拟人化注意力机制作为能量函数来计算驾驶场景中不同区域的重要度；为学习语义图像中与驾驶行为决策最为相关类别之间的关系，采用图注意力网络(Graph Attention Network,GAT)对驾驶场景的语义图像进行特征提取；然后，以保留RGB特征为原则对提取的驾驶场景的图像特征、语义特征和深度特征进行融合，采用卷积长短期记忆网络(Convolutional Long Short Term Memory,ConvLSTM)实现融合特征在连续多帧之间的传递，进而实现下一帧驾驶场景对应驾驶行为的预测；最后，与其他模型的对比试验、消融试验、泛化试验和特征可视化试验来充分验证所提出自动驾驶行为预测模型的性能。试验结果表明：与其他驾驶行为预测模型相比，所提出模型的训练误差为0.021 2，预测准确率为86.97%，均方误差为0.031 5，其驾驶行为的预测性能优于其他模型；连续多帧的语义图像和深度图像、拟人化注意力机制和面向语义特征提取的GAT有助于提升驾驶行为预测的性能；该模型具有较好的泛化能力,其做出驾驶行为预测所依赖的特征与经验丰富的驾驶人所关注的特征基本一致。     

面向多元场景结合GLNet的车道线检测算法

各种复杂环境下路面车道线的高效精确检测是自动驾驶领域中车道偏离预警系统的关键性技术之一。由于车辆实际运行环境的复杂性和路面车道线的多样性，现有方法在车道线检测的准确性和鲁棒性上仍需不断增强。提出一种面向多元场景结合GLNet的车道线检测算法。首先采用改进Gamma校正对待检测路面图像预处理，消减光照不均匀、夜晚等环境干扰，增强车道线纹理。然后为增强数据集的多样性，在LaneNet网络的基础上引入对抗生成网络DCGAN，构建GLNet网络模型。该模型采用编码-解码的网络结构提取车道线特征（车道蒙板和像素点），通过DBSCAN聚类算法将不同车道线划分为不同的实体，使用H-Net网络学习的视觉转换矩阵优化并拟合输出车道线。最后基于已训练好的GLNet权重模型对车道线进行精确提取，并在Tusimple数据集和自制数据集上测试验证。试验结果表明：该方法的检测准确率可达97.4%，相较于基于LaneNet网络的车道线检测算法明显提高；DCGAN网络的加入丰富了数据集类型，并提高了该模型的表征及分类能力；DBSCAN聚类算法的平均聚类时间约为0.016 s，相较于Meanshift算法运行效率更高。所提出的方法考虑了不规范、环境复杂等多种道路类型的车道线检测任务，提升了对复杂噪声与多元场景的处理能力，在车辆辅助驾驶领域具有较好的鲁棒性和适用性。     

基于自适应阈值的三维激光点云地面分割算法研究

针对自动驾驶汽车感知模块中三维激光点云前后背景分割过程存在的误分割问题,提出了一种基于路面波动幅度的自适应阈值地面分割方法。该方法将原始点云进行栅格划分,依据点云数量信息设计了相应的高度阈值分割算法和地面平面模型分割算法。具体地,地面平面模型分割算法首先选取局部区域点集拟合地面平面模型,然后针对地面点云分割中存在的误分割问题,构建路面波动幅度方程,并采用基于点集分布特征的自适应阈值方法实现初步分割,最后借助分割后的地面点云重新优化平面模型与分割阈值。本文中基于开源语义分割数据集Semantic-KITTI提出了统一的算法评价基准数据集Semantic-Nova与性能评价指标,同时基于自研的自动驾驶汽车平台采集的实际场景进行了性能测试。试验结果表明,本文中提出的自适应阈值地面分割算法不仅在基准数据集上能够达到较高的精度,而且在实际场景中满足鲁棒性和实时性要求,具有较高的工程应用价值。     

基于三维锥形栅格的激光点云语义分割方法EI北大核心CSCD

激光点云语义分割是自动驾驶系统中道路场景感知的重要分支。虽然主流方法将点云转换为规则的二维图像或笛卡尔栅格进行处理,减少因点云非结构化所带来的计算量,但二维图像方法不可避免地改变点云的三维几何拓扑结构,而笛卡尔栅格忽略了室外激光点云的密度不一致性,从而限制了包括行人和自行车等小物体的语义分割能力。因此,本文中提出了一种基于三维锥形栅格和稀疏卷积的激光点云语义分割方法,利用锥形栅格分区解决了点云的稀疏性和密度不一致的问题;为提高模型推理速度,设计了重参数化三维稀疏卷积网络。在SemanticKITTI和nuScenes两个大规模数据集上对所提方法进行评估。结果表明,与目前最新的点云分割方法相比,所提方法的平均交并比分别提升了1.3%和0.8%,尤其对小物体识别有显著的提升。     

基于级联YOLOv7的自动驾驶三维目标检测

针对图像和原始点云三维目标检测方法中存在特征信息残缺及点云搜索量过大的问题，以截体点网（frustum PointNet, F-PointNet）结构为基础，融合自动驾驶周围场景RGB图像信息与点云信息，提出一种基于级联YOLOv7的三维目标检测算法。首先构建基于YOLOv7的截体估计模型，将RGB图像目标感兴趣区域（region of interest, RoI）纵向扩展到三维空间，然后采用PointNet++对截体内目标点云与背景点云进行分割。最终利用非模态边界估计网络输出目标长宽高、航向等信息，对目标间的自然位置关系进行解释。在KITTI公开数据集上测试结果与消融实验表明，级联YOLOv7模型相较基准网络，推理耗时缩短40 ms/帧，对于在遮挡程度为中等、困难级别的目标检测平均精度值提升了8.77%、9.81%。     

基于多类型变量空间的驾驶行为基元提取

从驾驶数据中提取驾驶行为基元是实现驾驶行为高效准确分析的重要前提。为了更好地理解驾驶行为,使驾驶行为基元能够体现不同驾驶人的驾驶行为差异,考虑驾驶行为产生时所受驾驶人的主观约束,提出基于多类型变量空间的驾驶行为基元提取方法。使用驾驶行为原始变量反映车辆运行状态和驾驶操作,将所选择的原始变量定义为基础变量集;使用基础变量构造能够反映驾驶人对车辆运行状态主观期望的变量,并将其定义为构造变量集。利用基础变量集和构造变量集生成多类型变量空间,使用贝叶斯凝聚型序列分割算法分割数据以提取驾驶行为基元。针对多类型变量空间自调节问题,提出基于分割质量优选滑窗尺寸的方法,使多类型变量空间能够自适应不同数据集的数值特性,确保基元提取的准确度。对所得基元进行特征构造和提取,利用高斯混合聚类算法对直行和弯道路段的行为基元分别进行聚类,并通过分析各类基元的统计特征得到基元的语义描述。最后,通过实例分析验证基元提取和语义解释的准确性,以及多类型变量空间的优越性。研究结果表明：所提取的驾驶行为基元具有多角度语义,不仅能够反映车辆运行状态和驾驶操作,而且能够体现驾驶人对车辆操纵决策的主观期望,有利于从因果角度更全面地...     

基于计算机视觉的钢桥面板裂纹识别方法

钢桥面板疲劳开裂为常见的钢桥病害，准确快速地发现并确定钢桥面板裂纹几何特征对降低运维成本、制定运维策略具有重要意义。针对传统人工巡检效率低、检测环境恶劣等问题，提出了基于计算机视觉的钢桥面板裂纹及其特征识别方法。采用目标检测网络YoloV5和图像语义分割网络U-Net++相结合的方法识别裂纹。根据2个网络的结构特性标注图像中的目标后生成数据集，并分别对网络中的参数进行训练。利用训练后的YoloV5与U-Net++分阶段对待测裂纹图像进行检测与分割，并通过阈值分割优化U-Net++分割结果，再通过骨架化后得到裂纹骨架线；在确定裂纹形貌后，采用YoloV5识别出的标定块求解透视变换矩阵与像素尺度系数，然后对裂纹骨架线进行图像矫正并确定裂纹几何特征。研究结果表明：YoloV5可准确检测出裂纹与标定块，且检测稳定性好；通过优化U-Net++训练时输入的像素尺寸，提高了U-Net++训练的收敛速度，网络损失由0.121降至0.096;求解透视变换矩阵时，使用所有角点坐标拟合该矩阵的最小二乘解可提高图像矫正标定的精度；当图像采集距离较远、角度较大时，角点投影误差增大，且该误差对角度更为敏感；不同图...     

基于深度学习的土木基础设施裂缝检测综述

基于深度学习的裂缝检测对于降低基础设施运营风险、节约运维成本并推进中国土木工程行业智能化转型具有重要意义。算法、数据集和评价指标是构建深度学习裂缝检测模型的关键要素；裂缝检测模型集成于机器人平台，从而实现对土木基础设施的全自动裂缝检测。为此，从以上4个方面对当前研究进行了系统梳理。首先，回顾了深度学习的发展历程，重点介绍了深度卷积神经网络在计算机视觉领域的应用及其在图像处理方面较传统算法所具有的显著优势。接着，详细介绍了3类基于深度学习的裂缝检测主流算法，包括分类算法、目标检测算法和语义分割算法。然后，对现有裂缝图像数据集以及模型性能评价指标进行了归纳。最后，总结了土木基础设施的各类裂缝检测机器人平台。综合分析表明：基于卷积神经网络主干结构的深度学习算法已被广泛用于土木基础设施表面裂缝的精准定位与分类，而裂缝的尺寸信息仍需依靠传统图像处理技术进行提取；由于像素级标注的成本和专业性高，大型的裂缝语义分割数据集相对缺乏，致使当前基于语义分割算法的裂缝检测模型鲁棒性较差；目前多数研究人员采用个人建立的裂缝数据集进行模型训练且采用不同的指标进行模型性能评价，缺乏统一的基准测试数据集和评价指标体系，无法对不同模型的性能进行平行比较；目前针对不同基础设施已相应开发了一些裂缝检测机器人，提高裂缝检测机器人的多场景适应性，并降低其应用成本是未来的发展方向。     

基于场景的自动驾驶汽车虚拟测试研究进展

随着自动驾驶等级的提高，面向传统汽车的测试工具与测试方法已不能满足自动驾驶汽车测试的需要。基于场景的虚拟测试方法在测试效率、测试成本等方面具有巨大的技术优势，是未来自动驾驶汽车测试验证的重要手段，已成为当前的研究热点。通过对大量相关文献的系统梳理，综述了基于场景的自动驾驶汽车虚拟测试研究进展。对比分析了自动驾驶测试场景的不同定义方式，明确了测试场景的内涵，归纳了测试场景的要素种类，概述了测试场景的数据来源，总结了场景数据的处理方法。在此基础上，对自动驾驶汽车虚拟测试方法进行了总结，分析了典型的测试方式、测试平台和虚拟测试的技术要点，梳理了软件在环、硬件在环和车辆在环测试方案及其关键技术。针对自动驾驶汽车测试效率问题，研究了基于场景的加速测试技术，概述了典型的测试场景随机生成方法和危险场景强化生成方法。最后，对基于场景的自动驾驶汽车虚拟测试所面临的问题及未来发展趋势进行了分析和展望。研究结果表明：基于场景的虚拟测试是推动自动驾驶技术发展和产业落地的必由之路，未来研究应着力突破基于解构与自动重构的测试场景数据库、人-车-环境系统一体化高置信度建模、自动驾驶汽车虚拟测试标准工具链、不同自动驾驶汽车渗透率下的混合交通模拟与测试、测试案例动态自适应随机生成机制等核心共性技术，建立自动驾驶汽车虚拟测试标准体系。     

基于语义分割网络的路面积水与湿滑区域检测

积水或湿滑路面的道路附着系数远小于干燥路面的附着系数,对交通的安全性和机动性都有很大的影响。通过及时获取路面状态信息而发出预警,可大大减小潜在伤害。本文中研究了基于图像的语义分割网络在积水和潮湿的路面状态识别中的应用,它不仅可预测未来路面状态信息,且可得到路面积水和湿滑区域的分布。该方法利用语义分割网络Res-UNet++,分割出路面的积水和湿滑区域。Res-UNet++结构包括嵌套了不同深度的编码器-解码器结构,并在网络的特征提取部分加入残差结构,从而使图像的特征更容易学习。该方法取得了平均交并比为90.07%的分割精度并克服了其它方法的缺点。     

实测数据驱动的自动驾驶道路测试驾驶模式辨别方法

自动驾驶道路测试中车企驾驶模式数据具有一定保密性，导致自动驾驶能力难以被客观评估。为此，提出了实测数据驱动的自动驾驶道路测试驾驶模式辨别方法。首先选取数据特征值构建K近邻估计、支持向量机、决策树、随机森林和BP神经网络5种机器学习监督分类模型；其次通过非参数秩和显著性检验确定驾驶模式持续时长阈值，持续时长大于阈值的数据段记录为准确的驾驶模式数据，小于等于阈值的数据段则为驾驶模式待分类数据集；随机选取70%记录准确的驾驶模式数据作为监督分类模型训练数据集，剩余30%作为测试数据集；最后利用正确率、精确率和召回率3个指标评价5种监督分类模型，并选取表现最佳的分类模型用于待分类数据的驾驶模式辨别。基于上海市城市道路和快速路2个道路测试场景共约43.6万条数据，验证驾驶模式辨别方法的有效性。结果表明：随机森林监督分类模型辨别道路测试驾驶模式的效果最佳；城市道路场景和快速路场景待分类数据驾驶模式记录有误率分别达到42.3%和39.4%。实测数据驱动的驾驶模式的辨别与修复，可显著提升评估自动驾驶道路测试驾驶能力的准确度。     

基于路测图像与改进 ResNet50 网络的自动驾驶场景天气识别算法

为了充分利用自动驾驶汽车路测图像数据,增加行驶过程中对天气情况识别的准确性,提出了一种基于改进 ResNet50 网络的自动驾驶场景天气识别算法。该算法将 SE 模块与 ResNet50 网络相结合,通过在 ResNet50 网络 4 组模块内加入 SE 模块,以便更好地拟合通道间复杂的鲁棒性。基于自动驾驶汽车路测图像数据对所提算法进行 Python 编程实现,结果表明：SE 模块的加入能够增加算法的鲁棒性和准确性,提高了自动驾驶的天气识别精度。     

基于改进门控上下文聚合网络的雾天实时行人检测方法

针对自动驾驶车辆在雾天情况下易将行人误检和漏检的问题，提出一种基于改进GCANet除雾网络和CenterNet检测网络相结合、有效进行雾天行人识别的联合检测方法。该方法在GCANet中引入结合底层细节和全局结构的复合损失函数，优化除雾图的结构细节及图像质量；并将改进的GCANet除雾算法应用于检测算法的训练图像预处理中，最后送入CenterNet网络训练。试验结果显示，本文提出的方法在合成雾天数据集Foggy Citypersons上的平均对数漏检率MR-2值达到9.65，在真实雾天数据集RTTS上的平均精度AP50值达到86.11，降低了雾天场景下行人的漏检和误检情况，有效提升了检测网络在雾天条件下的泛化能力。     

基于差异性区域预测的行人与骑车人联合检测

本文中针对自动驾驶车辆在环境感知过程中易将行人与骑车人混淆的问题,提出一种有效区分行人与骑车人的联合检测方法,并基于快速区域卷积神经网络Faster R-CNN进行改进。首先,通过增加一个子网络提取图像形状特征通道,将其与主干网络生成的特征图进行聚合,额外的形状语义通道用以辅助检测器区分行人与骑车人的特征;接着,通过构建差异性区域预测单元,以区分行人与骑车人差异部位,将建议区域划分为多个部件并计算其置信度,根据该置信度对部件特征进行加权;最后,将主体特征与加权后的部件特征聚合后送至分类器进行分类。在本文中构建的行人-骑车人数据集和公开的Caltech数据集中进行测试的结果表明,改进后的检测方法能有效减少将骑车人误检为行人的情况,具有较高的检测精度。     

基于多通道态势图的自动驾驶场景表征方法

开展自动驾驶测试场景研究能够大幅减少自动驾驶汽车的测试周期与开发成本，是未来评价和提升自动驾驶技术的重要基础。为此，联合基于本体论的场景解构方法，提出了一种基于多通道态势图的自动驾驶场景表征方法，并对多通道态势图的场景聚类与场景复杂度进行研究。首先，对目前的自动驾驶测试方法进行分析，论述道路测试的不足之处以及基于场景的自动驾驶虚拟测试的优点，并对当前的场景解构与表征方法进行了总结；然后，运用本体论解构场景中的信息，并建立场景的本体模型，对模型中的数据属性进行参数化；接着，对真实场景、场景中的语义信息和多通道态势图场景进行对比分析，定义表征场景的多通道态势图的数据格式，将解构出的场景信息重组到多通道态势图的不同层中；之后，以汉明距离为基础设计了多通道态势图的对象层相似度计算方法，采用K均值聚类算法对驾驶场景对象层进行聚类分析，并借助层次分析法对基于多通道态势图的驾驶场景复杂度计算进行研究；最后，以KITTI数据集的一些真实场景为例，绘制场景开始时刻的多通道态势图，分析聚类出的9种对象分布类型。研究结果验证了多通道态势图场景复杂度计算方法的有效性。     

基于激光雷达点云的道路几何信息提取与数字化建模研究

为实现快速、自动化的道路几何信息提取和数字化建模，基于激光雷达点云提出了一套从道路语义分割、几何线形提取到集成化建模的通用框架。首先，基于空间上下文特征基础框架，将局部特征的最大值和邻域均值进行聚合以作为局部特征，使用径向分布参数与三维坐标描述全局上下文特征，构建道路语义分割网络。其次，基于道路场景分割结果，通过体素降采样和半径滤波法减少点云数据量、去除离群点，并利用可变半径Alpha Shapes (VA-Shapes)算法提取道路边线，结合获取的边线横纵坐标，计算路段几何信息(路宽、纵坡、横坡等),使用inshape函数和插值法构建交叉口的数字高程模型。最后，采用Dynamo for Revit将道路几何信息导入并生成道路路线，通过Revit软件设计道路自适应族构件及不同类别基础设施族构件，实现精细化道路数字建模。利用开源数据集Semantic3D进行训练和测试，分析与评价道路几何信息提取效果。研究结果表明：所提出的算法总体准确度为95%,路面的单类交并比为97.9%,能够很好地实现道路点云场景的自动化语义分割；相比于传统的固定半径Alpha Shapes算法，VA-Shapes算...