远距离混凝土桥梁结构表面裂缝精确提取算法

在分析桥梁结构表面裂缝图像特征基础上,结合改进Snake主动轮廓模型图像分割算法,融合距离传感器信息,提出一种综合高分辨率图像采集、裂缝敏感区域截取、孤立噪声去除、裂缝旋转和标记的裂缝提取算法,实现了交互式远距离混凝土桥梁结构表面裂缝的精确提取。分析结果表明:改进Snake主动轮廓模型图像分割算法误分率为3.89%,运算时间为153ms,试验对比裂缝宽度显微镜观测值,裂缝提取绝对误差小于0.05mm,该算法可满足工程检测需求。     

基于机器视觉的路面裂缝病害多目标识别研究

为了建立一种基于深度学习卷积神经网络的多目标路面裂缝检测模型,实现对路面裂缝的精确识别、分割与统计,采用卷积神经网络Mask R-CNN为主干框架,融入ResNet模型与特征金字塔网络(FPN)提高对病害特征提取的精度,建立了针对裂缝病害识别的基础网络体系;考虑裂缝病害图像特征,采用随机梯度下降算法与冲量算法优化损失函...     

基于实例分割的车道线检测算法

为实现在自动驾驶复杂场景下检测数量变化的车道线，提出一种基于实例分割的车道线检测算法。首先以ResNet18网络作为主干网络提取图像特征，采用特征金字塔网络进行特征融合。同时设计一种扩张卷积残差模块来提高检测的精度；然后基于车道线的位置进行实例分割，利用语义分割出的车道线点位置预测对应的聚类点位置，通过对聚类点采用DBSCAN聚类算法实现车道线实例区分。结果表明，该算法能够在复杂的自动驾驶场景下有效地进行多车道线检测，在CULane数据集和TuSimple数据集上的调和平均值分别达到75.2%和97.0%。     

基于改进U型神经网络的路面裂缝检测方法

针对传统的裂缝分割算法难以识别狭窄裂缝且分割边缘不精准，从而造成识别精度较低的问题，研究了基于改进U型神经网络（Unet）的路面裂缝检测方法。由于传统Unet特征提取网络是层次较浅的浅层神经网络，难以提取更复杂的裂缝特征信息，故本文以牛津大学视觉几何组网络（VGG16）作为传统Unet的特征提取网络，提高网络的裂缝特征提取能力；为抑制高低阶特征融合时产生的无用特征，本文在模型解码部分添加压缩与激励单元（SE block），构建裂缝注意力单元，使得网络可以关注不同通道下的裂缝特征，建立了基于SE block和VGG16的改进Unet网络（SE-VUnet）。研究采用迁移学习的方法，将在ImageNet上预训练好的VGG16网络权重迁移到裂缝检测中。通过挑选Crack500数据集，并使用摄像头采集图片构建1 600张路面裂缝数据集，再次训练SE-VUnet模型，获得裂缝区域分割结果。以查准率（precision）与查全率（recall）的加权调和平均值F1和雅卡尔（Jaccard）相似系数作为量化评价指标。将SE-VUnet分别与Unet、SOLO v2、Mask R-CNN以及Deeplabv3+进行分割效果和实时性对比。研究结果表明:SE-VUnet模型的综合F1和雅卡尔系数分别为0.840 3和0.722 1，相比于Unet分别高出了1.04%和1.51%，且均高于其他3种对比模型；SE-VUnet的单帧图片预测时间为89 ms，在分割效果提升明显的情况下仅比Unet慢5 ms，优于其他模型。      

基于深度学习的土木基础设施裂缝检测综述

基于深度学习的裂缝检测对于降低基础设施运营风险、节约运维成本并推进中国土木工程行业智能化转型具有重要意义。算法、数据集和评价指标是构建深度学习裂缝检测模型的关键要素；裂缝检测模型集成于机器人平台，从而实现对土木基础设施的全自动裂缝检测。为此，从以上4个方面对当前研究进行了系统梳理。首先，回顾了深度学习的发展历程，重点介绍了深度卷积神经网络在计算机视觉领域的应用及其在图像处理方面较传统算法所具有的显著优势。接着，详细介绍了3类基于深度学习的裂缝检测主流算法，包括分类算法、目标检测算法和语义分割算法。然后，对现有裂缝图像数据集以及模型性能评价指标进行了归纳。最后，总结了土木基础设施的各类裂缝检测机器人平台。综合分析表明：基于卷积神经网络主干结构的深度学习算法已被广泛用于土木基础设施表面裂缝的精准定位与分类，而裂缝的尺寸信息仍需依靠传统图像处理技术进行提取；由于像素级标注的成本和专业性高，大型的裂缝语义分割数据集相对缺乏，致使当前基于语义分割算法的裂缝检测模型鲁棒性较差；目前多数研究人员采用个人建立的裂缝数据集进行模型训练且采用不同的指标进行模型性能评价，缺乏统一的基准测试数据集和评价指标体系，无法对不同模型的性能进行平行比较；目前针对不同基础设施已相应开发了一些裂缝检测机器人，提高裂缝检测机器人的多场景适应性，并降低其应用成本是未来的发展方向。     

基于局部窗口交叉注意力的轻量型语义分割

在自动驾驶汽车环境感知任务中，采用环视相机在统一鸟瞰图（bird’s eye view,BEV）坐标系下对车道线、车辆等目标进行语义分割受到广泛关注。针对相机个数增加致使任务推理延迟线性上升、实时性难以完成语义分割任务的难题，本文提出一种基于局部窗口交叉注意力的轻量型语义分割方法。采用改进型EdgeNeXt骨干网络提取特征，通过构建BEV查询和图像特征之间的局部窗口交叉注意力，完成对跨相机透视图之间的特征查询，然后对融合后的BEV特征图通过上采样残差块对BEV特征解码，以得到BEV语义分割结果。在nuScenes公开数据集上的实验结果表明，该方法在BEV地图静态车道线分割任务中平均IoU达到35.1%，相较于表现较好的HDMapNet提高2.2%，推理速度相较于较快的GKT提高58.2%，帧率达到106 FPS。     

基于激光雷达点云的道路几何信息提取与数字化建模研究

为实现快速、自动化的道路几何信息提取和数字化建模，基于激光雷达点云提出了一套从道路语义分割、几何线形提取到集成化建模的通用框架。首先，基于空间上下文特征基础框架，将局部特征的最大值和邻域均值进行聚合以作为局部特征，使用径向分布参数与三维坐标描述全局上下文特征，构建道路语义分割网络。其次，基于道路场景分割结果，通过体素降采样和半径滤波法减少点云数据量、去除离群点，并利用可变半径Alpha Shapes (VA-Shapes)算法提取道路边线，结合获取的边线横纵坐标，计算路段几何信息(路宽、纵坡、横坡等),使用inshape函数和插值法构建交叉口的数字高程模型。最后，采用Dynamo for Revit将道路几何信息导入并生成道路路线，通过Revit软件设计道路自适应族构件及不同类别基础设施族构件，实现精细化道路数字建模。利用开源数据集Semantic3D进行训练和测试，分析与评价道路几何信息提取效果。研究结果表明：所提出的算法总体准确度为95%,路面的单类交并比为97.9%,能够很好地实现道路点云场景的自动化语义分割；相比于传统的固定半径Alpha Shapes算法，VA-Shapes算...     

基于深度学习的疲劳驾驶检测算法研究

针对疲劳驾驶检测模型需要的实时性与轻量性，在SSD的基础上提出了SSD-MA网络作为人脸部件检测网络。该网络通过替换原SSD主干网络为MobileNetv3，使得模型参数量骤减，加上AFF注意力特征融合了不同尺寸的特征图，进一步提升了对人眼小目标的检测性能，并结合疲劳参数Peclos可以准确地输出被测人员的疲劳状态。经实验验证，SSD-MA在验证集上的mAP值达到了96.9%，较原SSD-300提高了5%，网络整体体积缩减了89%。     

基于Crack Mask R-CNN模型的路面裂缝像素级分割及测量算法应用分析

针对现有路面裂缝分割存在的问题,该文提出一种Crack Mask R-CNN像素级分割算法。Crack Mask R-CNN是一种用于路面裂缝图像的实例分割框架,其不仅可对图像中的裂缝进行检测,还可以对每一个裂缝的具体轮廓给出一个高质量的分割结果。首先对采集的道路裂缝大数据进行数据去噪和数据增强,构建用于模型训练、测试的数据集;其次,通过优化分割算法中锚框的比例和大小提高模型选择裂缝候选区域的准确度,并使用IoU-guided非极大值抑制（Non-Maximum Suppression,NMS）算法替代传统算法,以此提高道路裂缝分割精度。在模型学习超参数优化方面,通过训练多种组合算例,从中选择分割效果最优的超参数组合,最终训练出裂缝分割精度为93.45%的分割模型;最后,通过提取裂缝区域的拓扑特征信息,进一步实现裂缝像素级别尺寸信息的有效测量。     

基于Jetson TX2的路面裂缝检测系统设计

针对目前采用深度学习框架的路面裂缝检测方法存在落地应用难、成本高与效率低等问题，设计了基于Jetson TX2的路面裂缝检测系统。通过YOLOv5网络识别路面裂缝，使用U-Net网络对裂缝目标进行分割，并根据分割结果进行路面健康评价；其次，利用TensorRT方法优化深度学习模型，提高推理速度；最后，结合DeepStream框架设计路面视频流分析系统并部署到Jetson TX2嵌入式平台。实验结果表明：路面裂缝目标检测模型对横向、纵向和网状裂缝3种路面常见路面裂缝的检测精度均达到了90%以上，且模型优化后的推理速度为30.7 ms/帧，速率提升35.1%;最后经过验证，Jetson TX2嵌入式平台的裂缝漏检率较低且满足路面裂缝检测的实时性，能够降低路面裂缝检测的成本，给出相应的维修建议，提高路面裂缝检测效率与自动化程度。     

基于注意力机制的多模态自动驾驶行为决策模型

针对现有端到端自动驾驶模型未考虑驾驶场景中不同区域的重要性和不同语义类别之间的关系而导致预测准确率低的问题，受驾驶人注意力机制和现有端到端自动驾驶模型的启发，充分考虑驾驶场景的动态变化、驾驶场景的语义信息和深度信息对驾驶行为决策的影响，以连续多帧驾驶场景的RGB图像为输入，构建一种基于注意力机制的多模态自动驾驶行为预测模型，实现对方向盘转角和车速的准确预测。首先，通过语义分割模型和单目深度估计模型分别获取RGB图像的语义图像和深度图像；其次，为剔除与驾驶行为决策无关信息，以神经科学和空间抑制理论为基础，设计一种拟人化注意力机制作为能量函数来计算驾驶场景中不同区域的重要度；为学习语义图像中与驾驶行为决策最为相关类别之间的关系，采用图注意力网络(Graph Attention Network,GAT)对驾驶场景的语义图像进行特征提取；然后，以保留RGB特征为原则对提取的驾驶场景的图像特征、语义特征和深度特征进行融合，采用卷积长短期记忆网络(Convolutional Long Short Term Memory,ConvLSTM)实现融合特征在连续多帧之间的传递，进而实现下一帧驾驶场景对应驾驶行为的预测；最后，与其他模型的对比试验、消融试验、泛化试验和特征可视化试验来充分验证所提出自动驾驶行为预测模型的性能。试验结果表明：与其他驾驶行为预测模型相比，所提出模型的训练误差为0.021 2，预测准确率为86.97%，均方误差为0.031 5，其驾驶行为的预测性能优于其他模型；连续多帧的语义图像和深度图像、拟人化注意力机制和面向语义特征提取的GAT有助于提升驾驶行为预测的性能；该模型具有较好的泛化能力,其做出驾驶行为预测所依赖的特征与经验丰富的驾驶人所关注的特征基本一致。     

面向自动驾驶数据生成的风格迁移网络研究

自动驾驶数据集的丰富性是保证基于深度学习的自动驾驶算法鲁棒性和可靠性的关键。当前的自动驾驶数据集在夜晚场景和各类气候、天气条件下的数据量仍十分有限，为满足无人驾驶领域的应用需求，本文中构建了风格迁移网络，可将当前自动驾驶数据集转换为夜晚、雪天等多种形式。该网络采用单编码器-双解码器结构，综合语义分割网络、跳跃连接和多尺度鉴别器等多种手段用于提高图像的生成质量，生成的图像具有良好的视觉效果。用真实数据训练deeplabv3+语义分割网络来评价生成图像的结果表明，本文采用的网络生成图像的平均交并比比基于双编码-双解码结构的两种网络（AugGAN和UNIT）分别提升了2.50%和4.41%。     

基于改进SegNet的沥青路面病害提取与分类方法

针对现有SegNet算法难以精确区分裂缝和灌封裂缝等具有相似特征的沥青路面病害的问题，提出了基于改进SegNet网络的沥青路面病害提取方法。针对道路标线和光照不均匀等导致路面病害图像质量差异化的因素，本研究在去除道路标线的基础上，运用带色彩恢复的多尺度视网膜增强算法，降低道路标线和光照对图像质量的影响以及增强路面病害图像的对比度、色调和亮度，提高病害的识别精度；为了充分利用图像的上下文信息，解决SegNet网络对细微病害分割效果不佳的问题，引入残差神经网络（ResNet）作为编码器，并对解码器中每个上采样产生的特征图拼接2个分别由卷积层（1×1的卷积核）和空洞卷积层从对应的编码器中获取的尺度相同的特征图；运用形态学闭运算连接分割结果中不连续的裂缝。为了验证改进算法的有效性，将其与典型的语义分割方法（SegNet和BiSeNet）在测试集上进行测试和性能对比。研究结果表明，3种方法的平均交并比（MIoU）和F1分数（F1-score）分别为（82.4%，98.9%），（69.4%，94.0%），（80.5%，98.1%）；利用这3种方法对甘肃省部分路段路面病害的提取效果进行对比测试，提出方法的裂缝漏检率和误检率分别为2.91%，1.94%，优于SegNet（10.68%，14.56%）和BiSeNet（6.80%，12.62%）。本研究所提方法能够更精确地提取和区分沥青路面裂缝和灌封裂缝。      

基于知识蒸馏的车辆可行驶区域分割算法研究

针对计算量有限的无人驾驶芯片难以部署巨大神经网络的问题,将知识蒸馏算法这一神经网络模型压缩技术应用于图像的语义分割,在BDD100K数据集上对DeepLabV3+图像语义分割模型进行蒸馏训练,然后对车辆可行驶区域进行像素级别的分割,并在实际道路上进行测试。试验结果表明,在不改变网络结构的前提下,分割结果的平均交并比(IOU)提高了约3%。     

基于三维锥形栅格的激光点云语义分割方法EI北大核心CSCD

激光点云语义分割是自动驾驶系统中道路场景感知的重要分支。虽然主流方法将点云转换为规则的二维图像或笛卡尔栅格进行处理,减少因点云非结构化所带来的计算量,但二维图像方法不可避免地改变点云的三维几何拓扑结构,而笛卡尔栅格忽略了室外激光点云的密度不一致性,从而限制了包括行人和自行车等小物体的语义分割能力。因此,本文中提出了一种基于三维锥形栅格和稀疏卷积的激光点云语义分割方法,利用锥形栅格分区解决了点云的稀疏性和密度不一致的问题;为提高模型推理速度,设计了重参数化三维稀疏卷积网络。在SemanticKITTI和nuScenes两个大规模数据集上对所提方法进行评估。结果表明,与目前最新的点云分割方法相比,所提方法的平均交并比分别提升了1.3%和0.8%,尤其对小物体识别有显著的提升。     

基于YOLOv5和DeepLabv3+的桥梁结构病害智能识别技术

传统以人工为主的桥梁表观病害识别方式存在着效率低下、风险高等问题，已不能满足当今桥梁检测任务的要求。针对上述问题，本研究结合目标检测与语义分割技术，提出了一套桥梁表观病害智能识别算法，完成了桥梁病害的智能识别与尺寸计算任务。研究中通过多种手段收集桥梁病害图像，构建桥梁表观病害目标检测数据集和语义分割数据集；训练了YOLOv5病害识别及定位网络和DeepLabv3+病害区域提取网络；对病害区域提取结果进行噪点去除、毛刺剔除、裂缝体分解等预处理后，采用邻域划分和正交骨架实现了病害长、宽尺寸的计算，并在桥梁实拍病害图像上进行了算法测试。本研究开发的病害识别技术实现了桥梁表观病害高效率、高精度的自动识别和尺寸计算，提升了桥梁检测的工作效率和安全性。     

基于语义分割网络模型的路面裂缝识别

沥青路面在使用过程中,很容易因基层的干缩、温缩以及外部的车辆荷载作用发生开裂。随着时间推移,在内、外部应力的不断作用下,这些裂缝的开裂状况会逐渐加深,导致路面使用寿命降低。目前,路面裂缝识别多集中识别图片中是否存在裂缝,并未达到像素级的精度。文中提出利用语义分割网络模型去识别路面裂缝,能够将裂缝图片与对应标签进行逐像素的学习与训练,从而使训练出的网络模型能够识别裂缝的具体区域和形态,实现像素级的识别精度。     

桥梁裂缝智能识别与监测方法研究

当前,裂缝识别与监测一直是桥梁结构健康监测的重要研究内容。在桥梁结构现场检测与监测中,传统的裂缝识别与监测技术尚不足以满足实际工程的时效性和精确性需求,尤其是裂缝监测技术。基于深度学习的裂缝图像识别极大提升了裂缝检测的效率和精度,但目前仅能获得特定时刻的裂缝信息,缺乏对裂缝产生和演化过程的监测能力,而这些信息对混凝土结构服役安全量化和科学评价具有重要意义。鉴于此,对基于深度学习的裂缝识别与监测方法进行了系统研究,分析和讨论了裂缝数据集构建基准,改进优化了裂缝目标检测和语义分割算法,提出一种多任务集成一体化实时识别算法,并建立了该模型推理效果评价方法,优化了裂缝参数计算方法,最终形成了裂缝识别及动态扩展自动化实时监测方法。结果表明：所提出的裂缝智能识别与监测方法可以对新裂缝的产生和既有裂缝的全局演化实现良好追踪,监测数据可以为桥梁结构当前服役性能的科学量化评估提供支撑。     

基于3D点云语义地图表征的智能车定位

为提高智能车节点定位准确率, 研究了基于3D点云语义地图表征的智能车定位方法。该方法分为3个部分: ①基于三维激光点云的语义分割, 包括地面分割, 交通标志牌分割和杆状语义目标分割; ②面向智能车的点云语义地图表征, 利用分割的语义目标投影, 生成带权有向图, 语义路, 语义编码, 再以语义编码和高精度GPS的全局位置组成语义地图表征模型; ③基于语义表征模型的智能车定位, 包括基于GPS匹配的粗定位和基于语义编码渐进匹配的节点定位。实验在3种长度不同、复杂度不同的道路场景下进行, 节点定位准确率分别为98.5%, 97.6%和97.8%, 结果表明所提出的定位方法节点定位准确率高、鲁棒性强且适用于不同的道路场景。      

高速公路路面裂缝识别算法研究

经过研究给出了不均匀光照的路面裂缝图像识别的详细算法。算法采用多窗口中值滤波进行图像平滑,既能去除图像的噪声点,又较好地保留了裂缝的边缘信息;使用背景子集图像插值校正法进行灰度校正,有效地克服了不均匀成像对后期图像分割的影响;采用otsu阈值分割、形态学去噪及连通区域标记完成裂缝图像分割;选用连通区域个数、投影特征和分布密度3个参数完成裂缝分类;最后提取裂缝长度、宽度和破损面积等裂缝参数。实验结果显示分类准确率为94%,线状裂缝长度误差均值为7.2%,宽度误差均值为11.3%,非线状裂缝的面积误差均值为9.6%,表明这一方法有效、可靠。