基于改进掩码-区域卷积神经网络的混凝土病害实例分割

为对混凝土病害图像进行更精确的实例分割，提出改进掩码-区域卷积神经网络(Mask Region Convolution Neural Network, Mask-RCNN)。该网络采用轻量级的可移动网络(MobileNetV2)代替原始Mask-RCNN中卷积层过大的主干网络——残差网络(ResNet101),加入路径聚合网络(PANet),以提高Mask-RCNN提取浅层特征信息的能力。为验证改进Mask-RCNN的识别精度及其在实际工程中的可行性，首先构建多类混凝土病害图像数据集，利用K-means聚类算法确定最适合该数据集的先验边界框的长宽比，然后对比改进Mask-RCNN与原始Mask-RCNN、其它主流深度学习网络对混凝土五类病害(裂缝、露筋、剥落、白皙和空洞)的识别结果；最后利用无人机采集到的钢筋混凝土桥梁病害图像作为测试集进行测试。结果表明：改进Mask-RCNN在提高计算速度的同时能更准确地定位病害，减少了误检和漏检，识别精度高于原始Mask-RCNN及其它深度学习网络；改进Mask-RCNN可以识别无人机拍摄的未经训练的新的混凝土病害图像，识别精度满足实际工程需求。     

基于计算机视觉的钢桥面板裂纹识别方法

钢桥面板疲劳开裂为常见的钢桥病害，准确快速地发现并确定钢桥面板裂纹几何特征对降低运维成本、制定运维策略具有重要意义。针对传统人工巡检效率低、检测环境恶劣等问题，提出了基于计算机视觉的钢桥面板裂纹及其特征识别方法。采用目标检测网络YoloV5和图像语义分割网络U-Net++相结合的方法识别裂纹。根据2个网络的结构特性标注图像中的目标后生成数据集，并分别对网络中的参数进行训练。利用训练后的YoloV5与U-Net++分阶段对待测裂纹图像进行检测与分割，并通过阈值分割优化U-Net++分割结果，再通过骨架化后得到裂纹骨架线；在确定裂纹形貌后，采用YoloV5识别出的标定块求解透视变换矩阵与像素尺度系数，然后对裂纹骨架线进行图像矫正并确定裂纹几何特征。研究结果表明：YoloV5可准确检测出裂纹与标定块，且检测稳定性好；通过优化U-Net++训练时输入的像素尺寸，提高了U-Net++训练的收敛速度，网络损失由0.121降至0.096;求解透视变换矩阵时，使用所有角点坐标拟合该矩阵的最小二乘解可提高图像矫正标定的精度；当图像采集距离较远、角度较大时，角点投影误差增大，且该误差对角度更为敏感；不同图...     

基于实例分割的车道线检测算法

为实现在自动驾驶复杂场景下检测数量变化的车道线，提出一种基于实例分割的车道线检测算法。首先以ResNet18网络作为主干网络提取图像特征，采用特征金字塔网络进行特征融合。同时设计一种扩张卷积残差模块来提高检测的精度；然后基于车道线的位置进行实例分割，利用语义分割出的车道线点位置预测对应的聚类点位置，通过对聚类点采用DBSCAN聚类算法实现车道线实例区分。结果表明，该算法能够在复杂的自动驾驶场景下有效地进行多车道线检测，在CULane数据集和TuSimple数据集上的调和平均值分别达到75.2%和97.0%。     

基于深度学习的土木基础设施裂缝检测综述

基于深度学习的裂缝检测对于降低基础设施运营风险、节约运维成本并推进中国土木工程行业智能化转型具有重要意义。算法、数据集和评价指标是构建深度学习裂缝检测模型的关键要素；裂缝检测模型集成于机器人平台，从而实现对土木基础设施的全自动裂缝检测。为此，从以上4个方面对当前研究进行了系统梳理。首先，回顾了深度学习的发展历程，重点介绍了深度卷积神经网络在计算机视觉领域的应用及其在图像处理方面较传统算法所具有的显著优势。接着，详细介绍了3类基于深度学习的裂缝检测主流算法，包括分类算法、目标检测算法和语义分割算法。然后，对现有裂缝图像数据集以及模型性能评价指标进行了归纳。最后，总结了土木基础设施的各类裂缝检测机器人平台。综合分析表明：基于卷积神经网络主干结构的深度学习算法已被广泛用于土木基础设施表面裂缝的精准定位与分类，而裂缝的尺寸信息仍需依靠传统图像处理技术进行提取；由于像素级标注的成本和专业性高，大型的裂缝语义分割数据集相对缺乏，致使当前基于语义分割算法的裂缝检测模型鲁棒性较差；目前多数研究人员采用个人建立的裂缝数据集进行模型训练且采用不同的指标进行模型性能评价，缺乏统一的基准测试数据集和评价指标体系，无法对不同模型的性能进行平行比较；目前针对不同基础设施已相应开发了一些裂缝检测机器人，提高裂缝检测机器人的多场景适应性，并降低其应用成本是未来的发展方向。     

公路桥梁智能检测技术研究进展

为促进公路桥梁智能检测技术的发展，系统梳理了桥梁智能检测装备、智能检测方法、智能损伤识别算法、智能安全评价及养护决策的发展现状与趋势。综合分析表明：随着桥梁智能检测技术的发展，针对桥梁检测环境和构件特点，出现了包括无人机、移动机器人、环形爬升机器人、多功能检测机器人、爬索机器人、水下机器人、声呐探测装置等多种类型的智能检测装备。智能检测装备大多采用搭载的图像采集装置进行病害信息收集，其避障及抗环境干扰能力和图像采集精度是设备性能表征的关键；在智能检测方法领域，图像采集技术、激光点云扫描技术、全息摄影技术发展日趋成熟，探地雷达、干涉合成孔径雷达及声呐探测技术可作为桥梁基础及冲刷深度检测的有效手段；但以光纤传感、热成像技术、声发射技术、超声波检测、电磁传感为特征的桥梁检测新技术，其抗环境干扰的能力还有待提升，需要进一步的工程验证。随着桥梁智能装备能力的提升、智能检测技术的发展，不同类型海量数据的涌现，传统的从病害、构件、部件到结构的分层综合安全评价算法已不能适应，采用数字孪生技术进行结构状况的实时再现与评价，以多源数据融合技术进行区域级、路网级桥梁服役性能及抗灾韧性评价是桥梁智能检测与安全评估的主要发展方向。     

基于Faster R-CNN与形态法的路面病害识别

为提高基于图像处理的路面表观病害检测识别效率及精度,引入目标检测中的快速区域卷积神经网络（Faster Region Convolutional Neural Network,Faster R-CNN）算法以快速识别病害种类、位置与面积;针对已提取的带边框裂缝病害区域,采用基于VGG16迁移学习与模型微调的CNN与50%重叠率的滑动窗口定位裂缝骨架,进而利用形态法操作提取裂缝形态,计算其长度与宽度;针对Faster R-CNN算法在病害种类识别时漏检率低但误检率偏高的问题,引入精确率、召回率和F₁分数指标对算法进行评估,并根据F₁分数最大值确定相应的病害框像素面积及置信度阈值来降低误检率,以适应路面表观病害多样化的应用场景。运用开发的病害识别算法对广东一高速公路路面进行表观检测。结果表明：所提方法对典型裂缝图片的识别效率及精度均高于单独应用CNN滑动窗口和传统形态法的全局图像处理方法;对分段的裂缝边界框进行合并,且病害框像素面积及置信度阈值取优化值后,横向裂缝精确率由合并前的0.861提升至合并后的0.918,横向及纵向裂缝误检率则分别由调整前的20.4%和23.8%下降至调整后的8.2%和6.9%,漏检率则稍有提高。基于Faster R-CNN、CNN及形态法的路面病害识别方法具有工作高效、漏检率低的优点,在引入评估指标、最优病害框像素面积与置信度阈值后,病害误检率也大幅降低,具有潜在工程应用价值。     

基于机器视觉的路面裂缝病害多目标识别研究

为了建立一种基于深度学习卷积神经网络的多目标路面裂缝检测模型,实现对路面裂缝的精确识别、分割与统计,采用卷积神经网络Mask R-CNN为主干框架,融入ResNet模型与特征金字塔网络(FPN)提高对病害特征提取的精度,建立了针对裂缝病害识别的基础网络体系;考虑裂缝病害图像特征,采用随机梯度下降算法与冲量算法优化损失函数以提高对裂缝像素的分类性能,通过在主干网络设定目标区域检测范围并利用掩码实现了裂缝病害的像素级识别与分割;标记大量的路面裂缝图像形成训练数据库,分析了路面裂缝的多目标识别模型有效性。结果表明:损失函数中的权重参数取0.3时,识别模型具备较好的识别精度;通过数据增强可以将有限训练集进行有效扩充,极大提高识别模型的泛化能力与鲁棒性,经过训练后的模型能够正确识别98.9%的裂缝对象与93.6%的裂缝类像素;通过将模型对裂缝病害的识别、分类精度与传统深度学习模型、边缘检测算法相比较,在细微裂缝的识别与非裂缝构造的过滤方面具有显著优势。用Mask R-CNN的主干网络进行ResNet模型与FPN扩展能够有效保留裂缝病害的纹理与轮廓细节信息,实现复杂背景下裂缝病害的有效识别。     

基于改进SegNet的沥青路面病害提取与分类方法

针对现有SegNet算法难以精确区分裂缝和灌封裂缝等具有相似特征的沥青路面病害的问题，提出了基于改进SegNet网络的沥青路面病害提取方法。针对道路标线和光照不均匀等导致路面病害图像质量差异化的因素，本研究在去除道路标线的基础上，运用带色彩恢复的多尺度视网膜增强算法，降低道路标线和光照对图像质量的影响以及增强路面病害图像的对比度、色调和亮度，提高病害的识别精度；为了充分利用图像的上下文信息，解决SegNet网络对细微病害分割效果不佳的问题，引入残差神经网络（ResNet）作为编码器，并对解码器中每个上采样产生的特征图拼接2个分别由卷积层（1×1的卷积核）和空洞卷积层从对应的编码器中获取的尺度相同的特征图；运用形态学闭运算连接分割结果中不连续的裂缝。为了验证改进算法的有效性，将其与典型的语义分割方法（SegNet和BiSeNet）在测试集上进行测试和性能对比。研究结果表明，3种方法的平均交并比（MIoU）和F1分数（F1-score）分别为（82.4%，98.9%），（69.4%，94.0%），（80.5%，98.1%）；利用这3种方法对甘肃省部分路段路面病害的提取效果进行对比测试，提出方法的裂缝漏检率和误检率分别为2.91%，1.94%，优于SegNet（10.68%，14.56%）和BiSeNet（6.80%，12.62%）。本研究所提方法能够更精确地提取和区分沥青路面裂缝和灌封裂缝。      

基于机器视觉的隧道衬砌表观病害检测技术研究进展

针对隧道衬砌表观裂缝病害的智能化检测算法问题,梳理了自动检测算法的处理流程,介绍了3种裂缝自动检测的方法:图像处理、传统机器学习、深度学习算法,并分析了3种方法的适用范围及优缺点,重点讨论了深度学习算法,它从根本上改变了裂纹检测的方式,大幅提高了检测性能。对基于分类、目标检测和分割的深度学习神经网络在裂纹检测中的应用进行了综述和比较,展望了该算法在裂缝自动检测的应用前景。     

基于倾向流和深度学习的机场运动目标检测

针对当前基于视频图像的场面监视目标检测方法存在定位误差较大,识别准确率低等问题,建立一种结合目标运动信息的机场场面运动目标检测方法:利用倾向流法提取出运动目标在图像中的候选区域,对候选区域执行点池化操作以确定区域建议的边界,采用Inception结构构建一个浅层卷积神经网络,并使用该网络对区域建议中的航空器、车辆和人员进行识别.结合国内机场的监视视频,构建了一个包含4 938张图片的机场目标数据集,用于算法的训练和测试.结果 表明,运动目标提取的准确率达到94%以上,运动目标识别的Top-1准确率达到了97.23%,运动目标平均准确率达到86.23%.与3种深度学习目标检测算法相比,运动目标检测精度平均提升了39%.      

基于无人机的悬索桥主缆自动巡检及小样本表观病害识别

为了实现悬索桥主缆的自动化、智能化检查,开展了基于无人机的主缆巡检路径规划和小样本数据下的主缆病害识别研究。首先,利用无人机倾斜摄影测量技术快速建立悬索桥的三维模型,提出主缆无人机自动巡检路径的规划方法;然后,采用Faster RCNN网络模型识别主缆图像中的表观病害;最后,采用基于图像融合的数据增强方法,提高小样本数据集下目标检测的准确率。在Faster RCNN网络模型训练过程中,随着训练轮次的增加,测试集中裂纹、锈蚀和划痕3类病害的平均精确率得到提升,并在第15个训练轮次后逐渐稳定,在经过100个训练轮次后,测试集中所有类别的平均精确率为0.723。以小龙湾桥为研究对象,进行了主缆的现场检查试验。研究结果表明：基于悬索桥三维模型进行主缆无人机自动巡检路径规划具有实际可行性;基于Faster RCNN网络模型能较准确地识别主缆的裂纹、锈蚀和划痕病害;利用图像融合方法生成病害数据能有效克服数据样本少的问题,并提高识别的准确性。     

基于无人机及Mask R-CNN的桥梁结构裂缝智能识别

桥梁结构表面裂缝检测为桥梁状态识别、病害治理、安全评估提供了重要状态信息和决策依据。为解决传统人工检测方法存在的危险性高、影响交通、费用昂贵等问题,提出基于无人机（Unmanned Aerial Vehicle,UAV）及深度学习的桥梁结构裂缝智能识别方法。采用大疆M210-RTK多旋翼无人机进行贴近航摄,获取桥梁结构混凝土表面高清图像;利用SDNET裂缝数据集等图像资源,制作1 133张标记裂缝精确区域的深度学习训练样本图像库;引入掩膜区域卷积神经网络（Mask R-CNN）深度学习算法,训练和建立Mask R-CNN裂缝识别模型;基于Mask R-CNN裂缝识别模型,采用矩形滑动窗口模式扫描混凝土表面高清图像,实现裂缝自动识别和定位。构建包含图像二值化、连通域去噪、边缘检测、裂缝骨架化、裂缝宽度计算等流程的图像后处理方法,实现裂缝形态及宽度信息自动获取。通过精度验证试验,证实采用M210-RTK无人机+ZENMUSE X5S相机+45 mm奥林巴斯镜头的组合装备,当无人机至桥梁结构表面垂直距离为10.0 m时,无人机方法识别的裂缝宽度与裂缝测量仪结果吻合,其绝对误差小于0.097 mm,相对误差小于9.8%。将该无人机裂缝检测方法应用于高136.8 m长沙市洪山大桥桥塔表面裂缝检测,采用深度学习Mask R-CNN算法进行裂缝智能识别,其裂缝识别准确率和召回率分别达到92.5%和92.5%。研究结果表明：无人机桥梁裂缝检测方法可实现高耸桥梁结构表面裂缝的远程、非接触、自动化检测,具有重要的科学研究和工程应用价值。     

基于深度学习的沥青路面病害图像智能识别方法研究

针对现有沥青路面病害人工检测效率低、影响交通、安全风险大等特点,研究基于深度学习的沥青路面病害图像智能识别方法.通过对不同类型沥青路面病害整体目标区域及特殊样貌特征分别进行标记,对图像进行归一化及数据集扩充等一系列处理,以达到增强目标特征的目的.将细分的11类致灾因子作为神经网络的输入变量,通过模糊推理逻辑创建致灾因子...     

基于BIM+GIS的沥青路面表里全域病害数字孪生研究

为全面整合和分析无损检测采集的病害信息并构建病害数字孪生模型对病害进行可视化表达，基于BIM+GIS技术，运用探地雷达检测手段，提出了路面全域病害整合与建模的新框架。在该框架中，首先面向不同路表病害类型分别开发基于深度图像表面拟合和基于二值图像轮廓拟合的病害建模方法，相较于传统二维贴图或三维固定参数的建模方式，该方法实现了对病害区域信息的准确拟合建模；该框架另一部分提出了路面结构内部隐蔽病害的三维可视化建模方法，相较于传统分析建模进一步实现了探地雷达数据的病害模型转化与BIM数字化道路高效整合，降低了探地雷达数据实际应用性的门槛。该方法基于2种不同雷达图像的病害特征，识别并提取病害区域，实现全路段隐蔽病害疑似区域和局部重点区域三维重构；最后自动化构建包含全域病害的数字孪生模型，将无损检测数据高效整合，完成病害实体在虚拟空间中的映射转化。同时借助地理信息系统绘制道路病害分布热力图，反馈病害分布以及发展情况，指导养护管理工作。试验结果表明：该框架高效完成全域病害的三维数字转化；路表裂缝和坑槽建模精度分别达到80.13%和98.17%,路面内部病害的模型结合现场钻孔取芯验证在判断病害发生位置...     

基于改进Mask R-CNN的钢桥多病害智能识别

钢桥在现代交通基础设施中扮演着重要的角色,然而,由于长期服役与环境影响,钢桥可能出现涂层锈蚀、螺栓脱落等病害。为解决传统的钢桥病害检测需要人工参与,费时费力且主观性强的问题,提出了一种基于深度学习的钢桥病害检智能识别方法。利用无人机在图像采集方面的优势,采集大量高清病害图像,经图像增强、标注后建立钢桥病害图像库,用于模型的训练和测试;引入掩膜区域卷积神经网络(Mask R-CNN)构建钢桥病害识别模型,实现钢桥病害的自动识别;并通过更换骨干网络的方式进一步提升模型性能。研究结果表明：将骨干网络由传统的ResNet101替换为VoVNet后模型性能显著提升,交并比阈值为0.5与0.5∶0.95时,优化后模型的识别平均精确率分别为0.84与0.59;相同交并比阈值下较之优化前有约10%的提升。将改进的模型应用于上莘桥表观病害检测,其对涂层锈蚀、螺栓锈蚀与螺栓脱落的识别准确率分别达到了89.3%、85.7%、73.1%;改进的Mask R-CNN模型在钢桥病害识别任务中表现出了优异的性能,无人机与深度学习相结合的方法能够实现钢桥病害的高精度、自动化检测,具有重要的科学研究和工程应用价值。     

考虑低光照场景的自适应路面病害检测模型

为提升低光照环境下路面病害识别模型的精确度与鲁棒性，提出了一种考虑低光照场景的自适应路面病害检测模型。将采集的数据按照亮度分成低光照图像和正常光照图像2类，随后对低光照图像进行自适应增强，并接入路面病害检测流程。为解决现有光照增强图像失真的问题，在Zero-DCE++基准模型上引入光照约束网络，提出了光照增强模块Zero-DCE-Retinex。在此基础上，以提升路面病害检测精度为核心需求，提出了以病害识别模型为驱动的光照增强模块训练策略。具体的，在训练过程中，将病害识别模型嵌入光照增强模块，并通过损失函数来引导光照增强模块的训练。试验结果表明：当使用所提模型对低光照图像进行增强后，再经过YOLOv7模型进行检测，比直接输入低光照图像的方式，AP指标提升了7.04%,F1-score指标提升了11.22%;图像质量亦得到进一步改善，表现在图像信息熵、标准差和平均梯度的提升分别为0.62、13.24和21.61。与同类无监督光照模型相比，所提模型在目标检测任务的AP和F1-score提升方面显著优于其他模型，同时有效避免了增强结果出现色彩失真和过度曝光等问题。因此，提出的模型可广泛适用于...     

面向自动驾驶数据生成的风格迁移网络研究

自动驾驶数据集的丰富性是保证基于深度学习的自动驾驶算法鲁棒性和可靠性的关键。当前的自动驾驶数据集在夜晚场景和各类气候、天气条件下的数据量仍十分有限，为满足无人驾驶领域的应用需求，本文中构建了风格迁移网络，可将当前自动驾驶数据集转换为夜晚、雪天等多种形式。该网络采用单编码器-双解码器结构，综合语义分割网络、跳跃连接和多尺度鉴别器等多种手段用于提高图像的生成质量，生成的图像具有良好的视觉效果。用真实数据训练deeplabv3+语义分割网络来评价生成图像的结果表明，本文采用的网络生成图像的平均交并比比基于双编码-双解码结构的两种网络（AugGAN和UNIT）分别提升了2.50%和4.41%。     

融合SAR分支深度学习的隧道病害识别与成像

随着交通事业的不断发展，大量隧道相继建设并陆续投入运营。在其运营过程中，隧道衬砌混凝土结构内部往往出现不可见的隐蔽病害，对工程安全带来了严重隐患。及时识别检测内部病害，预防安全事故的发生十分必要。探地雷达(Ground Penetrating Radar, GPR)是检测混凝土内部病害的主流无损检测技术，但探地雷达数据中的病害响应信号与实际结构内部病害形态并不存在直观的空间对应关系，从探地雷达数据中仅能估计病害的类型与大概位置，难以对其轮廓进行成像。针对上述问题，研究了基于探地雷达的隧道衬砌隐蔽病害智能识别技术，针对探地雷达数据特点，设计了融入合成孔径雷达(Synthetic Aperture Radar, SAR)成像处理分支的地下工程目标识别深度神经网络模型，通过在传统Unet网络中融入SAR成像分支，实现了对病害的准确成像，并成功对6种隧道衬砌常见的病害进行类型识别。采用仿真数据对该方法验证，结果表明本研究设计的融入SAR成像分支Unet网络的预测结果对6种病害的平均识别精度为96%,与传统Unet网络相比，精度提升了5%,由此证明本文构建的融入SAR成像分支的Unet网络有效提...     

基于语义分割与道路结构的车道线检测方法

车道线的准确检测对于智能辅助驾驶和车道偏离预警系统的性能有着非常重要的作用,当前的传统研究方法普遍存在对复杂道路环境的适应性不够,检测精度有待提高等问题。针对复杂交通环境的车道线检测问题,充分考虑到复杂道路结构的语义信息,提出了1种基于语义分割与道路结构的车道线检测方法。该算法采用Encoder-Decoder的基础网络结构模式,通过改进实现语义分割,利用池化层的索引功能,以反池化的方式进行上采样,在每个上采样之后连接多个卷积层。然后再使用标准交叉熵损失函数训练分割网络,利用深度学习方法得到排除外部环境干扰的道路分割图像,并对分割后的道路图像进行透视变换,采用Hough变换和边缘点的参数空间投票,快速提取和修正车道线左右边缘点,将提取的边缘点进行贝塞尔曲线拟合,实现车道线的平滑显示。提出的算法在相关车道线数据集上进行了训练和测试,与基于参数空间投票方法相比,准确度提升5.1%,时间平均增加了8 ms;与卷积神经网络（convolutional neural networks,CNN）方法相比,准确度降低了1.75%,时间平均减少了6.2 ms。测试结果表明,利用提出的语义分割编解码网络...     

基于知识蒸馏的车辆可行驶区域分割算法研究

针对计算量有限的无人驾驶芯片难以部署巨大神经网络的问题,将知识蒸馏算法这一神经网络模型压缩技术应用于图像的语义分割,在BDD100K数据集上对DeepLabV3+图像语义分割模型进行蒸馏训练,然后对车辆可行驶区域进行像素级别的分割,并在实际道路上进行测试。试验结果表明,在不改变网络结构的前提下,分割结果的平均交并比(IOU)提高了约3%。