基于无人机及Mask R-CNN的桥梁结构裂缝智能识别

桥梁结构表面裂缝检测为桥梁状态识别、病害治理、安全评估提供了重要状态信息和决策依据。为解决传统人工检测方法存在的危险性高、影响交通、费用昂贵等问题,提出基于无人机（Unmanned Aerial Vehicle,UAV）及深度学习的桥梁结构裂缝智能识别方法。采用大疆M210-RTK多旋翼无人机进行贴近航摄,获取桥梁结构混凝土表面高清图像;利用SDNET裂缝数据集等图像资源,制作1 133张标记裂缝精确区域的深度学习训练样本图像库;引入掩膜区域卷积神经网络（Mask R-CNN）深度学习算法,训练和建立Mask R-CNN裂缝识别模型;基于Mask R-CNN裂缝识别模型,采用矩形滑动窗口模式扫描混凝土表面高清图像,实现裂缝自动识别和定位。构建包含图像二值化、连通域去噪、边缘检测、裂缝骨架化、裂缝宽度计算等流程的图像后处理方法,实现裂缝形态及宽度信息自动获取。通过精度验证试验,证实采用M210-RTK无人机+ZENMUSE X5S相机+45 mm奥林巴斯镜头的组合装备,当无人机至桥梁结构表面垂直距离为10.0 m时,无人机方法识别的裂缝宽度与裂缝测量仪结果吻合,其绝对误差小于0.097 mm,相对误差小于9.8%。将该无人机裂缝检测方法应用于高136.8 m长沙市洪山大桥桥塔表面裂缝检测,采用深度学习Mask R-CNN算法进行裂缝智能识别,其裂缝识别准确率和召回率分别达到92.5%和92.5%。研究结果表明：无人机桥梁裂缝检测方法可实现高耸桥梁结构表面裂缝的远程、非接触、自动化检测,具有重要的科学研究和工程应用价值。     

基于机器视觉的路面裂缝病害多目标识别研究

为了建立一种基于深度学习卷积神经网络的多目标路面裂缝检测模型,实现对路面裂缝的精确识别、分割与统计,采用卷积神经网络Mask R-CNN为主干框架,融入ResNet模型与特征金字塔网络(FPN)提高对病害特征提取的精度,建立了针对裂缝病害识别的基础网络体系;考虑裂缝病害图像特征,采用随机梯度下降算法与冲量算法优化损失函数以提高对裂缝像素的分类性能,通过在主干网络设定目标区域检测范围并利用掩码实现了裂缝病害的像素级识别与分割;标记大量的路面裂缝图像形成训练数据库,分析了路面裂缝的多目标识别模型有效性。结果表明:损失函数中的权重参数取0.3时,识别模型具备较好的识别精度;通过数据增强可以将有限训练集进行有效扩充,极大提高识别模型的泛化能力与鲁棒性,经过训练后的模型能够正确识别98.9%的裂缝对象与93.6%的裂缝类像素;通过将模型对裂缝病害的识别、分类精度与传统深度学习模型、边缘检测算法相比较,在细微裂缝的识别与非裂缝构造的过滤方面具有显著优势。用Mask R-CNN的主干网络进行ResNet模型与FPN扩展能够有效保留裂缝病害的纹理与轮廓细节信息,实现复杂背景下裂缝病害的有效识别。     

基于深度学习语义分割的桥梁病害图像像素级识别方法

为了解决如何从背景中把感兴趣的桥梁病害区域以像素级精度识别出来的问题,本文针对混凝土裂缝、钢材锈蚀、表面涂层脱落、混凝土掉块4种桥梁局部病害形式,提出了一种基于深度学习语义分割的桥梁病害图像像素级识别方法,通过构建由一系列功能层组成的深度卷积神经网络(包括卷积层、批归一化层、非线性激活层、最大池化层、反卷积层、全连接层、softmax分类层等),实现像素级的病害区域识别。以考虑不平衡数据处理的像素级交叉熵分类损失为模型训练的损失函数,同时采用数据增强方法,对输入输出图像随机采用逆时针旋转90°、180°、270°、水平翻转、竖直翻转的形式来提高模型的泛化能力。将400张原始病害图像和其像素级分割真实值分别作为输入和输出,80%进行训练,剩余20%作为测试集。随着训练过程的进行,损失不断下降,准确率逐渐上升,最终经过100轮次训练(每轮的批次大小为32),准确率提升至94. 96%。测试结果表明,训练模型基本可以实现对混凝土裂缝、钢材锈蚀、表面涂层脱落、混凝土掉块4种桥梁局部病害区域的像素级识别,其中可以很好地识别出在较简单背景下的混凝土裂缝病害区域,而对于复杂背景下的表面涂层脱落、混凝土掉块、钢材腐蚀耦合发生时的识别结果的准确度则相对降低。可能原因是由于在实际复杂场景下,表面涂层脱落、混凝土掉块具有很大程度上的相似性,并且钢材腐蚀往往伴随着表面涂层脱落、混凝土掉块的发生。     

基于深度学习的钢桥桥面铺装病害识别与量化方法

受反复的交通荷载、温度变化、风载等的影响,钢桥桥面铺装的应力状态复杂,加上柔性的桥面铺装与刚性钢桥结构力学相容性问题,钢桥桥面铺装易出现早期病害。为了识别、分类和量化钢桥桥面铺装典型病害,文中提出一种基于深度摄像头Kinect V2和深度学习的桥面铺装病害识别方法。先通过传感器采集桥面铺装病害图像,创建带标识的数据库,并将其转化为训练集,然后利用YOLOv5对训练集的原始数据进行训练、验证与测试,获得桥面铺装病害识别、分类和量化结果。结果表明,基于深度学习,利用随机采样一致性(RANSAC)可以实现RGB-D传感器在不同工作距离上的平面拟合,达到对桥面铺装病害的高效识别,各类病害的识别误差均可控制在10%以内;与人工识别方法相比,利用简单图像采集设备和机器学习的智能识别方法能以较低的成本在不影响交通的条件下完成钢桥桥面铺装病害识别与量化,计算效率更高,可大大节省人工和时间成本,且能保证识别结果在一定精度范围内。     

基于Mask R-CNN网络模型的无人驾驶感知

近几年深度学习技术在图像检测方面的应用取得了极大的突破,利用卷积神经网络模型可高效且准确的识别目标。一种开源网络模型——Mask R-CNN,被用于无人驾驶感知检测,取得了较好的检测效果。为了进一步提高检测精度,提出迁移学习方法重新训练网络,使得网络更适用于无人驾驶领域的感知任务。     

基于Faster R-CNN与形态法的路面病害识别

为提高基于图像处理的路面表观病害检测识别效率及精度,引入目标检测中的快速区域卷积神经网络（Faster Region Convolutional Neural Network,Faster R-CNN）算法以快速识别病害种类、位置与面积;针对已提取的带边框裂缝病害区域,采用基于VGG16迁移学习与模型微调的CNN与50%重叠率的滑动窗口定位裂缝骨架,进而利用形态法操作提取裂缝形态,计算其长度与宽度;针对Faster R-CNN算法在病害种类识别时漏检率低但误检率偏高的问题,引入精确率、召回率和F₁分数指标对算法进行评估,并根据F₁分数最大值确定相应的病害框像素面积及置信度阈值来降低误检率,以适应路面表观病害多样化的应用场景。运用开发的病害识别算法对广东一高速公路路面进行表观检测。结果表明：所提方法对典型裂缝图片的识别效率及精度均高于单独应用CNN滑动窗口和传统形态法的全局图像处理方法;对分段的裂缝边界框进行合并,且病害框像素面积及置信度阈值取优化值后,横向裂缝精确率由合并前的0.861提升至合并后的0.918,横向及纵向裂缝误检率则分别由调整前的20.4%和23.8%下降至调整后的8.2%和6.9%,漏检率则稍有提高。基于Faster R-CNN、CNN及形态法的路面病害识别方法具有工作高效、漏检率低的优点,在引入评估指标、最优病害框像素面积与置信度阈值后,病害误检率也大幅降低,具有潜在工程应用价值。     

基于无人机的悬索桥主缆自动巡检及小样本表观病害识别

为了实现悬索桥主缆的自动化、智能化检查,开展了基于无人机的主缆巡检路径规划和小样本数据下的主缆病害识别研究。首先,利用无人机倾斜摄影测量技术快速建立悬索桥的三维模型,提出主缆无人机自动巡检路径的规划方法;然后,采用Faster RCNN网络模型识别主缆图像中的表观病害;最后,采用基于图像融合的数据增强方法,提高小样本数据集下目标检测的准确率。在Faster RCNN网络模型训练过程中,随着训练轮次的增加,测试集中裂纹、锈蚀和划痕3类病害的平均精确率得到提升,并在第15个训练轮次后逐渐稳定,在经过100个训练轮次后,测试集中所有类别的平均精确率为0.723。以小龙湾桥为研究对象,进行了主缆的现场检查试验。研究结果表明：基于悬索桥三维模型进行主缆无人机自动巡检路径规划具有实际可行性;基于Faster RCNN网络模型能较准确地识别主缆的裂纹、锈蚀和划痕病害;利用图像融合方法生成病害数据能有效克服数据样本少的问题,并提高识别的准确性。     

基于改进掩码-区域卷积神经网络的混凝土病害实例分割

为对混凝土病害图像进行更精确的实例分割，提出改进掩码-区域卷积神经网络(Mask Region Convolution Neural Network, Mask-RCNN)。该网络采用轻量级的可移动网络(MobileNetV2)代替原始Mask-RCNN中卷积层过大的主干网络——残差网络(ResNet101),加入路径聚合网络(PANet),以提高Mask-RCNN提取浅层特征信息的能力。为验证改进Mask-RCNN的识别精度及其在实际工程中的可行性，首先构建多类混凝土病害图像数据集，利用K-means聚类算法确定最适合该数据集的先验边界框的长宽比，然后对比改进Mask-RCNN与原始Mask-RCNN、其它主流深度学习网络对混凝土五类病害(裂缝、露筋、剥落、白皙和空洞)的识别结果；最后利用无人机采集到的钢筋混凝土桥梁病害图像作为测试集进行测试。结果表明：改进Mask-RCNN在提高计算速度的同时能更准确地定位病害，减少了误检和漏检，识别精度高于原始Mask-RCNN及其它深度学习网络；改进Mask-RCNN可以识别无人机拍摄的未经训练的新的混凝土病害图像，识别精度满足实际工程需求。     

考虑低光照场景的自适应路面病害检测模型

为提升低光照环境下路面病害识别模型的精确度与鲁棒性，提出了一种考虑低光照场景的自适应路面病害检测模型。将采集的数据按照亮度分成低光照图像和正常光照图像2类，随后对低光照图像进行自适应增强，并接入路面病害检测流程。为解决现有光照增强图像失真的问题，在Zero-DCE++基准模型上引入光照约束网络，提出了光照增强模块Zero-DCE-Retinex。在此基础上，以提升路面病害检测精度为核心需求，提出了以病害识别模型为驱动的光照增强模块训练策略。具体的，在训练过程中，将病害识别模型嵌入光照增强模块，并通过损失函数来引导光照增强模块的训练。试验结果表明：当使用所提模型对低光照图像进行增强后，再经过YOLOv7模型进行检测，比直接输入低光照图像的方式，AP指标提升了7.04%,F1-score指标提升了11.22%;图像质量亦得到进一步改善，表现在图像信息熵、标准差和平均梯度的提升分别为0.62、13.24和21.61。与同类无监督光照模型相比，所提模型在目标检测任务的AP和F1-score提升方面显著优于其他模型，同时有效避免了增强结果出现色彩失真和过度曝光等问题。因此，提出的模型可广泛适用于...     

基于Crack Mask R-CNN模型的路面裂缝像素级分割及测量算法应用分析

针对现有路面裂缝分割存在的问题,该文提出一种Crack Mask R-CNN像素级分割算法。Crack Mask R-CNN是一种用于路面裂缝图像的实例分割框架,其不仅可对图像中的裂缝进行检测,还可以对每一个裂缝的具体轮廓给出一个高质量的分割结果。首先对采集的道路裂缝大数据进行数据去噪和数据增强,构建用于模型训练、测试的数据集;其次,通过优化分割算法中锚框的比例和大小提高模型选择裂缝候选区域的准确度,并使用IoU-guided非极大值抑制（Non-Maximum Suppression,NMS）算法替代传统算法,以此提高道路裂缝分割精度。在模型学习超参数优化方面,通过训练多种组合算例,从中选择分割效果最优的超参数组合,最终训练出裂缝分割精度为93.45%的分割模型;最后,通过提取裂缝区域的拓扑特征信息,进一步实现裂缝像素级别尺寸信息的有效测量。     

基于深度学习的车辆检测及车型识别研究

正当前,在新一代信息技术引领下,数据快速积累、运算能力持续提升、算法模型不断优化、多场景应用快速兴起,人工智能发展环境发生了深刻变化。车辆检测及车型识别作为深度学习目标检测领域在智能交通的重要应用,也是近年来国内外学者的研究热点。本文针对已有的车辆检测方法缺乏车型识别问题,利用深度学习图像识别技术,提出了基于Faster R-CNN的车辆检测及车型识别方法。通过将Faster R-CNN深度学习模型应用     

斜拉索表观检测机器人的开发

斜拉索的受力性能与耐久性直接关系到斜拉桥的结构安全。由于长期暴露在各种环境因素中,斜拉索极易出现表面开裂,内部钢丝锈蚀等病害。因此,定期对其进行检测显得尤为重要。现依据象山港大桥和清水浦大桥,针对斜拉索出现的典型病害特征与检测要求,开发了一种斜拉索表观检测机器人。该机器人具备了小型化、快速自爬行、高质量图像采集、缺陷自动化识别等优点。     

基于图像的路面病害检测方法研究

随着国家道路网规模不断扩大,为了能高效地对路面病害进行监测与防治,重点研究了道路病害图像处理的关键技术。通过图像预处理、病害检测、形态学操作、病害定位和分类以及结果输出实现路面病害的自动识别,对比分析了各种边缘检测算法后提出了将OTSU算法求得的自适应阈值作为高阈值输入到Canny算法中的协同操作方法。基于多组实例对比分析了各边缘检测算法的病害类型及几何特征识别准确率,结果表明OTSU+Canny协同操作具有较高的适用性,当将OTSU算法得出的阈值作为高阈值,并将该值的1/3~1/2作为低阈值输入到Canny算法中时,能够比传统边缘检测算法提高病害检测准确性10%左右,使得基于图像的路面病害检测方案的实用性进一步提升。     

基于改进YOLOv5的雾霾环境下船舶红外图像检测算法

从监控图像中准确检测船舶对于港区水域船舶交通智能监管具有重要意义。为解决雾霾条件下传统YOLOv5目标检测算法对船舶红外图像检测准确率低、小目标特征提取能力弱等问题，提出了基于Swin Transformer的改进YOLOv5船舶红外图像检测算法。为扩大原始数据集的多样性，综合考虑船舶红外图像轮廓特征模糊、对比度低、抗云雾干扰能力强等特点，改进算法提出基于大气散射模型的数据集增强方法；为增强特征提取过程中全局特征的关注能力，改进算法的主干网络采用Swin Transformer提取船舶红外图像特征，并通过滑动窗口多头自注意力机制扩大窗口视野范围；为增强网络对密集小目标空间特征提取能力，通过改进多尺度特征融合网络（PANet），引入底层特征采样模块和坐标注意力机制（CA），在注意力中捕捉小目标船舶的位置、方向和跨通道信息，实现小目标的精确定位；为降低漏检率和误检率，采用完全交并比损失函数（CIoU）计算原始边界框的坐标预测损失，结合非极大抑制算法（NMS）判断并筛选候选框多次循环结构，提高目标检测结果的可靠性。实验结果表明:在一定浓度的雾霾环境下，改进算法的平均识别精度为93.73%，平均召回率为98.10%，平均检测速率为每秒38.6帧；与RetinaNet、Faster R-CNN、YOLOv3 SPP、YOLOv4、YOLOv5和YOLOv6-N算法相比，其平均识别精度分别提升了13.90%、11.53%、8.41%、7.21%、6.20%和3.44%，平均召回率分别提升了11.81%、9.67%、6.29%、5.53%、4.87%和2.39%。综上，所提的Swin-YOLOv5s改进算法对不同大小的船舶目标识别均具备较强的泛化能力，并具有较高的检测精度，有助于提升港区水域船舶的监管能力。      

公路桥梁智能检测技术研究进展

为促进公路桥梁智能检测技术的发展，系统梳理了桥梁智能检测装备、智能检测方法、智能损伤识别算法、智能安全评价及养护决策的发展现状与趋势。综合分析表明：随着桥梁智能检测技术的发展，针对桥梁检测环境和构件特点，出现了包括无人机、移动机器人、环形爬升机器人、多功能检测机器人、爬索机器人、水下机器人、声呐探测装置等多种类型的智能检测装备。智能检测装备大多采用搭载的图像采集装置进行病害信息收集，其避障及抗环境干扰能力和图像采集精度是设备性能表征的关键；在智能检测方法领域，图像采集技术、激光点云扫描技术、全息摄影技术发展日趋成熟，探地雷达、干涉合成孔径雷达及声呐探测技术可作为桥梁基础及冲刷深度检测的有效手段；但以光纤传感、热成像技术、声发射技术、超声波检测、电磁传感为特征的桥梁检测新技术，其抗环境干扰的能力还有待提升，需要进一步的工程验证。随着桥梁智能装备能力的提升、智能检测技术的发展，不同类型海量数据的涌现，传统的从病害、构件、部件到结构的分层综合安全评价算法已不能适应，采用数字孪生技术进行结构状况的实时再现与评价，以多源数据融合技术进行区域级、路网级桥梁服役性能及抗灾韧性评价是桥梁智能检测与安全评估的主要发展方向。     

基于无人机和迁移学习的涵洞图像识别及GPS定位

为提高涵洞淤堵病害的检测效率，研究了基于无人机采集病害视频、图像资料和迁移学习的卷积神经网络(人工智能)算法对涵洞图像进行分类。将涵洞状况分为：淤堵、部分淤堵和正常3个类别。并把在ImageNet图像数据集上预训练过的人工智能算法(如ResNet-18网络模型)应用至涵洞图像中，以此提高人工智能算法的准确性。结果表明：使用ResNet-18对涵洞分类识别准确率可达到93%,实现了对涵洞状况的有效分类。此外，还提出了一种通过MATLAB调用涵洞状况图像GPS信息得到地理位置定位的方法，帮助二次检测或后期维护人员快速达到病害现场，进行相关的监测维护工作。     

日本钢桥高强度螺栓病害处治与新型螺栓研究

高强度螺栓连接是日本钢结构桥梁常用的连接形式,对日本钢桥用高强度螺栓病害处治措施及新型螺栓研发应用进行介绍。结合日本2座钢结构桥梁工程实例,对高强度螺栓断裂、掉落和索夹螺栓轴力减小等病害原因进行分析,为确保桥梁安全运营,对全部螺栓进行了补拧与更换。针对螺栓生锈、腐蚀,开发了新型防腐涂层材料SZ工法,该工法选择锌作为高强度螺栓表面的牺牲防腐保护膜,试验及应用结果表明防腐效果较好。延迟断裂是高强度螺栓常见病害,研发了耐延迟断裂优质钢及螺栓,改善耐氢脆化特性,并在此基础上研发了超高强度高可靠性(FS)螺栓,室外暴露试验证明,FS螺栓具有优越的耐延迟破坏性能。针对钢桥面板连接接头处凹凸不平现象,开发了高强度沉头螺栓,并在实际工程中应用。     

钢结构工程高强度螺栓微小松动视觉检测方法研究

基于计算机视觉的螺栓松动检测方法中,一类是通过对连接节点图像进行透视矫正并分析螺栓轮廓边缘直线角度的变化以及时发现微小的松动缺陷。然而,目前这类方法在图像矫正和螺栓轮廓边缘检测的可靠性方面还有较大的改进空间。为此,针对钢结构螺栓连接节点,提出了基于深度学习的螺栓松动视觉检测方法。首先,基于YOLOv5检测螺栓目标。针对螺栓感兴趣区域(RoI),基于鲁棒性较高的Attention U-Net提取螺栓轮廓边缘直线。为了提高螺栓目标检测精度,目标检测模型应设定较低置信度阈值以保证目标无漏检,再通过螺栓RoI提取的边缘直线数量筛除伪螺栓。使用透视变换法对节点图像进行矫正,变换所需的参考点是根据螺栓检测框之间空间移动后的相交关系自动定位的。最后,根据矫正图像中的螺栓轮廓边缘直线计算螺栓角度,通过检测螺栓和基准螺栓之间的角度差异判断松动情况。研究结果表明：螺栓目标检测的AP值为0.97;螺栓轮廓边缘检测的准确率、召回率和F1的均值分别为0.846、0.807与0.825,且在多种复杂背景干扰下具有较高的鲁棒性;伪螺栓筛除法可过滤掉99.82%的伪螺栓目标;提出的图像矫正法适用于常见的多种螺栓排列形...     

基于卷积神经网络的路表病害识别与测量

为进一步提高利用二维图像统计路面病害的精度与效率,将卷积神经网络（Convolutional Neural Network,CNN）技术引入了基于图像分析的路面病害识别与测量。首先,将原始图像进行等尺寸分割作为CNN的训练样本。其次,经结构设计、前反馈算法训练及样本测试3个步骤后,建立病害识别模型（CNN1）。用训练完成的CNN1对所有图像进行病害类型识别并将输出结果作为裂缝特征提取模型（CNN2）和坑槽特征提取模型（CNN3）的训练样本。采用相同步骤建立裂缝特征提取和坑槽特征提取模型,完成训练后,运行CNN2,CNN3对路面裂缝与坑槽图像进行特征提取。最后,分析图像分辨率对3个CNN识别和特征提取精度以及效率的影响。结果表明：CNN1可以准确识别多种病害,CNN2的裂缝长度提取的平均误差为4.27%,宽度提取的平均误差为9.37%,裂缝病害严重等级判断准确率为98.99%;CNN3的单张图像中的坑槽个数测量无误差,单个坑槽面积的平均误差为13.43%,坑槽病害等级判定准确率为95.32%,可见CNN具有较高的测量精度;CNN1在使用CPU的情况下测试完成原始图像平均用时为704 ms·幅^-1,CNN2用时为5 376 ms·幅^-1,采用图形处理器加速后CNN1用时为192 ms·幅^-1,CNN2测试平均用时为1 024 ms·幅^-1,可见CNN在图形处理器加速下效率具有显著优势,相比其他方法,在图像分辨率高于70像素时,CNN对路面裂缝与坑槽的识别与测量具有运算高效、结果精准等优势。     

基于YOLOX-Resnet50模型的路面病害识别方法的应用与验证

为降低路面病害检测的人工和时间成本,提高检测效率,文章基于采集的G320国道某路段的病害数据,运用改进的YOLOX-Resnet50模型对路面病害进行智能识别,通过两轮训练（其中第二轮是在第一轮数据集的基础上优选数据集）,以评估该模型的性能,探究YOLOX-Resnet50模型在路面病害检测方面的适用性。研究表明：YOLOX-Resnet50模型在路面检测中对病害检测准确度分别为车辙75%、标线67%、修补67%、纵向裂缝50%、横向裂缝40%、网裂24%,平均准确度达到了53.8%。该模型能初步替代人工对病害进行筛选,可有效减少人工及时间成本。