基于Crack Mask R-CNN模型的路面裂缝像素级分割及测量算法应用分析

针对现有路面裂缝分割存在的问题,该文提出一种Crack Mask R-CNN像素级分割算法。Crack Mask R-CNN是一种用于路面裂缝图像的实例分割框架,其不仅可对图像中的裂缝进行检测,还可以对每一个裂缝的具体轮廓给出一个高质量的分割结果。首先对采集的道路裂缝大数据进行数据去噪和数据增强,构建用于模型训练、测试的数据集;其次,通过优化分割算法中锚框的比例和大小提高模型选择裂缝候选区域的准确度,并使用IoU-guided非极大值抑制（Non-Maximum Suppression,NMS）算法替代传统算法,以此提高道路裂缝分割精度。在模型学习超参数优化方面,通过训练多种组合算例,从中选择分割效果最优的超参数组合,最终训练出裂缝分割精度为93.45%的分割模型;最后,通过提取裂缝区域的拓扑特征信息,进一步实现裂缝像素级别尺寸信息的有效测量。     

基于残差神经网络的沥青路面裂缝识别分类研究

为提高沥青路面裂缝的识别精度与速度,提出一种基于残差神经网络的沥青路面裂缝自动识别算法。首先建立沥青路面图像集,使用数据清洗算法对综合检测车采集到的裂缝图像进行数据清洗,构建沥青路面裂缝图像样本数据集,并将图像集按8∶2的比例划分为训练集和测试集;接着采用残差神经网络ResNet50对清洗后的数据进行训练,得到网络权重后使用训练好的网络对沥青路面裂缝数据进行预测,评价网络准确性。试验结果表明:沥青路面图像清洗算法的准确率为95%,能良好地实现沥青路面原始图像的清洗;裂缝图像分类的平均准确率达到94%,其中横向裂缝、纵向裂缝、龟裂、块状裂缝的识别准确率分别为96.1%、94.6%、93.6%和94.1%。     

路面裂缝图像自动识别算法综述

路面裂缝自动检测对于路面养护管理、路面性能评价与预测、路面材料和结构设计具有重要的实用价值,但快速、准确、全面且稳定地识别路面裂缝一直是个难题.为此,对路面裂缝自动检测研究现状进行综述,包括以图像增强和去噪为目的的预处理方法,基于阈值分割、边缘检测和种子生长的空间域识别算法,以小波变换为代表的频域识别算法,基于有监督学习的识别算法及其他裂缝识别方法;指出既有裂缝识别算法存在易受光照和油污等因素的影响、裂缝识别图像连续性差和识别速度和精度较低等不足.最后,提出综合考虑边界和区域特征消除纹理和噪声干扰、基于局部和全局信息设计优化识别算法和基于三维图像进行裂缝识别等研究展望,为裂缝自动识别算法的改进提供参考.     

基于曲率相似性的路面连续纵长裂缝匹配方法

车载相机拍摄得到的路面裂缝形状分布随机,且由于视场角有限每次只能拍摄到道路上纵向长裂缝的一部分,导致纵长裂缝检测不完整。利用逆透视变换方法将车载相机采集的道路前方倾斜图像转化成正射图像,以去除纵长裂缝图像的透视变形;采用深度学习中的语义分割网络Deeplab V3+实现裂缝像素的提取;在此基础上,提出基于曲率相似性的由粗到精的两阶段路面连续纵长裂缝匹配方法。将待匹配的裂缝曲线分割为一连串相互重叠的子曲线序列,相互匹配的子曲线即为裂缝曲线相匹配的部分;利用曲率将子曲线局部形状与走势的特征表达为描述符,使用Kd-tree最邻近匹配算法对曲线描述符进行快速粗匹配。根据连续2张道路图像中纵长裂缝在空间位置分布上延续的特征,在裂缝曲线分割成子曲线时添加约束条件,前1张图像中裂缝曲线的起点和后1张图像中裂缝曲线的终点分别作为各自子曲线的1个端点;在粗匹配结果的基础上,逐步缩小分割曲线的间隔,迭代提高子曲线描述符间的归一化互相关系数,直至其大于等于阈值或者迭代次数超出最大迭代次数,实现对粗匹配结果的精调整。为验证算法精度,以武汉大学校园内路面不同类型的连续纵长裂缝为对象开展实验,匹配结果误差最小为0.688像素,精调整的误差比粗匹配平均减小24.19%。为进一步验证噪声下干扰的稳定性,仿真环境下增加了裂纹像素噪声;当高斯噪声的标准差从0增大到2像素时,匹配结果误差仅增大了1.083像素。将所提方法与SIFT算法进行对比,10组实验中,所提方法都能匹配成功;而SIFT算法在其中2组实验中匹配结果完全错误,表明所提算法有较好稳定性。     

基于深度学习的土木基础设施裂缝检测综述

基于深度学习的裂缝检测对于降低基础设施运营风险、节约运维成本并推进中国土木工程行业智能化转型具有重要意义。算法、数据集和评价指标是构建深度学习裂缝检测模型的关键要素；裂缝检测模型集成于机器人平台，从而实现对土木基础设施的全自动裂缝检测。为此，从以上4个方面对当前研究进行了系统梳理。首先，回顾了深度学习的发展历程，重点介绍了深度卷积神经网络在计算机视觉领域的应用及其在图像处理方面较传统算法所具有的显著优势。接着，详细介绍了3类基于深度学习的裂缝检测主流算法，包括分类算法、目标检测算法和语义分割算法。然后，对现有裂缝图像数据集以及模型性能评价指标进行了归纳。最后，总结了土木基础设施的各类裂缝检测机器人平台。综合分析表明：基于卷积神经网络主干结构的深度学习算法已被广泛用于土木基础设施表面裂缝的精准定位与分类，而裂缝的尺寸信息仍需依靠传统图像处理技术进行提取；由于像素级标注的成本和专业性高，大型的裂缝语义分割数据集相对缺乏，致使当前基于语义分割算法的裂缝检测模型鲁棒性较差；目前多数研究人员采用个人建立的裂缝数据集进行模型训练且采用不同的指标进行模型性能评价，缺乏统一的基准测试数据集和评价指标体系，无法对不同模型的性能进行平行比较；目前针对不同基础设施已相应开发了一些裂缝检测机器人，提高裂缝检测机器人的多场景适应性，并降低其应用成本是未来的发展方向。     

基于t分布混合模型改进的路面裂缝图像分割方法

为提高路面裂缝图像分割的准确性与鲁棒性,以学生t分布混合模型(Students t-distribution Mixture Model,TMM)代替传统高斯混合模型(Gaussian Mixture Model,GMM),提出一种基于学生t分布混合模型的路面裂缝图像分割方法。所提出方法首先利用K-Means算法来进行初次图像分割。为克服K-Means算法的缺点,以烟花算法(Fireworks Algorithm,FA)运行结果作为K-Means算法初始聚类中心。然后,运行K-Means算法进行初次分割,以此结果作为TMM参数求解的初始值,执行最大期望算法(Expectation-Maximization algorithm,EM),通过交替运行E步和M步,获得模型最终参数值,借助于贝叶斯公式,完成最终图像分割。最后,通过仿真图像和实际图像验证,结果表明该方法分割精度更高、稳定性更好。     

基于机器视觉的路面裂缝病害多目标识别研究

为了建立一种基于深度学习卷积神经网络的多目标路面裂缝检测模型,实现对路面裂缝的精确识别、分割与统计,采用卷积神经网络Mask R-CNN为主干框架,融入ResNet模型与特征金字塔网络(FPN)提高对病害特征提取的精度,建立了针对裂缝病害识别的基础网络体系;考虑裂缝病害图像特征,采用随机梯度下降算法与冲量算法优化损失函...     

路面裂缝图像处理算法研究

为了避免传统人工视觉裂缝检测方法的耗力、耗时、不精确、影响交通、危险、花费高等缺点,提出了一种新的基于图像处理技术的路面裂缝类病害自动识别算法。识别分为两个步骤:首先以一个5×5的窗口为基准,在这个窗口中确定9种不同的掩膜模板,对有噪音的路面图像进行平滑和增强;然后基于阈值分割理论,采用最大类间、类内距离准则对图像进行阈值分割,提取图像上的裂缝特征。最后对采集的200幅路面裂缝图像进行了平滑和分割试验研究,和Robison等常用的平滑模板相比,对图像进行增强的同时较好地保护了裂缝边缘。在对平滑后的图像进行分割当中,和Hough变换、数学形态学等分割算法进行了对比研究,结果表明了该算法在精度、速度和可靠性方面具有一定的优势。     

雾霾天气下的桥梁裂缝检测

随着空气湿度增加及雾霾加剧,能见度降低,晴朗天气下传统的桥梁裂缝检测已不能满足不良天气检测的需要.针对此问题,提出一种新的桥梁裂缝检测方法,将暗通道先验去雾算法和图像处理裂缝检测相结合.在能见度下降的情况下,对待检裂缝图片进行暗通道去雾处理,获取去雾后的图像.接下来进行裂缝检测,通过灰度化,均值滤波对图像预处理,边缘检测和图像分割,使用连通分量提取获取裂缝特征,再通过计算裂缝的分布密度来判断裂缝类型.使用200张桥梁裂缝图片进行检验,实验结果表明,该算法识别横向、纵向、网状裂缝的准确度可以达到93. 3%,90%,87. 5%,具有良好的识别能力,弥补了传统算法的局限性,桥检适用范围得到了推广.     

远距离混凝土桥梁结构表面裂缝精确提取算法

在分析桥梁结构表面裂缝图像特征基础上,结合改进Snake主动轮廓模型图像分割算法,融合距离传感器信息,提出一种综合高分辨率图像采集、裂缝敏感区域截取、孤立噪声去除、裂缝旋转和标记的裂缝提取算法,实现了交互式远距离混凝土桥梁结构表面裂缝的精确提取。分析结果表明:改进Snake主动轮廓模型图像分割算法误分率为3.89%,运算时间为153ms,试验对比裂缝宽度显微镜观测值,裂缝提取绝对误差小于0.05mm,该算法可满足工程检测需求。     

基于改进U型神经网络的路面裂缝检测方法

针对传统的裂缝分割算法难以识别狭窄裂缝且分割边缘不精准,从而造成识别精度较低的问题,研究了基于改进U型神经网络（Unet）的路面裂缝检测方法。由于传统Unet特征提取网络是层次较浅的浅层神经网络,难以提取更复杂的裂缝特征信息,故本文以牛津大学视觉几何组网络（VGG16）作为传统Unet的特征提取网络,提高网络的裂缝特征提取能力;为抑制高低阶特征融合时产生的无用特征,本文在模型解码部分添加压缩与激励单元（SE block）,构建裂缝注意力单元,使得网络可以关注不同通道下的裂缝特征,建立了基于SE block和VGG16的改进Unet网络（SE-VUnet）。研究采用迁移学习的方法,将在ImageNet上预训练好的VGG16网络权重迁移到裂缝检测中。通过挑选Crack500数据集,并使用摄像头采集图片构建1 600张路面裂缝数据集,再次训练SE-VUnet模型,获得裂缝区域分割结果。以查准率（precision）与查全率（recall）的加权调和平均值F1和雅卡尔（Jaccard）相似系数作为量化评价指标。将SE-VUnet分别与Unet、SOLO v2、Mask R-CNN以及Deeplabv3+进行分割效果和实时性对比。研究结果表明：SE-VUnet模型的综合F1和雅卡尔系数分别为0.840 3和0.722 1,相比于Unet分别高出了1.04%和1.51%,且均高于其他3种对比模型;SE-VUnet的单帧图片预测时间为89 ms,在分割效果提升明显的情况下仅比Unet慢5 ms,优于其他模型。     

桥梁裂缝智能识别与监测方法研究

当前,裂缝识别与监测一直是桥梁结构健康监测的重要研究内容。在桥梁结构现场检测与监测中,传统的裂缝识别与监测技术尚不足以满足实际工程的时效性和精确性需求,尤其是裂缝监测技术。基于深度学习的裂缝图像识别极大提升了裂缝检测的效率和精度,但目前仅能获得特定时刻的裂缝信息,缺乏对裂缝产生和演化过程的监测能力,而这些信息对混凝土结构服役安全量化和科学评价具有重要意义。鉴于此,对基于深度学习的裂缝识别与监测方法进行了系统研究,分析和讨论了裂缝数据集构建基准,改进优化了裂缝目标检测和语义分割算法,提出一种多任务集成一体化实时识别算法,并建立了该模型推理效果评价方法,优化了裂缝参数计算方法,最终形成了裂缝识别及动态扩展自动化实时监测方法。结果表明：所提出的裂缝智能识别与监测方法可以对新裂缝的产生和既有裂缝的全局演化实现良好追踪,监测数据可以为桥梁结构当前服役性能的科学量化评估提供支撑。     

基于三维点云数据的沥青路面裂缝识别方法

针对沥青路面二维裂缝图像识别精度较低的问题,文中借助三维激光扫描技术,利用三维点云数据所提取的裂缝特征验证二维图像裂缝特征的准确性,同时将提取的三维点云数据裂缝指标用于深度学习的准确率提升,以此提高裂缝图像的识别准确率。首先将获取的高精度二维图像进行图像增加、去噪、分割、特征提取等,然后通过对路表三维点云数据进行分类、滤波、融合,重建沥青路面路表三维形态模型,实现沥青路面裂缝的高效高精度识别与裂缝特征参数提取,利用密集卷积神经网络(DenseNet)的裂缝图像识别算法对200张验证图像进行测试。结果表明,通过利用三维点云数据对二维图像进行辅助判别的方法,可大幅提高裂缝图像的识别准确率,具有良好的普适性。     

高速公路路面裂缝识别算法研究

经过研究给出了不均匀光照的路面裂缝图像识别的详细算法。算法采用多窗口中值滤波进行图像平滑,既能去除图像的噪声点,又较好地保留了裂缝的边缘信息;使用背景子集图像插值校正法进行灰度校正,有效地克服了不均匀成像对后期图像分割的影响;采用otsu阈值分割、形态学去噪及连通区域标记完成裂缝图像分割;选用连通区域个数、投影特征和分布密度3个参数完成裂缝分类;最后提取裂缝长度、宽度和破损面积等裂缝参数。实验结果显示分类准确率为94%,线状裂缝长度误差均值为7.2%,宽度误差均值为11.3%,非线状裂缝的面积误差均值为9.6%,表明这一方法有效、可靠。      

基于YOLOv5和DeepLabv3+的桥梁结构病害智能识别技术

传统以人工为主的桥梁表观病害识别方式存在着效率低下、风险高等问题，已不能满足当今桥梁检测任务的要求。针对上述问题，本研究结合目标检测与语义分割技术，提出了一套桥梁表观病害智能识别算法，完成了桥梁病害的智能识别与尺寸计算任务。研究中通过多种手段收集桥梁病害图像，构建桥梁表观病害目标检测数据集和语义分割数据集；训练了YOLOv5病害识别及定位网络和DeepLabv3+病害区域提取网络；对病害区域提取结果进行噪点去除、毛刺剔除、裂缝体分解等预处理后，采用邻域划分和正交骨架实现了病害长、宽尺寸的计算，并在桥梁实拍病害图像上进行了算法测试。本研究开发的病害识别技术实现了桥梁表观病害高效率、高精度的自动识别和尺寸计算，提升了桥梁检测的工作效率和安全性。     

基于改进距离正则化水平集的钢轨表面缺陷提取方法

针对现有钢轨表面缺陷检测方法复杂度过高且精确率较低,提出基于Sigmoid对比度拉伸的距离正则化水平集算法.通过对数变换和均值操作对钢轨图像进行预处理;根据钢轨表面图像梯度变化,以Sigmoid对比度拉伸方法替换距离正则化水平集中的停止函数;根据初始轮廓曲线演化方向的特点,通过新的自适应速度函数替换距离正则化水平集中的演化速度常量;以曲线演化的最终轮廓提取缺陷区域.仿真实验显示,新算法在钢轨表面缺陷数据集中的精确率为99.07%,豪斯多夫距离平均值为6.64,检测缺陷用时为16.46 s.与DRLSE、DCNNs和CTFM算法相比,改进的距离正则化水平集算法提升了检测的精确率和检测速度,对噪声具有一定的鲁棒性并适用小范围缺陷检测.     

数学形态学路面裂缝识别算法研究

裂缝的自动识别是公路管理和维护系统的一个重要组成部分。根据路面图像的特点,提出了一个新的基于多结构多尺度数学形态学路面裂缝自动识别算法。首先使用不断增大的结构元素对图像进行交替开闭滤波,平滑图像并去除噪音,然后使用多尺度形态学边缘检测器提取裂缝边缘,最后使用基于标记符的分水岭变换分割出裂缝对象。结果表明,和传统方法相比,文中提出的算法显示出更好的效果。     

基于无人机及Mask R-CNN的桥梁结构裂缝智能识别

桥梁结构表面裂缝检测为桥梁状态识别、病害治理、安全评估提供了重要状态信息和决策依据。为解决传统人工检测方法存在的危险性高、影响交通、费用昂贵等问题,提出基于无人机（Unmanned Aerial Vehicle,UAV）及深度学习的桥梁结构裂缝智能识别方法。采用大疆M210-RTK多旋翼无人机进行贴近航摄,获取桥梁结构混凝土表面高清图像;利用SDNET裂缝数据集等图像资源,制作1 133张标记裂缝精确区域的深度学习训练样本图像库;引入掩膜区域卷积神经网络（Mask R-CNN）深度学习算法,训练和建立Mask R-CNN裂缝识别模型;基于Mask R-CNN裂缝识别模型,采用矩形滑动窗口模式扫描混凝土表面高清图像,实现裂缝自动识别和定位。构建包含图像二值化、连通域去噪、边缘检测、裂缝骨架化、裂缝宽度计算等流程的图像后处理方法,实现裂缝形态及宽度信息自动获取。通过精度验证试验,证实采用M210-RTK无人机+ZENMUSE X5S相机+45 mm奥林巴斯镜头的组合装备,当无人机至桥梁结构表面垂直距离为10.0 m时,无人机方法识别的裂缝宽度与裂缝测量仪结果吻合,其绝对误差小于0.097 mm,相对误差小于9.8%。将该无人机裂缝检测方法应用于高136.8 m长沙市洪山大桥桥塔表面裂缝检测,采用深度学习Mask R-CNN算法进行裂缝智能识别,其裂缝识别准确率和召回率分别达到92.5%和92.5%。研究结果表明：无人机桥梁裂缝检测方法可实现高耸桥梁结构表面裂缝的远程、非接触、自动化检测,具有重要的科学研究和工程应用价值。     

基于双层连通性检测的路面裂缝图像识别算法

针对路面裂缝图像识别结果容易存在孤立噪声和断续边缘的情况,提出了基于像素-裂缝子块双层连通性检测的图像自动识别算法,主要有4个部分:(1)基于自适应灰度拉伸的图像增强算法;(2)基于自适应大津法和八方向Sobel梯度信息的组合分割算法;(3)基于连通性检测的二值图像去噪算法;(4) 32×32裂缝子块识别和优化连接算法.然后,对5张3056×2048的路面破损图片进行裂缝识别,结果显示,该算法从像素和裂缝子块这2个层次进行连通性增强处理,可获得完整而连续的裂缝图像.最后,针对10张512×512的路面破损图片,对全局OTSU分割、八方向Sobel检测、Canny检测和本文算法进行测试,各算法综合性能指标F1值依次为62.46％、23.84％、10.45％和88.30％,准确率依次为83.45％,27.82％,17.83％和86.60％,召回率依次为56.89％,21.83％,8.89％和90.68％,体现了本文算法的优越性.     

基于深度学习语义分割的桥梁病害图像像素级识别方法

为了解决如何从背景中把感兴趣的桥梁病害区域以像素级精度识别出来的问题,本文针对混凝土裂缝、钢材锈蚀、表面涂层脱落、混凝土掉块4种桥梁局部病害形式,提出了一种基于深度学习语义分割的桥梁病害图像像素级识别方法,通过构建由一系列功能层组成的深度卷积神经网络(包括卷积层、批归一化层、非线性激活层、最大池化层、反卷积层、全连接层、softmax分类层等),实现像素级的病害区域识别。以考虑不平衡数据处理的像素级交叉熵分类损失为模型训练的损失函数,同时采用数据增强方法,对输入输出图像随机采用逆时针旋转90°、180°、270°、水平翻转、竖直翻转的形式来提高模型的泛化能力。将400张原始病害图像和其像素级分割真实值分别作为输入和输出,80%进行训练,剩余20%作为测试集。随着训练过程的进行,损失不断下降,准确率逐渐上升,最终经过100轮次训练(每轮的批次大小为32),准确率提升至94. 96%。测试结果表明,训练模型基本可以实现对混凝土裂缝、钢材锈蚀、表面涂层脱落、混凝土掉块4种桥梁局部病害区域的像素级识别,其中可以很好地识别出在较简单背景下的混凝土裂缝病害区域,而对于复杂背景下的表面涂层脱落、混凝土掉块、钢材腐蚀耦合发生时的识别结果的准确度则相对降低。可能原因是由于在实际复杂场景下,表面涂层脱落、混凝土掉块具有很大程度上的相似性,并且钢材腐蚀往往伴随着表面涂层脱落、混凝土掉块的发生。