基于机器视觉的路面裂缝病害多目标识别研究

为了建立一种基于深度学习卷积神经网络的多目标路面裂缝检测模型,实现对路面裂缝的精确识别、分割与统计,采用卷积神经网络Mask R-CNN为主干框架,融入ResNet模型与特征金字塔网络(FPN)提高对病害特征提取的精度,建立了针对裂缝病害识别的基础网络体系;考虑裂缝病害图像特征,采用随机梯度下降算法与冲量算法优化损失函...     

基于无人机及Mask R-CNN的桥梁结构裂缝智能识别

桥梁结构表面裂缝检测为桥梁状态识别、病害治理、安全评估提供了重要状态信息和决策依据。为解决传统人工检测方法存在的危险性高、影响交通、费用昂贵等问题,提出基于无人机（Unmanned Aerial Vehicle,UAV）及深度学习的桥梁结构裂缝智能识别方法。采用大疆M210-RTK多旋翼无人机进行贴近航摄,获取桥梁结构混凝土表面高清图像;利用SDNET裂缝数据集等图像资源,制作1 133张标记裂缝精确区域的深度学习训练样本图像库;引入掩膜区域卷积神经网络（Mask R-CNN）深度学习算法,训练和建立Mask R-CNN裂缝识别模型;基于Mask R-CNN裂缝识别模型,采用矩形滑动窗口模式扫描混凝土表面高清图像,实现裂缝自动识别和定位。构建包含图像二值化、连通域去噪、边缘检测、裂缝骨架化、裂缝宽度计算等流程的图像后处理方法,实现裂缝形态及宽度信息自动获取。通过精度验证试验,证实采用M210-RTK无人机+ZENMUSE X5S相机+45 mm奥林巴斯镜头的组合装备,当无人机至桥梁结构表面垂直距离为10.0 m时,无人机方法识别的裂缝宽度与裂缝测量仪结果吻合,其绝对误差小于0.097 mm,相对误差小于9.8%。将该无人机裂缝检测方法应用于高136.8 m长沙市洪山大桥桥塔表面裂缝检测,采用深度学习Mask R-CNN算法进行裂缝智能识别,其裂缝识别准确率和召回率分别达到92.5%和92.5%。研究结果表明：无人机桥梁裂缝检测方法可实现高耸桥梁结构表面裂缝的远程、非接触、自动化检测,具有重要的科学研究和工程应用价值。     

基于改进U型神经网络的路面裂缝检测方法

针对传统的裂缝分割算法难以识别狭窄裂缝且分割边缘不精准，从而造成识别精度较低的问题，研究了基于改进U型神经网络（Unet）的路面裂缝检测方法。由于传统Unet特征提取网络是层次较浅的浅层神经网络，难以提取更复杂的裂缝特征信息，故本文以牛津大学视觉几何组网络（VGG16）作为传统Unet的特征提取网络，提高网络的裂缝特征提取能力；为抑制高低阶特征融合时产生的无用特征，本文在模型解码部分添加压缩与激励单元（SE block），构建裂缝注意力单元，使得网络可以关注不同通道下的裂缝特征，建立了基于SE block和VGG16的改进Unet网络（SE-VUnet）。研究采用迁移学习的方法，将在ImageNet上预训练好的VGG16网络权重迁移到裂缝检测中。通过挑选Crack500数据集，并使用摄像头采集图片构建1 600张路面裂缝数据集，再次训练SE-VUnet模型，获得裂缝区域分割结果。以查准率（precision）与查全率（recall）的加权调和平均值F1和雅卡尔（Jaccard）相似系数作为量化评价指标。将SE-VUnet分别与Unet、SOLO v2、Mask R-CNN以及Deeplabv3+进行分割效果和实时性对比。研究结果表明:SE-VUnet模型的综合F1和雅卡尔系数分别为0.840 3和0.722 1，相比于Unet分别高出了1.04%和1.51%，且均高于其他3种对比模型；SE-VUnet的单帧图片预测时间为89 ms，在分割效果提升明显的情况下仅比Unet慢5 ms，优于其他模型。      

基于语义分割网络模型的路面裂缝识别

沥青路面在使用过程中,很容易因基层的干缩、温缩以及外部的车辆荷载作用发生开裂。随着时间推移,在内、外部应力的不断作用下,这些裂缝的开裂状况会逐渐加深,导致路面使用寿命降低。目前,路面裂缝识别多集中识别图片中是否存在裂缝,并未达到像素级的精度。文中提出利用语义分割网络模型去识别路面裂缝,能够将裂缝图片与对应标签进行逐像素的学习与训练,从而使训练出的网络模型能够识别裂缝的具体区域和形态,实现像素级的识别精度。     

基于t分布混合模型改进的路面裂缝图像分割方法

为提高路面裂缝图像分割的准确性与鲁棒性,以学生t分布混合模型(Students t-distribution Mixture Model,TMM)代替传统高斯混合模型(Gaussian Mixture Model,GMM),提出一种基于学生t分布混合模型的路面裂缝图像分割方法。所提出方法首先利用K-Means算法来进行初次图像分割。为克服K-Means算法的缺点,以烟花算法(Fireworks Algorithm,FA)运行结果作为K-Means算法初始聚类中心。然后,运行K-Means算法进行初次分割,以此结果作为TMM参数求解的初始值,执行最大期望算法(Expectation-Maximization algorithm,EM),通过交替运行E步和M步,获得模型最终参数值,借助于贝叶斯公式,完成最终图像分割。最后,通过仿真图像和实际图像验证,结果表明该方法分割精度更高、稳定性更好。     

基于Faster R-CNN与形态法的路面病害识别

为提高基于图像处理的路面表观病害检测识别效率及精度,引入目标检测中的快速区域卷积神经网络（Faster Region Convolutional Neural Network,Faster R-CNN）算法以快速识别病害种类、位置与面积;针对已提取的带边框裂缝病害区域,采用基于VGG16迁移学习与模型微调的CNN与50%重叠率的滑动窗口定位裂缝骨架,进而利用形态法操作提取裂缝形态,计算其长度与宽度;针对Faster R-CNN算法在病害种类识别时漏检率低但误检率偏高的问题,引入精确率、召回率和F₁分数指标对算法进行评估,并根据F₁分数最大值确定相应的病害框像素面积及置信度阈值来降低误检率,以适应路面表观病害多样化的应用场景。运用开发的病害识别算法对广东一高速公路路面进行表观检测。结果表明：所提方法对典型裂缝图片的识别效率及精度均高于单独应用CNN滑动窗口和传统形态法的全局图像处理方法;对分段的裂缝边界框进行合并,且病害框像素面积及置信度阈值取优化值后,横向裂缝精确率由合并前的0.861提升至合并后的0.918,横向及纵向裂缝误检率则分别由调整前的20.4%和23.8%下降至调整后的8.2%和6.9%,漏检率则稍有提高。基于Faster R-CNN、CNN及形态法的路面病害识别方法具有工作高效、漏检率低的优点,在引入评估指标、最优病害框像素面积与置信度阈值后,病害误检率也大幅降低,具有潜在工程应用价值。     

基于双层连通性检测的路面裂缝图像识别算法

针对路面裂缝图像识别结果容易存在孤立噪声和断续边缘的情况,提出了基于像素-裂缝子块双层连通性检测的图像自动识别算法,主要有4个部分:(1)基于自适应灰度拉伸的图像增强算法;(2)基于自适应大津法和八方向Sobel梯度信息的组合分割算法;(3)基于连通性检测的二值图像去噪算法;(4) 32×32裂缝子块识别和优化连接算法.然后,对5张3056×2048的路面破损图片进行裂缝识别,结果显示,该算法从像素和裂缝子块这2个层次进行连通性增强处理,可获得完整而连续的裂缝图像.最后,针对10张512×512的路面破损图片,对全局OTSU分割、八方向Sobel检测、Canny检测和本文算法进行测试,各算法综合性能指标F1值依次为62.46％、23.84％、10.45％和88.30％,准确率依次为83.45％,27.82％,17.83％和86.60％,召回率依次为56.89％,21.83％,8.89％和90.68％,体现了本文算法的优越性.     

基于曲率相似性的路面连续纵长裂缝匹配方法

车载相机拍摄得到的路面裂缝形状分布随机,且由于视场角有限每次只能拍摄到道路上纵向长裂缝的一部分,导致纵长裂缝检测不完整。利用逆透视变换方法将车载相机采集的道路前方倾斜图像转化成正射图像,以去除纵长裂缝图像的透视变形;采用深度学习中的语义分割网络Deeplab V3+实现裂缝像素的提取;在此基础上,提出基于曲率相似性的由粗到精的两阶段路面连续纵长裂缝匹配方法。将待匹配的裂缝曲线分割为一连串相互重叠的子曲线序列,相互匹配的子曲线即为裂缝曲线相匹配的部分;利用曲率将子曲线局部形状与走势的特征表达为描述符,使用Kd-tree最邻近匹配算法对曲线描述符进行快速粗匹配。根据连续2张道路图像中纵长裂缝在空间位置分布上延续的特征,在裂缝曲线分割成子曲线时添加约束条件,前1张图像中裂缝曲线的起点和后1张图像中裂缝曲线的终点分别作为各自子曲线的1个端点;在粗匹配结果的基础上,逐步缩小分割曲线的间隔,迭代提高子曲线描述符间的归一化互相关系数,直至其大于等于阈值或者迭代次数超出最大迭代次数,实现对粗匹配结果的精调整。为验证算法精度,以武汉大学校园内路面不同类型的连续纵长裂缝为对象开展实验,匹配结果误差最小为0.688像素,精调整的误差比粗匹配平均减小24.19%。为进一步验证噪声下干扰的稳定性,仿真环境下增加了裂纹像素噪声;当高斯噪声的标准差从0增大到2像素时,匹配结果误差仅增大了1.083像素。将所提方法与SIFT算法进行对比,10组实验中,所提方法都能匹配成功;而SIFT算法在其中2组实验中匹配结果完全错误,表明所提算法有较好稳定性。      

基于知识蒸馏的车辆可行驶区域分割算法研究

针对计算量有限的无人驾驶芯片难以部署巨大神经网络的问题,将知识蒸馏算法这一神经网络模型压缩技术应用于图像的语义分割,在BDD100K数据集上对DeepLabV3+图像语义分割模型进行蒸馏训练,然后对车辆可行驶区域进行像素级别的分割,并在实际道路上进行测试。试验结果表明,在不改变网络结构的前提下,分割结果的平均交并比(IOU)提高了约3%。     

路面裂缝图像自动识别算法综述

路面裂缝自动检测对于路面养护管理、路面性能评价与预测、路面材料和结构设计具有重要的实用价值,但快速、准确、全面且稳定地识别路面裂缝一直是个难题.为此,对路面裂缝自动检测研究现状进行综述,包括以图像增强和去噪为目的的预处理方法,基于阈值分割、边缘检测和种子生长的空间域识别算法,以小波变换为代表的频域识别算法,基于有监督学习的识别算法及其他裂缝识别方法;指出既有裂缝识别算法存在易受光照和油污等因素的影响、裂缝识别图像连续性差和识别速度和精度较低等不足.最后,提出综合考虑边界和区域特征消除纹理和噪声干扰、基于局部和全局信息设计优化识别算法和基于三维图像进行裂缝识别等研究展望,为裂缝自动识别算法的改进提供参考.     

高速公路路面裂缝识别算法研究

经过研究给出了不均匀光照的路面裂缝图像识别的详细算法。算法采用多窗口中值滤波进行图像平滑,既能去除图像的噪声点,又较好地保留了裂缝的边缘信息;使用背景子集图像插值校正法进行灰度校正,有效地克服了不均匀成像对后期图像分割的影响;采用otsu阈值分割、形态学去噪及连通区域标记完成裂缝图像分割;选用连通区域个数、投影特征和分布密度3个参数完成裂缝分类;最后提取裂缝长度、宽度和破损面积等裂缝参数。实验结果显示分类准确率为94%,线状裂缝长度误差均值为7.2%,宽度误差均值为11.3%,非线状裂缝的面积误差均值为9.6%,表明这一方法有效、可靠。      

弯曲道路识别方法与目标函数选取的研究

首先对道路图像进行中值滤波、边缘增强和二值化处理获得道路二值图像.将图像等分为5×5像素的子块图像,建立抛物线模型,计算抛物线通过区域各子块灰度均值及子块间灰度方差,并以此作为图像特征构造合理的目标函数,运用蚁群算法优化抛物线参数,识别道路边缘.该目标函数既用于评价拟合程度,又用于决定算法中信息素增量.实验证明该方法具有良好的实时性、可靠性和鲁棒性.     

基于Mask R-CNN网络模型的无人驾驶感知

近几年深度学习技术在图像检测方面的应用取得了极大的突破,利用卷积神经网络模型可高效且准确的识别目标。一种开源网络模型——Mask R-CNN,被用于无人驾驶感知检测,取得了较好的检测效果。为了进一步提高检测精度,提出迁移学习方法重新训练网络,使得网络更适用于无人驾驶领域的感知任务。     

基于小尺度分形维数的裂缝图像分割方法

提出了一种基于小尺度分形维数理论的裂缝图像分割方法。首先使用中值滤波处理,将要处理像素点的某个邻域内的所有像素按照灰度值的大小进行排列,取排列的中值作为该像素点的新值,进而让周围的像素接近真实值,从而消除孤立的噪声点,在保留裂缝信息的基础上能有效去除噪声的影响。其次,根据提出的小尺度分形维数算法,将维数细化到最小值使其图像的细节得到最大的体现。比较传统的分形维数方法,该方法可以使裂缝的不规则性得到更好的体现,能够对裂缝的不规则特征进行分割,可以得到更好的效果。通过计算路面图像中每个像素点的分形维数,实现了对裂缝信息的有效提取。最后通过大量试验并借助准确率-召回率评价体系验证了所提方法的有效性。根据不同算法的裂缝图像分割性能比较可知:传统的方法在准确率上并不能有较好的结果。通过曲线图可以看出:传统的方法与提出的方法仍然存在着一定的差距。在F-测度上提出的方法基本都稳定在0.9左右,而传统方法的F-测度大多都徘徊在0.7以下,二值化数据可以下降到0.3以下。试验结果表明:提出的方法能够有效实现道路图像的裂缝图像分割。     

基于轻量化卷积神经网络的桥梁混凝土裂缝检测方法及验证

针对基于边缘检测算法、阈值法等传统的混凝土裂缝检测算法易受到干扰的问题，采用基于轻量化卷积神经网络的桥梁混凝土裂缝检测方法对混凝土裂缝检测难的问题进行研究，并通过对桥梁裂缝图像真实数据集进行检测验证。检测结果表明：1)所研究的轻量化卷积神经网络模型能够实现像素级的标注；2)所研究的轻量化卷积神经网络模型训练参数相比其他文献明显减少，权重文件所占内存明显减小；3)所研究的神经网络模型能够清晰准确地划分出图像中的裂缝像素，且不受图像分辨率大小、对比度等因素影响。上述结果表明，所研究的网络模型具有在像素级准确检测裂缝的良好性能，且权重文件占用内存小，能很好地适用于工程实践。     

基于深度学习的土木基础设施裂缝检测综述

基于深度学习的裂缝检测对于降低基础设施运营风险、节约运维成本并推进中国土木工程行业智能化转型具有重要意义。算法、数据集和评价指标是构建深度学习裂缝检测模型的关键要素；裂缝检测模型集成于机器人平台，从而实现对土木基础设施的全自动裂缝检测。为此，从以上4个方面对当前研究进行了系统梳理。首先，回顾了深度学习的发展历程，重点介绍了深度卷积神经网络在计算机视觉领域的应用及其在图像处理方面较传统算法所具有的显著优势。接着，详细介绍了3类基于深度学习的裂缝检测主流算法，包括分类算法、目标检测算法和语义分割算法。然后，对现有裂缝图像数据集以及模型性能评价指标进行了归纳。最后，总结了土木基础设施的各类裂缝检测机器人平台。综合分析表明：基于卷积神经网络主干结构的深度学习算法已被广泛用于土木基础设施表面裂缝的精准定位与分类，而裂缝的尺寸信息仍需依靠传统图像处理技术进行提取；由于像素级标注的成本和专业性高，大型的裂缝语义分割数据集相对缺乏，致使当前基于语义分割算法的裂缝检测模型鲁棒性较差；目前多数研究人员采用个人建立的裂缝数据集进行模型训练且采用不同的指标进行模型性能评价，缺乏统一的基准测试数据集和评价指标体系，无法对不同模型的性能进行平行比较；目前针对不同基础设施已相应开发了一些裂缝检测机器人，提高裂缝检测机器人的多场景适应性，并降低其应用成本是未来的发展方向。     

基于卷积神经网络的路表病害识别与测量

为进一步提高利用二维图像统计路面病害的精度与效率,将卷积神经网络（Convolutional Neural Network,CNN）技术引入了基于图像分析的路面病害识别与测量。首先,将原始图像进行等尺寸分割作为CNN的训练样本。其次,经结构设计、前反馈算法训练及样本测试3个步骤后,建立病害识别模型（CNN1）。用训练完成的CNN1对所有图像进行病害类型识别并将输出结果作为裂缝特征提取模型（CNN2）和坑槽特征提取模型（CNN3）的训练样本。采用相同步骤建立裂缝特征提取和坑槽特征提取模型,完成训练后,运行CNN2,CNN3对路面裂缝与坑槽图像进行特征提取。最后,分析图像分辨率对3个CNN识别和特征提取精度以及效率的影响。结果表明：CNN1可以准确识别多种病害,CNN2的裂缝长度提取的平均误差为4.27%,宽度提取的平均误差为9.37%,裂缝病害严重等级判断准确率为98.99%;CNN3的单张图像中的坑槽个数测量无误差,单个坑槽面积的平均误差为13.43%,坑槽病害等级判定准确率为95.32%,可见CNN具有较高的测量精度;CNN1在使用CPU的情况下测试完成原始图像平均用时为704 ms·幅^-1,CNN2用时为5 376 ms·幅^-1,采用图形处理器加速后CNN1用时为192 ms·幅^-1,CNN2测试平均用时为1 024 ms·幅^-1,可见CNN在图形处理器加速下效率具有显著优势,相比其他方法,在图像分辨率高于70像素时,CNN对路面裂缝与坑槽的识别与测量具有运算高效、结果精准等优势。     

基于高度差乘积的三维沥青路面裂缝识别

为了提高三维沥青路面中裂缝的提取精度与可靠性,提出了一种基于高度差乘积原理的沥青路面三维图像裂缝检测算法。首先,使用同时考虑空域和频域信息的双边滤波器对图像进行预处理,以达到平滑路面纹理并保持裂缝轮廓特征的目的;然后,利用裂缝轮廓的高-低-高程度大于纹理区域且具有较强对称性的特点,设计了一个高度差乘积算子,该算子能有效放大裂缝与非裂缝区域的差异程度,通过该算子的处理可得到相应的裂缝映射图像;最后,对映射图像进行动态阈值分割和去噪,获得最终的裂缝二值图像。研究测试表明:提出的算法能达到96.51%的准确率、83.35%的召回率及87.97%的F值,相对于其他典型三维裂缝检测方法有所改善。     

基于最大相关准则图像分割的结构化道路路径识别和跟踪算法

为提高基于视觉导航的智能车辆对结构化道路车道标识线的识别和跟踪精度,同时消除车流、阴影和光照不均匀等不利因素的影响,提出一种基于最大相关准则的图像分割算法及基于感兴趣区域的车道标识线跟踪算法:首先,对图像进行滤波和光线补偿等前期处理,采用最大相关准则的图像分割算法对道路图像进行阈值分割;然后,根据车道的结构特征及先验知识提取车道标识线的特征点,并运用最小二乘法对特征点拟合,得到车道模型的参数;最后,通过建立感兴趣区域(ROI)的方法实现对车道标识线的准确跟踪。试验结果表明,该算法具有很好的准确性、实时性和鲁棒性。     

基于深度学习的沥青路面坑槽量化方法

由于超载、过度使用和缺乏维护等原因,道路表面容易损坏出现坑槽。提出了一种使用廉价的深度摄像头的基于深度学习的沥青路面坑槽量化方法。首先,根据检测到的道路坑槽的位置和深度信息,使用RANSAC算法识别并分割道路表面。然后,创建了带标签数据库,利用Faster R-CNN进行训练、验证和测试。该方法可以不受传感器与检测目标之间距离的影响,实现路面平面的拟合,并依靠RGB-D传感器的输出来识别和量化多个道路坑槽体积。最终结果表明,模型AP值可达90.79%,且对于单个坑槽测量体积,平均精度误差值低于10%。