基于Faster R-CNN与形态法的路面病害识别

为提高基于图像处理的路面表观病害检测识别效率及精度,引入目标检测中的快速区域卷积神经网络（Faster Region Convolutional Neural Network,Faster R-CNN）算法以快速识别病害种类、位置与面积;针对已提取的带边框裂缝病害区域,采用基于VGG16迁移学习与模型微调的CNN与50%重叠率的滑动窗口定位裂缝骨架,进而利用形态法操作提取裂缝形态,计算其长度与宽度;针对Faster R-CNN算法在病害种类识别时漏检率低但误检率偏高的问题,引入精确率、召回率和F₁分数指标对算法进行评估,并根据F₁分数最大值确定相应的病害框像素面积及置信度阈值来降低误检率,以适应路面表观病害多样化的应用场景。运用开发的病害识别算法对广东一高速公路路面进行表观检测。结果表明：所提方法对典型裂缝图片的识别效率及精度均高于单独应用CNN滑动窗口和传统形态法的全局图像处理方法;对分段的裂缝边界框进行合并,且病害框像素面积及置信度阈值取优化值后,横向裂缝精确率由合并前的0.861提升至合并后的0.918,横向及纵向裂缝误检率则分别由调整前的20.4%和23.8%下降至调整后的8.2%和6.9%,漏检率则稍有提高。基于Faster R-CNN、CNN及形态法的路面病害识别方法具有工作高效、漏检率低的优点,在引入评估指标、最优病害框像素面积与置信度阈值后,病害误检率也大幅降低,具有潜在工程应用价值。     

基于卷积神经网络的路表病害识别与测量

为进一步提高利用二维图像统计路面病害的精度与效率,将卷积神经网络（Convolutional Neural Network,CNN）技术引入了基于图像分析的路面病害识别与测量。首先,将原始图像进行等尺寸分割作为CNN的训练样本。其次,经结构设计、前反馈算法训练及样本测试3个步骤后,建立病害识别模型（CNN1）。用训练完成的CNN1对所有图像进行病害类型识别并将输出结果作为裂缝特征提取模型（CNN2）和坑槽特征提取模型（CNN3）的训练样本。采用相同步骤建立裂缝特征提取和坑槽特征提取模型,完成训练后,运行CNN2,CNN3对路面裂缝与坑槽图像进行特征提取。最后,分析图像分辨率对3个CNN识别和特征提取精度以及效率的影响。结果表明：CNN1可以准确识别多种病害,CNN2的裂缝长度提取的平均误差为4.27%,宽度提取的平均误差为9.37%,裂缝病害严重等级判断准确率为98.99%;CNN3的单张图像中的坑槽个数测量无误差,单个坑槽面积的平均误差为13.43%,坑槽病害等级判定准确率为95.32%,可见CNN具有较高的测量精度;CNN1在使用CPU的情况下测试完成原始图像平均用时为704 ms·幅^-1,CNN2用时为5 376 ms·幅^-1,采用图形处理器加速后CNN1用时为192 ms·幅^-1,CNN2测试平均用时为1 024 ms·幅^-1,可见CNN在图形处理器加速下效率具有显著优势,相比其他方法,在图像分辨率高于70像素时,CNN对路面裂缝与坑槽的识别与测量具有运算高效、结果精准等优势。     

基于卷积神经网络算法的混凝土桥梁裂缝识别与定位技术

无人机技术的进步与高性能计算机的出现,促进了桥梁结构智能化检测的发展。为了实现对无人机获取的大量照片的自动化处理,提出了一种基于计算机视觉的混凝土桥梁裂缝识别与定位技术。以卷积神经网络为核心算法,构建相应的数据库,通过对现有方法的改进,提出一种混凝土桥梁裂缝高效识别的技术。用于检测桥梁裂缝的卷积神经网络架构由3组卷积与池化层、两组Dropout与全连接层组成,算法测试集准确率为93.6%。结合卷积神经网络与滑动窗口算法,搭建相应的数据库与网络架构,提出一种混凝土桥梁裂缝准确定位的技术。结果表明,本文所提出的混凝土桥梁裂缝识别与定位技术,计算效率较高,准确度较好,可以直接应用于识别由无人机拍摄得到的桥梁裂缝照片。此项技术加速了识别速度且具有较高的准确率,为智能化、自动化检测桥梁病害奠定了良好的基础。     

基于改进SegNet的沥青路面病害提取与分类方法

针对现有SegNet算法难以精确区分裂缝和灌封裂缝等具有相似特征的沥青路面病害的问题，提出了基于改进SegNet网络的沥青路面病害提取方法。针对道路标线和光照不均匀等导致路面病害图像质量差异化的因素，本研究在去除道路标线的基础上，运用带色彩恢复的多尺度视网膜增强算法，降低道路标线和光照对图像质量的影响以及增强路面病害图像的对比度、色调和亮度，提高病害的识别精度；为了充分利用图像的上下文信息，解决SegNet网络对细微病害分割效果不佳的问题，引入残差神经网络（ResNet）作为编码器，并对解码器中每个上采样产生的特征图拼接2个分别由卷积层（1×1的卷积核）和空洞卷积层从对应的编码器中获取的尺度相同的特征图；运用形态学闭运算连接分割结果中不连续的裂缝。为了验证改进算法的有效性，将其与典型的语义分割方法（SegNet和BiSeNet）在测试集上进行测试和性能对比。研究结果表明，3种方法的平均交并比（MIoU）和F1分数（F1-score）分别为（82.4%，98.9%），（69.4%，94.0%），（80.5%，98.1%）；利用这3种方法对甘肃省部分路段路面病害的提取效果进行对比测试，提出方法的裂缝漏检率和误检率分别为2.91%，1.94%，优于SegNet（10.68%，14.56%）和BiSeNet（6.80%，12.62%）。本研究所提方法能够更精确地提取和区分沥青路面裂缝和灌封裂缝。      

基于目标减背景法的路面三维裂缝识别方法

根据路面病害等特征提取与检测要求,针对路面三维裂缝的数据特点,结合数字图像处理技术,提出了一种基于目标减背景法的路面三维裂缝识别方法。该方法首先采用双相标准差和基于组合结构元素的级联形态学滤波算法相结合的滤波方法实现裂缝三维数据的预处理,然后根据三维裂缝数据转换成二维图像进行研究的优势,对三维裂缝数据归一化,并采用目标减背景法和Otsu局部阈值分割法实现路面裂缝的识别,对比试验结果与分析表明:该文算法检测效果比较好,对细小裂缝的识别有一定的优势。     

基于卷积自编码的沥青路面目标与裂缝智能识别

目前基于深度学习的路面裂缝识别经常面临训练数据集小，以及路面图片标注成本高等问题，基于小规模路面图片数据集，利用卷积自编码（CAE）方法进行数据增强，开展包括路面裂缝在内的路面目标智能化识别方法研究。在传统图像几何变换数据增强的基础上，采用CAE重构图片方法对原始数据集进行两步骤扩增；利用卷积神经网络DenseNet，设置了不同数据扩增方法的对比试验；针对沥青路面裂缝图片背景较黑，裂缝特征不清晰，无监督聚类学习难度大等问题，采用了一种基于CAE预训练的深度聚类算法DCEC，对经数据增强的路面图片进行无标注的聚类识别。研究结果表明：经过DenseNet网络100代的训练，在同一测试集的测试下，基于原始数据集训练的网络分类准确度为78.43%，利用传统图像处理方法进行扩增后准确度为83.44%，利用所提出的图片增强方法进行数据扩增后准确度达87.19%；在保持扩增后数据集样本量大小相同的情况下，与几何变换、像素颜色变换等经典数据增强手段相比，CAE重构图片的数据扩增方法有较高的路面图片识别精度；CAE数据扩增方法较受训练数据集样本量的影响，利用传统方法将数据集扩增后进行CAE特征学习，重构后的图片样本更易被机器识别；相较于传统机器学习聚类算法，所提出的的DCEC深度聚类方法将聚类准确率提升了约10%，初步实现了无需人工标注的路面目标的端到端智能识别。     

基于轻量化卷积神经网络的桥梁混凝土裂缝检测方法及验证

针对基于边缘检测算法、阈值法等传统的混凝土裂缝检测算法易受到干扰的问题，采用基于轻量化卷积神经网络的桥梁混凝土裂缝检测方法对混凝土裂缝检测难的问题进行研究，并通过对桥梁裂缝图像真实数据集进行检测验证。检测结果表明：1)所研究的轻量化卷积神经网络模型能够实现像素级的标注；2)所研究的轻量化卷积神经网络模型训练参数相比其他文献明显减少，权重文件所占内存明显减小；3)所研究的神经网络模型能够清晰准确地划分出图像中的裂缝像素，且不受图像分辨率大小、对比度等因素影响。上述结果表明，所研究的网络模型具有在像素级准确检测裂缝的良好性能，且权重文件占用内存小，能很好地适用于工程实践。     

基于深度学习的沥青路面病害图像智能识别方法研究

针对现有沥青路面病害人工检测效率低、影响交通、安全风险大等特点,研究基于深度学习的沥青路面病害图像智能识别方法。通过对不同类型沥青路面病害整体目标区域及特殊样貌特征分别进行标记,对图像进行归一化及数据集扩充等一系列处理,以达到增强目标特征的目的。将细分的11类致灾因子作为神经网络的输入变量,通过模糊推理逻辑创建致灾因子与沥青路面病害等级的映射关系。预先处理神经网络的输入数据和后置处理神经网络的输出数据,结合引入至神经网络中的模糊推理逻辑,建立沥青路面病害综合评价模型。通过AlexNet网络识别出病害类型,并判断其危险度等级。以滇藏公路标号K170路段实际沥青路面病害为例,评判其横向裂缝危险度等级为重度,与实际情况相符,表明该沥青路面病害图像智能识别方法协同模糊神经网络综合评价模型可有效识别沥青路面病害类型并评价沥青路面病害的危险度等级。     

基于ReliefF-RBF的路面不平度识别算法研究

路面不平度对道路车辆行驶安全性及车辆动力学响应具有重要影响。通过将路面不平度识别与先进悬架控制结合,有望能进一步提升乘员舒适性和车辆的操纵稳定性。现有基于数据驱动的路面分类方法难以高效处理时变参数与车速,现有基于模型的路面识别算法需要已知精确车辆模型,在实际应用中面临车辆物理参数难以获得的问题。提出一种融合模型和数据驱动的路面分类算法,采用基于模型的方法反算等效路面轮廓,结合数据预处理方法,对车辆响应和反算等效路面轮廓数据进行滤波;对等效路面轮廓和响应信息进行时域频域特征计算,采用ReliefF算法进行关键特征提取,构建基于径向基函数神经网络的路面分类器,进行路面分级识别;通过仿真试验和实车试验验证了不同车辆参数和车速下所提出的算法鲁棒性。     

基于主成分分析和学习向量量化神经网络的制动工况路面识别与验证

开展车辆制动时路面类型识别的研究，提出一种基于主成分分析-学习向量量化神经网络 （Principal Component Analysis - Learning Vector Quantization，PCA-LVQ） 的制动工况路面识别方法。利用主成分分析对多维度驾驶数据降维处理，提取能表征路面特征的主要成分，采用学习向量量化神经网络对降维处理后的驾驶数据进行训练，并用于路面特征分类，使用制动工况下实车试验数据和硬件在环仿真数据进行验证。结果表明，所提出的 PCA-LVQ算法能准确识别路面类型特征，路面识别的精度达到 97%，与传统 BP神经网络的路面类型特征识别精度提升 7%；同时，在不同车速下，基于PCA-LVQ算法也能较准确地识别路面类型特征。     

路面裂缝图像自动识别算法综述

路面裂缝自动检测对于路面养护管理、路面性能评价与预测、路面材料和结构设计具有重要的实用价值,但快速、准确、全面且稳定地识别路面裂缝一直是个难题.为此,对路面裂缝自动检测研究现状进行综述,包括以图像增强和去噪为目的的预处理方法,基于阈值分割、边缘检测和种子生长的空间域识别算法,以小波变换为代表的频域识别算法,基于有监督学习的识别算法及其他裂缝识别方法;指出既有裂缝识别算法存在易受光照和油污等因素的影响、裂缝识别图像连续性差和识别速度和精度较低等不足.最后,提出综合考虑边界和区域特征消除纹理和噪声干扰、基于局部和全局信息设计优化识别算法和基于三维图像进行裂缝识别等研究展望,为裂缝自动识别算法的改进提供参考.     

基于三维点云数据的沥青路面裂缝识别方法

针对沥青路面二维裂缝图像识别精度较低的问题,文中借助三维激光扫描技术,利用三维点云数据所提取的裂缝特征验证二维图像裂缝特征的准确性,同时将提取的三维点云数据裂缝指标用于深度学习的准确率提升,以此提高裂缝图像的识别准确率。首先将获取的高精度二维图像进行图像增加、去噪、分割、特征提取等,然后通过对路表三维点云数据进行分类、滤波、融合,重建沥青路面路表三维形态模型,实现沥青路面裂缝的高效高精度识别与裂缝特征参数提取,利用密集卷积神经网络(DenseNet)的裂缝图像识别算法对200张验证图像进行测试。结果表明,通过利用三维点云数据对二维图像进行辅助判别的方法,可大幅提高裂缝图像的识别准确率,具有良好的普适性。     

基于改进掩码-区域卷积神经网络的混凝土病害实例分割

为对混凝土病害图像进行更精确的实例分割，提出改进掩码-区域卷积神经网络(Mask Region Convolution Neural Network, Mask-RCNN)。该网络采用轻量级的可移动网络(MobileNetV2)代替原始Mask-RCNN中卷积层过大的主干网络——残差网络(ResNet101),加入路径聚合网络(PANet),以提高Mask-RCNN提取浅层特征信息的能力。为验证改进Mask-RCNN的识别精度及其在实际工程中的可行性，首先构建多类混凝土病害图像数据集，利用K-means聚类算法确定最适合该数据集的先验边界框的长宽比，然后对比改进Mask-RCNN与原始Mask-RCNN、其它主流深度学习网络对混凝土五类病害(裂缝、露筋、剥落、白皙和空洞)的识别结果；最后利用无人机采集到的钢筋混凝土桥梁病害图像作为测试集进行测试。结果表明：改进Mask-RCNN在提高计算速度的同时能更准确地定位病害，减少了误检和漏检，识别精度高于原始Mask-RCNN及其它深度学习网络；改进Mask-RCNN可以识别无人机拍摄的未经训练的新的混凝土病害图像，识别精度满足实际工程需求。     

基于自编码模型的沥青路面表面横缝识别研究

以上海某高速路段为研究依托,采集相关的沥青路面表面图像,利用卷积神经网络提取图像特征后再通过基于长、短期记忆神经网络的自编码模型对路面图像是否含有表面横缝进行识别,并对模型识别效果进行评价。结果表明,该方法可以快速有效地提取图像特征,在样本不均衡的条件下对表面横缝依然有较好的识别能力。     

基于无人机及Mask R-CNN的桥梁结构裂缝智能识别

桥梁结构表面裂缝检测为桥梁状态识别、病害治理、安全评估提供了重要状态信息和决策依据。为解决传统人工检测方法存在的危险性高、影响交通、费用昂贵等问题,提出基于无人机（Unmanned Aerial Vehicle,UAV）及深度学习的桥梁结构裂缝智能识别方法。采用大疆M210-RTK多旋翼无人机进行贴近航摄,获取桥梁结构混凝土表面高清图像;利用SDNET裂缝数据集等图像资源,制作1 133张标记裂缝精确区域的深度学习训练样本图像库;引入掩膜区域卷积神经网络（Mask R-CNN）深度学习算法,训练和建立Mask R-CNN裂缝识别模型;基于Mask R-CNN裂缝识别模型,采用矩形滑动窗口模式扫描混凝土表面高清图像,实现裂缝自动识别和定位。构建包含图像二值化、连通域去噪、边缘检测、裂缝骨架化、裂缝宽度计算等流程的图像后处理方法,实现裂缝形态及宽度信息自动获取。通过精度验证试验,证实采用M210-RTK无人机+ZENMUSE X5S相机+45 mm奥林巴斯镜头的组合装备,当无人机至桥梁结构表面垂直距离为10.0 m时,无人机方法识别的裂缝宽度与裂缝测量仪结果吻合,其绝对误差小于0.097 mm,相对误差小于9.8%。将该无人机裂缝检测方法应用于高136.8 m长沙市洪山大桥桥塔表面裂缝检测,采用深度学习Mask R-CNN算法进行裂缝智能识别,其裂缝识别准确率和召回率分别达到92.5%和92.5%。研究结果表明：无人机桥梁裂缝检测方法可实现高耸桥梁结构表面裂缝的远程、非接触、自动化检测,具有重要的科学研究和工程应用价值。     

佛开改扩建工程西二环连接线路面裂缝病害原因分析

采用测量、开挖等方式对佛开改扩建工程西二环连接线路面裂缝病害进行现场调查,路面裂缝呈现面层基层贯通、沿行车道距路侧边坡2～6m位置连续分布等特点。模拟病害路段附近匝道填土情况,建立路基竖向应力计算模型,计算病害路段地基土中不均匀分布的竖向应力,分析了路面裂缝病害形成的原因。     

基于深度学习YOLO模型的高原山区沥青路面病害自动识别

高原山区沥青公路地形复杂上下纵坡较多,绿化树木及山体的光线遮挡造成车载式道路检测自动化检测系统采集的图片高光背影大,针对传统图像处理算法在处理此类图片时,存在算法稳定性差、裂缝提取精度较低,缺乏通用性的问题。本文提出一种采用YOLO模型自动检测高速路面缺陷的方法,可实现对高原山区沥青路面病害路面的快速、精确识别。     

基于改进U型神经网络的路面裂缝检测方法

针对传统的裂缝分割算法难以识别狭窄裂缝且分割边缘不精准，从而造成识别精度较低的问题，研究了基于改进U型神经网络（Unet）的路面裂缝检测方法。由于传统Unet特征提取网络是层次较浅的浅层神经网络，难以提取更复杂的裂缝特征信息，故本文以牛津大学视觉几何组网络（VGG16）作为传统Unet的特征提取网络，提高网络的裂缝特征提取能力；为抑制高低阶特征融合时产生的无用特征，本文在模型解码部分添加压缩与激励单元（SE block），构建裂缝注意力单元，使得网络可以关注不同通道下的裂缝特征，建立了基于SE block和VGG16的改进Unet网络（SE-VUnet）。研究采用迁移学习的方法，将在ImageNet上预训练好的VGG16网络权重迁移到裂缝检测中。通过挑选Crack500数据集，并使用摄像头采集图片构建1 600张路面裂缝数据集，再次训练SE-VUnet模型，获得裂缝区域分割结果。以查准率（precision）与查全率（recall）的加权调和平均值F1和雅卡尔（Jaccard）相似系数作为量化评价指标。将SE-VUnet分别与Unet、SOLO v2、Mask R-CNN以及Deeplabv3+进行分割效果和实时性对比。研究结果表明:SE-VUnet模型的综合F1和雅卡尔系数分别为0.840 3和0.722 1，相比于Unet分别高出了1.04%和1.51%，且均高于其他3种对比模型；SE-VUnet的单帧图片预测时间为89 ms，在分割效果提升明显的情况下仅比Unet慢5 ms，优于其他模型。      

基于CNN和HSV模型的交通标志识别研究(英文)

基于HSV颜色空间模型和卷积神经网络(CNN),建立了实现交通标志识别(TSR)的完整过程。为了提高运算速度,进一步优化了动态感兴趣区域(ROI)识别、RGB向HSV颜色空间模型转换方法和神经网络结构设计。通过GTSRB数据库对TSR算法进行验证,结果表明,所建立的TSR方法有效提升了运算速度和识别率。     

基于深度学习的土木基础设施裂缝检测综述

基于深度学习的裂缝检测对于降低基础设施运营风险、节约运维成本并推进中国土木工程行业智能化转型具有重要意义。算法、数据集和评价指标是构建深度学习裂缝检测模型的关键要素；裂缝检测模型集成于机器人平台，从而实现对土木基础设施的全自动裂缝检测。为此，从以上4个方面对当前研究进行了系统梳理。首先，回顾了深度学习的发展历程，重点介绍了深度卷积神经网络在计算机视觉领域的应用及其在图像处理方面较传统算法所具有的显著优势。接着，详细介绍了3类基于深度学习的裂缝检测主流算法，包括分类算法、目标检测算法和语义分割算法。然后，对现有裂缝图像数据集以及模型性能评价指标进行了归纳。最后，总结了土木基础设施的各类裂缝检测机器人平台。综合分析表明：基于卷积神经网络主干结构的深度学习算法已被广泛用于土木基础设施表面裂缝的精准定位与分类，而裂缝的尺寸信息仍需依靠传统图像处理技术进行提取；由于像素级标注的成本和专业性高，大型的裂缝语义分割数据集相对缺乏，致使当前基于语义分割算法的裂缝检测模型鲁棒性较差；目前多数研究人员采用个人建立的裂缝数据集进行模型训练且采用不同的指标进行模型性能评价，缺乏统一的基准测试数据集和评价指标体系，无法对不同模型的性能进行平行比较；目前针对不同基础设施已相应开发了一些裂缝检测机器人，提高裂缝检测机器人的多场景适应性，并降低其应用成本是未来的发展方向。