基于无人机的悬索桥主缆自动巡检及小样本表观病害识别

为了实现悬索桥主缆的自动化、智能化检查,开展了基于无人机的主缆巡检路径规划和小样本数据下的主缆病害识别研究。首先,利用无人机倾斜摄影测量技术快速建立悬索桥的三维模型,提出主缆无人机自动巡检路径的规划方法;然后,采用Faster RCNN网络模型识别主缆图像中的表观病害;最后,采用基于图像融合的数据增强方法,提高小样本数据集下目标检测的准确率。在Faster RCNN网络模型训练过程中,随着训练轮次的增加,测试集中裂纹、锈蚀和划痕3类病害的平均精确率得到提升,并在第15个训练轮次后逐渐稳定,在经过100个训练轮次后,测试集中所有类别的平均精确率为0.723。以小龙湾桥为研究对象,进行了主缆的现场检查试验。研究结果表明：基于悬索桥三维模型进行主缆无人机自动巡检路径规划具有实际可行性;基于Faster RCNN网络模型能较准确地识别主缆的裂纹、锈蚀和划痕病害;利用图像融合方法生成病害数据能有效克服数据样本少的问题,并提高识别的准确性。     

基于改进Mask R-CNN的钢桥多病害智能识别

钢桥在现代交通基础设施中扮演着重要的角色,然而,由于长期服役与环境影响,钢桥可能出现涂层锈蚀、螺栓脱落等病害。为解决传统的钢桥病害检测需要人工参与,费时费力且主观性强的问题,提出了一种基于深度学习的钢桥病害检智能识别方法。利用无人机在图像采集方面的优势,采集大量高清病害图像,经图像增强、标注后建立钢桥病害图像库,用于模型的训练和测试;引入掩膜区域卷积神经网络(Mask R-CNN)构建钢桥病害识别模型,实现钢桥病害的自动识别;并通过更换骨干网络的方式进一步提升模型性能。研究结果表明：将骨干网络由传统的ResNet101替换为VoVNet后模型性能显著提升,交并比阈值为0.5与0.5∶0.95时,优化后模型的识别平均精确率分别为0.84与0.59;相同交并比阈值下较之优化前有约10%的提升。将改进的模型应用于上莘桥表观病害检测,其对涂层锈蚀、螺栓锈蚀与螺栓脱落的识别准确率分别达到了89.3%、85.7%、73.1%;改进的Mask R-CNN模型在钢桥病害识别任务中表现出了优异的性能,无人机与深度学习相结合的方法能够实现钢桥病害的高精度、自动化检测,具有重要的科学研究和工程应用价值。     

基于卷积自编码的沥青路面目标与裂缝智能识别

目前基于深度学习的路面裂缝识别经常面临训练数据集小，以及路面图片标注成本高等问题，基于小规模路面图片数据集，利用卷积自编码（CAE）方法进行数据增强，开展包括路面裂缝在内的路面目标智能化识别方法研究。在传统图像几何变换数据增强的基础上，采用CAE重构图片方法对原始数据集进行两步骤扩增；利用卷积神经网络DenseNet，设置了不同数据扩增方法的对比试验；针对沥青路面裂缝图片背景较黑，裂缝特征不清晰，无监督聚类学习难度大等问题，采用了一种基于CAE预训练的深度聚类算法DCEC，对经数据增强的路面图片进行无标注的聚类识别。研究结果表明：经过DenseNet网络100代的训练，在同一测试集的测试下，基于原始数据集训练的网络分类准确度为78.43%，利用传统图像处理方法进行扩增后准确度为83.44%，利用所提出的图片增强方法进行数据扩增后准确度达87.19%；在保持扩增后数据集样本量大小相同的情况下，与几何变换、像素颜色变换等经典数据增强手段相比，CAE重构图片的数据扩增方法有较高的路面图片识别精度；CAE数据扩增方法较受训练数据集样本量的影响，利用传统方法将数据集扩增后进行CAE特征学习，重构后的图片样本更易被机器识别；相较于传统机器学习聚类算法，所提出的的DCEC深度聚类方法将聚类准确率提升了约10%，初步实现了无需人工标注的路面目标的端到端智能识别。     

基于改进深度卷积生成对抗网络的路面指示标志识别方法

针对道路交通环境中路面标志识别涉及的数据集较少和识别准确率不足的问题,研究了基于深度卷积生成对抗网络的道路表面指示标志的识别方法.在深度卷积生成对抗网络的结构基础上,根据具体应用修改生成网络和判别网络的损失函数,并用随机梯度下降算法替代原始的优化器,对指示标志的原始样本集进行样本生成,以增加样本数据量.基于Faster R-CNN算法进行路面标志的特征提取,实现路面指示标志的识别,并基于迁移学习对识别模型进行微调,将目标识别效果应用于实际道路环境中.实验结果表明,通过深度卷积生成对抗网络生成的样本图像有效地扩增了路面标志的数据集,增广后的多类目标识别的mAP提高了17.1%,小样本情况下的识别准确率随着样本量的增加和样本质量的改善而得到了明显的提高.      

基于YOLOv5和DeepLabv3+的桥梁结构病害智能识别技术

传统以人工为主的桥梁表观病害识别方式存在着效率低下、风险高等问题，已不能满足当今桥梁检测任务的要求。针对上述问题，本研究结合目标检测与语义分割技术，提出了一套桥梁表观病害智能识别算法，完成了桥梁病害的智能识别与尺寸计算任务。研究中通过多种手段收集桥梁病害图像，构建桥梁表观病害目标检测数据集和语义分割数据集；训练了YOLOv5病害识别及定位网络和DeepLabv3+病害区域提取网络；对病害区域提取结果进行噪点去除、毛刺剔除、裂缝体分解等预处理后，采用邻域划分和正交骨架实现了病害长、宽尺寸的计算，并在桥梁实拍病害图像上进行了算法测试。本研究开发的病害识别技术实现了桥梁表观病害高效率、高精度的自动识别和尺寸计算，提升了桥梁检测的工作效率和安全性。     

基于无人机及Mask R-CNN的桥梁结构裂缝智能识别

桥梁结构表面裂缝检测为桥梁状态识别、病害治理、安全评估提供了重要状态信息和决策依据。为解决传统人工检测方法存在的危险性高、影响交通、费用昂贵等问题,提出基于无人机（Unmanned Aerial Vehicle,UAV）及深度学习的桥梁结构裂缝智能识别方法。采用大疆M210-RTK多旋翼无人机进行贴近航摄,获取桥梁结构混凝土表面高清图像;利用SDNET裂缝数据集等图像资源,制作1 133张标记裂缝精确区域的深度学习训练样本图像库;引入掩膜区域卷积神经网络（Mask R-CNN）深度学习算法,训练和建立Mask R-CNN裂缝识别模型;基于Mask R-CNN裂缝识别模型,采用矩形滑动窗口模式扫描混凝土表面高清图像,实现裂缝自动识别和定位。构建包含图像二值化、连通域去噪、边缘检测、裂缝骨架化、裂缝宽度计算等流程的图像后处理方法,实现裂缝形态及宽度信息自动获取。通过精度验证试验,证实采用M210-RTK无人机+ZENMUSE X5S相机+45 mm奥林巴斯镜头的组合装备,当无人机至桥梁结构表面垂直距离为10.0 m时,无人机方法识别的裂缝宽度与裂缝测量仪结果吻合,其绝对误差小于0.097 mm,相对误差小于9.8%。将该无人机裂缝检测方法应用于高136.8 m长沙市洪山大桥桥塔表面裂缝检测,采用深度学习Mask R-CNN算法进行裂缝智能识别,其裂缝识别准确率和召回率分别达到92.5%和92.5%。研究结果表明：无人机桥梁裂缝检测方法可实现高耸桥梁结构表面裂缝的远程、非接触、自动化检测,具有重要的科学研究和工程应用价值。     

基于深度学习语义分割的桥梁病害图像像素级识别方法

为了解决如何从背景中把感兴趣的桥梁病害区域以像素级精度识别出来的问题,本文针对混凝土裂缝、钢材锈蚀、表面涂层脱落、混凝土掉块4种桥梁局部病害形式,提出了一种基于深度学习语义分割的桥梁病害图像像素级识别方法,通过构建由一系列功能层组成的深度卷积神经网络(包括卷积层、批归一化层、非线性激活层、最大池化层、反卷积层、全连接层、softmax分类层等),实现像素级的病害区域识别。以考虑不平衡数据处理的像素级交叉熵分类损失为模型训练的损失函数,同时采用数据增强方法,对输入输出图像随机采用逆时针旋转90°、180°、270°、水平翻转、竖直翻转的形式来提高模型的泛化能力。将400张原始病害图像和其像素级分割真实值分别作为输入和输出,80%进行训练,剩余20%作为测试集。随着训练过程的进行,损失不断下降,准确率逐渐上升,最终经过100轮次训练(每轮的批次大小为32),准确率提升至94. 96%。测试结果表明,训练模型基本可以实现对混凝土裂缝、钢材锈蚀、表面涂层脱落、混凝土掉块4种桥梁局部病害区域的像素级识别,其中可以很好地识别出在较简单背景下的混凝土裂缝病害区域,而对于复杂背景下的表面涂层脱落、混凝土掉块、钢材腐蚀耦合发生时的识别结果的准确度则相对降低。可能原因是由于在实际复杂场景下,表面涂层脱落、混凝土掉块具有很大程度上的相似性,并且钢材腐蚀往往伴随着表面涂层脱落、混凝土掉块的发生。     

融合SAR分支深度学习的隧道病害识别与成像

随着交通事业的不断发展，大量隧道相继建设并陆续投入运营。在其运营过程中，隧道衬砌混凝土结构内部往往出现不可见的隐蔽病害，对工程安全带来了严重隐患。及时识别检测内部病害，预防安全事故的发生十分必要。探地雷达(Ground Penetrating Radar, GPR)是检测混凝土内部病害的主流无损检测技术，但探地雷达数据中的病害响应信号与实际结构内部病害形态并不存在直观的空间对应关系，从探地雷达数据中仅能估计病害的类型与大概位置，难以对其轮廓进行成像。针对上述问题，研究了基于探地雷达的隧道衬砌隐蔽病害智能识别技术，针对探地雷达数据特点，设计了融入合成孔径雷达(Synthetic Aperture Radar, SAR)成像处理分支的地下工程目标识别深度神经网络模型，通过在传统Unet网络中融入SAR成像分支，实现了对病害的准确成像，并成功对6种隧道衬砌常见的病害进行类型识别。采用仿真数据对该方法验证，结果表明本研究设计的融入SAR成像分支Unet网络的预测结果对6种病害的平均识别精度为96%,与传统Unet网络相比，精度提升了5%,由此证明本文构建的融入SAR成像分支的Unet网络有效提...     

基于机器视觉的路面裂缝病害多目标识别研究

为了建立一种基于深度学习卷积神经网络的多目标路面裂缝检测模型,实现对路面裂缝的精确识别、分割与统计,采用卷积神经网络Mask R-CNN为主干框架,融入ResNet模型与特征金字塔网络(FPN)提高对病害特征提取的精度,建立了针对裂缝病害识别的基础网络体系;考虑裂缝病害图像特征,采用随机梯度下降算法与冲量算法优化损失函数以提高对裂缝像素的分类性能,通过在主干网络设定目标区域检测范围并利用掩码实现了裂缝病害的像素级识别与分割;标记大量的路面裂缝图像形成训练数据库,分析了路面裂缝的多目标识别模型有效性。结果表明:损失函数中的权重参数取0.3时,识别模型具备较好的识别精度;通过数据增强可以将有限训练集进行有效扩充,极大提高识别模型的泛化能力与鲁棒性,经过训练后的模型能够正确识别98.9%的裂缝对象与93.6%的裂缝类像素;通过将模型对裂缝病害的识别、分类精度与传统深度学习模型、边缘检测算法相比较,在细微裂缝的识别与非裂缝构造的过滤方面具有显著优势。用Mask R-CNN的主干网络进行ResNet模型与FPN扩展能够有效保留裂缝病害的纹理与轮廓细节信息,实现复杂背景下裂缝病害的有效识别。     

持续学习算法在车辆目标识别上的应用

自动驾驶汽车技术的日新月异,主要得益于深度学习和人工智能的进步。然而深度学习模型大多是在静态同分布数据集上进行训练,无法随着时间而适应或扩展其行为。针对这一问题,论文将持续学习模型运用于车辆目标识别领域进行研究。首先搭建可以使得算法流畅运行的环境,选定目标识别的原始图像数据集;在分析现有评估指标的基础上,选取适合于本次实验的评估指标,并采用卷积神经网络（CNN）、最接近类均值（NCM）、增量分类器与特征表示（iCaRL）三种持续学习算法对原始图像数据集进行学习训练与对比验证,通过实验验证了应用iCaRL算法使机器进行持续学习训练时,其精度和效率均优于其他两种方法。针对智能驾驶目标识别图像数据集不完善这一问题,构建了一个新的图像数据集,包含车辆、行人、交通标志及信号灯,将iCaRL算法应用于新建图像数据集进行研究,并在新建智能驾驶图像数据集上进行了训练与测试。结果表明,采用iCaRL算法能够较好地学习新建图像数据集,不会因为环境的改变而使得其性能发生大幅变化,测试结果良好,证明该方法可以在智能驾驶领域进行目标识别。     

基于多特征融合的隧道场景车辆再识别

为解决隧道内交通监控视频的低分辨率以及光照不均匀导致的再识别准确率偏低的问题，提出了一种基于多特征融合的车辆再识别方法，通过充分利用车辆的各种有效特征信息提升车辆再识别精确度。首先，将卷积块注意力模块(Convolutional Block Attention Module, CBAM)嵌入到YOLOv5模型的骨干网络卷积层，同时采用CIoU损失和DIoU-NMS方案，提高车型检测准确率；其次，使用改进DeepSORT的表观特征提取网络和ResNet网络，分别获取深度卷积神经网络(Deep Convolution Neural Networks, DCNN)特征和车型ID特征；再次，将车型特征、DCNN特征及车辆ID特征使用加和表示层进行融合，形成可鉴别身份特征，以提高车辆再识别精度；最后，基于Softmax交叉熵损失和三元组损失设计指标函数并进行学习，对学习结果进行重排序以进一步提高模型的精度，并将算法在公开数据集VeRi776、VehicleID和自建数据集Tunnel＿Veh4C进行训练验证。结果表明：与现有方法相比，提出的Rank-1、Rank-5和Rank-10识别准确率以及...     

基于深度学习的钢桥桥面铺装病害识别与量化方法

受反复的交通荷载、温度变化、风载等的影响,钢桥桥面铺装的应力状态复杂,加上柔性的桥面铺装与刚性钢桥结构力学相容性问题,钢桥桥面铺装易出现早期病害。为了识别、分类和量化钢桥桥面铺装典型病害,文中提出一种基于深度摄像头Kinect V2和深度学习的桥面铺装病害识别方法。先通过传感器采集桥面铺装病害图像,创建带标识的数据库,并将其转化为训练集,然后利用YOLOv5对训练集的原始数据进行训练、验证与测试,获得桥面铺装病害识别、分类和量化结果。结果表明,基于深度学习,利用随机采样一致性(RANSAC)可以实现RGB-D传感器在不同工作距离上的平面拟合,达到对桥面铺装病害的高效识别,各类病害的识别误差均可控制在10%以内;与人工识别方法相比,利用简单图像采集设备和机器学习的智能识别方法能以较低的成本在不影响交通的条件下完成钢桥桥面铺装病害识别与量化,计算效率更高,可大大节省人工和时间成本,且能保证识别结果在一定精度范围内。     

基于无人机和迁移学习的涵洞图像识别及GPS定位

为提高涵洞淤堵病害的检测效率，研究了基于无人机采集病害视频、图像资料和迁移学习的卷积神经网络(人工智能)算法对涵洞图像进行分类。将涵洞状况分为：淤堵、部分淤堵和正常3个类别。并把在ImageNet图像数据集上预训练过的人工智能算法(如ResNet-18网络模型)应用至涵洞图像中，以此提高人工智能算法的准确性。结果表明：使用ResNet-18对涵洞分类识别准确率可达到93%,实现了对涵洞状况的有效分类。此外，还提出了一种通过MATLAB调用涵洞状况图像GPS信息得到地理位置定位的方法，帮助二次检测或后期维护人员快速达到病害现场，进行相关的监测维护工作。     

基于改进SegNet的沥青路面病害提取与分类方法

针对现有SegNet算法难以精确区分裂缝和灌封裂缝等具有相似特征的沥青路面病害的问题，提出了基于改进SegNet网络的沥青路面病害提取方法。针对道路标线和光照不均匀等导致路面病害图像质量差异化的因素，本研究在去除道路标线的基础上，运用带色彩恢复的多尺度视网膜增强算法，降低道路标线和光照对图像质量的影响以及增强路面病害图像的对比度、色调和亮度，提高病害的识别精度；为了充分利用图像的上下文信息，解决SegNet网络对细微病害分割效果不佳的问题，引入残差神经网络（ResNet）作为编码器，并对解码器中每个上采样产生的特征图拼接2个分别由卷积层（1×1的卷积核）和空洞卷积层从对应的编码器中获取的尺度相同的特征图；运用形态学闭运算连接分割结果中不连续的裂缝。为了验证改进算法的有效性，将其与典型的语义分割方法（SegNet和BiSeNet）在测试集上进行测试和性能对比。研究结果表明，3种方法的平均交并比（MIoU）和F1分数（F1-score）分别为（82.4%，98.9%），（69.4%，94.0%），（80.5%，98.1%）；利用这3种方法对甘肃省部分路段路面病害的提取效果进行对比测试，提出方法的裂缝漏检率和误检率分别为2.91%，1.94%，优于SegNet（10.68%，14.56%）和BiSeNet（6.80%，12.62%）。本研究所提方法能够更精确地提取和区分沥青路面裂缝和灌封裂缝。      

基于卷积神经网络的路表病害识别与测量

为进一步提高利用二维图像统计路面病害的精度与效率,将卷积神经网络（Convolutional Neural Network,CNN）技术引入了基于图像分析的路面病害识别与测量。首先,将原始图像进行等尺寸分割作为CNN的训练样本。其次,经结构设计、前反馈算法训练及样本测试3个步骤后,建立病害识别模型（CNN1）。用训练完成的CNN1对所有图像进行病害类型识别并将输出结果作为裂缝特征提取模型（CNN2）和坑槽特征提取模型（CNN3）的训练样本。采用相同步骤建立裂缝特征提取和坑槽特征提取模型,完成训练后,运行CNN2,CNN3对路面裂缝与坑槽图像进行特征提取。最后,分析图像分辨率对3个CNN识别和特征提取精度以及效率的影响。结果表明：CNN1可以准确识别多种病害,CNN2的裂缝长度提取的平均误差为4.27%,宽度提取的平均误差为9.37%,裂缝病害严重等级判断准确率为98.99%;CNN3的单张图像中的坑槽个数测量无误差,单个坑槽面积的平均误差为13.43%,坑槽病害等级判定准确率为95.32%,可见CNN具有较高的测量精度;CNN1在使用CPU的情况下测试完成原始图像平均用时为704 ms·幅^-1,CNN2用时为5 376 ms·幅^-1,采用图形处理器加速后CNN1用时为192 ms·幅^-1,CNN2测试平均用时为1 024 ms·幅^-1,可见CNN在图形处理器加速下效率具有显著优势,相比其他方法,在图像分辨率高于70像素时,CNN对路面裂缝与坑槽的识别与测量具有运算高效、结果精准等优势。     

基于轻量化卷积神经网络的桥梁混凝土裂缝检测方法及验证

针对基于边缘检测算法、阈值法等传统的混凝土裂缝检测算法易受到干扰的问题，采用基于轻量化卷积神经网络的桥梁混凝土裂缝检测方法对混凝土裂缝检测难的问题进行研究，并通过对桥梁裂缝图像真实数据集进行检测验证。检测结果表明：1)所研究的轻量化卷积神经网络模型能够实现像素级的标注；2)所研究的轻量化卷积神经网络模型训练参数相比其他文献明显减少，权重文件所占内存明显减小；3)所研究的神经网络模型能够清晰准确地划分出图像中的裂缝像素，且不受图像分辨率大小、对比度等因素影响。上述结果表明，所研究的网络模型具有在像素级准确检测裂缝的良好性能，且权重文件占用内存小，能很好地适用于工程实践。     

融合改进YOLO和背景差分的道路抛洒物检测算法

针对现有道路抛洒物检测算法识别准确率低、识别种类有限、实时检测效率低的问题，探索了将深度学习目标检测和传统图像处理相结合的抛洒物检测算法。提出在YOLOv5s目标检测算法基础上，对模型结构进行修改以满足实时性需求。具体地，使用卷积优化YOLO中的降采样模块，采用Ghost网络替代原始的特征提取网络以减少计算量，根据抛洒物检测对象的特点设计符合数据集的锚框以提高目标识别准确度。使用优化后的YOLO检测道路场景中车辆、行人作为交通参与者得到检测框，在检测框周围设定感兴趣区域，并在感兴趣区域内用背景差分算法实现前景目标识别。计算前景目标与YOLO检测结果的交并比，排除交通参与者目标后实现道路抛洒物的识别。针对交通参与者检测的实验结果表明，改进后的YOLO检测算法在整体识别精度没有损失的情况下单帧检测速度为20.67 ms，比原始YOLO检测算法速度提升16.42%。真实道路抛洒物实验结果表明，在没有抛洒物训练数据情况下，传统混合高斯模型算法平均精度值为0.51，采用融合改进YOLO和背景差分的抛洒物检测算法平均精度值为0.78，算法检测精度提高52.9%。改进后算法可适用于没有抛洒物数据或正样本数据稀少的情况。该算法在嵌入式设备Jetson Xavier NX上单帧检测速度达到24.4 ms，可实现抛洒物的实时检测。      

基于残差神经网络的沥青路面裂缝识别分类研究

为提高沥青路面裂缝的识别精度与速度,提出一种基于残差神经网络的沥青路面裂缝自动识别算法。首先建立沥青路面图像集,使用数据清洗算法对综合检测车采集到的裂缝图像进行数据清洗,构建沥青路面裂缝图像样本数据集,并将图像集按8∶2的比例划分为训练集和测试集;接着采用残差神经网络ResNet50对清洗后的数据进行训练,得到网络权重后使用训练好的网络对沥青路面裂缝数据进行预测,评价网络准确性。试验结果表明:沥青路面图像清洗算法的准确率为95%,能良好地实现沥青路面原始图像的清洗;裂缝图像分类的平均准确率达到94%,其中横向裂缝、纵向裂缝、龟裂、块状裂缝的识别准确率分别为96.1%、94.6%、93.6%和94.1%。     

基于深度学习的沥青路面病害图像智能识别方法研究

针对现有沥青路面病害人工检测效率低、影响交通、安全风险大等特点,研究基于深度学习的沥青路面病害图像智能识别方法.通过对不同类型沥青路面病害整体目标区域及特殊样貌特征分别进行标记,对图像进行归一化及数据集扩充等一系列处理,以达到增强目标特征的目的.将细分的11类致灾因子作为神经网络的输入变量,通过模糊推理逻辑创建致灾因子...     

利用图像超分辨率提升交通标志分类精度研究

为了解决利用卷积神经网络进行交通标志分类时精度低的问题，通过将图像超分辨率网络与分类网络相连接，提出一种超分级联网络结构。首先使用改进的双重注意力机制超分辨率网络作为级联网络的子网络；然后训练图像分类网络，用于对超分辨率处理后的图像进行分类；最后利用分类准确率衡量超分辨率重构对图像分类任务的有效性。模拟和真实交通标志数据集验证结果表明，经过超分辨率处理的图像在分类模型中均取得了更高的分类准确率，证明了超分辨率技术对于交通标志图像分类准确率的提高具有促进作用。