基于机器视觉的路面裂缝病害多目标识别研究

为了建立一种基于深度学习卷积神经网络的多目标路面裂缝检测模型,实现对路面裂缝的精确识别、分割与统计,采用卷积神经网络Mask R-CNN为主干框架,融入ResNet模型与特征金字塔网络(FPN)提高对病害特征提取的精度,建立了针对裂缝病害识别的基础网络体系;考虑裂缝病害图像特征,采用随机梯度下降算法与冲量算法优化损失函数以提高对裂缝像素的分类性能,通过在主干网络设定目标区域检测范围并利用掩码实现了裂缝病害的像素级识别与分割;标记大量的路面裂缝图像形成训练数据库,分析了路面裂缝的多目标识别模型有效性。结果表明:损失函数中的权重参数取0.3时,识别模型具备较好的识别精度;通过数据增强可以将有限训练集进行有效扩充,极大提高识别模型的泛化能力与鲁棒性,经过训练后的模型能够正确识别98.9%的裂缝对象与93.6%的裂缝类像素;通过将模型对裂缝病害的识别、分类精度与传统深度学习模型、边缘检测算法相比较,在细微裂缝的识别与非裂缝构造的过滤方面具有显著优势。用Mask R-CNN的主干网络进行ResNet模型与FPN扩展能够有效保留裂缝病害的纹理与轮廓细节信息,实现复杂背景下裂缝病害的有效识别。     

基于卷积自编码的沥青路面目标与裂缝智能识别

目前基于深度学习的路面裂缝识别经常面临训练数据集小，以及路面图片标注成本高等问题，基于小规模路面图片数据集，利用卷积自编码（CAE）方法进行数据增强，开展包括路面裂缝在内的路面目标智能化识别方法研究。在传统图像几何变换数据增强的基础上，采用CAE重构图片方法对原始数据集进行两步骤扩增；利用卷积神经网络DenseNet，设置了不同数据扩增方法的对比试验；针对沥青路面裂缝图片背景较黑，裂缝特征不清晰，无监督聚类学习难度大等问题，采用了一种基于CAE预训练的深度聚类算法DCEC，对经数据增强的路面图片进行无标注的聚类识别。研究结果表明：经过DenseNet网络100代的训练，在同一测试集的测试下，基于原始数据集训练的网络分类准确度为78.43%，利用传统图像处理方法进行扩增后准确度为83.44%，利用所提出的图片增强方法进行数据扩增后准确度达87.19%；在保持扩增后数据集样本量大小相同的情况下，与几何变换、像素颜色变换等经典数据增强手段相比，CAE重构图片的数据扩增方法有较高的路面图片识别精度；CAE数据扩增方法较受训练数据集样本量的影响，利用传统方法将数据集扩增后进行CAE特征学习，重构后的图片样本更易被机器识别；相较于传统机器学习聚类算法，所提出的的DCEC深度聚类方法将聚类准确率提升了约10%，初步实现了无需人工标注的路面目标的端到端智能识别。     

基于卷积神经网络的路表病害识别与测量

为进一步提高利用二维图像统计路面病害的精度与效率,将卷积神经网络（Convolutional Neural Network,CNN）技术引入了基于图像分析的路面病害识别与测量。首先,将原始图像进行等尺寸分割作为CNN的训练样本。其次,经结构设计、前反馈算法训练及样本测试3个步骤后,建立病害识别模型（CNN1）。用训练完成的CNN1对所有图像进行病害类型识别并将输出结果作为裂缝特征提取模型（CNN2）和坑槽特征提取模型（CNN3）的训练样本。采用相同步骤建立裂缝特征提取和坑槽特征提取模型,完成训练后,运行CNN2,CNN3对路面裂缝与坑槽图像进行特征提取。最后,分析图像分辨率对3个CNN识别和特征提取精度以及效率的影响。结果表明：CNN1可以准确识别多种病害,CNN2的裂缝长度提取的平均误差为4.27%,宽度提取的平均误差为9.37%,裂缝病害严重等级判断准确率为98.99%;CNN3的单张图像中的坑槽个数测量无误差,单个坑槽面积的平均误差为13.43%,坑槽病害等级判定准确率为95.32%,可见CNN具有较高的测量精度;CNN1在使用CPU的情况下测试完成原始图像平均用时为704 ms·幅^-1,CNN2用时为5 376 ms·幅^-1,采用图形处理器加速后CNN1用时为192 ms·幅^-1,CNN2测试平均用时为1 024 ms·幅^-1,可见CNN在图形处理器加速下效率具有显著优势,相比其他方法,在图像分辨率高于70像素时,CNN对路面裂缝与坑槽的识别与测量具有运算高效、结果精准等优势。     

基于语义分割网络模型的路面裂缝识别

沥青路面在使用过程中,很容易因基层的干缩、温缩以及外部的车辆荷载作用发生开裂。随着时间推移,在内、外部应力的不断作用下,这些裂缝的开裂状况会逐渐加深,导致路面使用寿命降低。目前,路面裂缝识别多集中识别图片中是否存在裂缝,并未达到像素级的精度。文中提出利用语义分割网络模型去识别路面裂缝,能够将裂缝图片与对应标签进行逐像素的学习与训练,从而使训练出的网络模型能够识别裂缝的具体区域和形态,实现像素级的识别精度。     

基于改进SegNet的沥青路面病害提取与分类方法

针对现有SegNet算法难以精确区分裂缝和灌封裂缝等具有相似特征的沥青路面病害的问题，提出了基于改进SegNet网络的沥青路面病害提取方法。针对道路标线和光照不均匀等导致路面病害图像质量差异化的因素，本研究在去除道路标线的基础上，运用带色彩恢复的多尺度视网膜增强算法，降低道路标线和光照对图像质量的影响以及增强路面病害图像的对比度、色调和亮度，提高病害的识别精度；为了充分利用图像的上下文信息，解决SegNet网络对细微病害分割效果不佳的问题，引入残差神经网络（ResNet）作为编码器，并对解码器中每个上采样产生的特征图拼接2个分别由卷积层（1×1的卷积核）和空洞卷积层从对应的编码器中获取的尺度相同的特征图；运用形态学闭运算连接分割结果中不连续的裂缝。为了验证改进算法的有效性，将其与典型的语义分割方法（SegNet和BiSeNet）在测试集上进行测试和性能对比。研究结果表明，3种方法的平均交并比（MIoU）和F1分数（F1-score）分别为（82.4%，98.9%），（69.4%，94.0%），（80.5%，98.1%）；利用这3种方法对甘肃省部分路段路面病害的提取效果进行对比测试，提出方法的裂缝漏检率和误检率分别为2.91%，1.94%，优于SegNet（10.68%，14.56%）和BiSeNet（6.80%，12.62%）。本研究所提方法能够更精确地提取和区分沥青路面裂缝和灌封裂缝。      

基于Faster R-CNN与形态法的路面病害识别

为提高基于图像处理的路面表观病害检测识别效率及精度,引入目标检测中的快速区域卷积神经网络（Faster Region Convolutional Neural Network,Faster R-CNN）算法以快速识别病害种类、位置与面积;针对已提取的带边框裂缝病害区域,采用基于VGG16迁移学习与模型微调的CNN与50%重叠率的滑动窗口定位裂缝骨架,进而利用形态法操作提取裂缝形态,计算其长度与宽度;针对Faster R-CNN算法在病害种类识别时漏检率低但误检率偏高的问题,引入精确率、召回率和F₁分数指标对算法进行评估,并根据F₁分数最大值确定相应的病害框像素面积及置信度阈值来降低误检率,以适应路面表观病害多样化的应用场景。运用开发的病害识别算法对广东一高速公路路面进行表观检测。结果表明：所提方法对典型裂缝图片的识别效率及精度均高于单独应用CNN滑动窗口和传统形态法的全局图像处理方法;对分段的裂缝边界框进行合并,且病害框像素面积及置信度阈值取优化值后,横向裂缝精确率由合并前的0.861提升至合并后的0.918,横向及纵向裂缝误检率则分别由调整前的20.4%和23.8%下降至调整后的8.2%和6.9%,漏检率则稍有提高。基于Faster R-CNN、CNN及形态法的路面病害识别方法具有工作高效、漏检率低的优点,在引入评估指标、最优病害框像素面积与置信度阈值后,病害误检率也大幅降低,具有潜在工程应用价值。     

基于深度学习方法的路面裂缝目标检测

公路和城市道路最主要的路面损坏类型是裂缝类病害。能否准确识别,尤其在众多路面信息图像中高效甄别各类表观病害,为路面技术状况评定、养护科学决策和路面病害处置提供基础数据,是当前领域研究的重难点。为此,对横向裂缝、纵向裂缝、斜裂缝长度类和龟裂、破损板面积类等典型裂缝类病害几何特征进行分析,确定了自动识别裂缝样本标注方法,构建了路面裂缝目标检测样本库,包含沥青裂缝长度类图像样本6 311个、龟裂面积类图像样本4 086个、水泥裂缝长度类图像样本37 945个、破碎板面积类图像样本7 310个。基于Faster-RCNN进行训练验证,开展路面裂缝目标检测并实现自动识别。利用北京市政道路2 000 km路面图像进行试验验证,并与路面裂缝Unet分割自动识别方法进行对比。试验结果表明,开展路面裂缝目标检测可通过提出的深度学习方法,有效提高召回率和准确率,其值高达85%以上,自动识别运行效率为12.3帧/s,与Unet分割自动识别方法对比更接近路面裂缝实际情况。     

基于Jetson TX2的路面裂缝检测系统设计

针对目前采用深度学习框架的路面裂缝检测方法存在落地应用难、成本高与效率低等问题，设计了基于Jetson TX2的路面裂缝检测系统。通过YOLOv5网络识别路面裂缝，使用U-Net网络对裂缝目标进行分割，并根据分割结果进行路面健康评价；其次，利用TensorRT方法优化深度学习模型，提高推理速度；最后，结合DeepStream框架设计路面视频流分析系统并部署到Jetson TX2嵌入式平台。实验结果表明：路面裂缝目标检测模型对横向、纵向和网状裂缝3种路面常见路面裂缝的检测精度均达到了90%以上，且模型优化后的推理速度为30.7 ms/帧，速率提升35.1%;最后经过验证，Jetson TX2嵌入式平台的裂缝漏检率较低且满足路面裂缝检测的实时性，能够降低路面裂缝检测的成本，给出相应的维修建议，提高路面裂缝检测效率与自动化程度。     

基于V GG深度卷积神经网络和空间分布的道路裂纹种类识别

为了检测道路裂纹种类从而掌握路面状况信息进而为路面养护提供依据,研究了结合改进VGG卷积神经网络和空间分布的道路裂纹种类的识别方法.通过改进VGG网络的输入层和FC层神经元的个数,解决基于灰度图的裂纹子块的二分类识别问题,并对比不同结构的VGG网络框架在裂纹分割的结果,确定VGG11是解决基于灰度图的裂纹分割的最佳网络结构,利用基于子块的连通区域方法去除噪声子块,通过主成因分析方法提取裂纹子块的空间分布向量和对应分布系数,根据空间分布系数的比值识别道路裂纹类型.利用不同地点采集的180张裂纹图像对该方法进行验证.结果表明,该方法在识别横向裂纹、纵向裂纹和网状裂纹的正确率分别为97.6%,97.3% 和95.4%.该方法可有效地识别道路裂纹种类,特别在油污等路面复杂状况下,该方法依然具有较好的检测结果.      

基于GhostNet的轻量级桥梁裂缝图像语义分割算法

针对现有的桥梁裂缝检测语义分割网络参数量过于庞大、计算时间长、难以部署在移动端等资源受限的设备上，而且存在裂缝细节识别困难、分割结果不连续的问题，提出了一种优化PSPNet网络结构的改进型轻量级裂缝语义分割模型Ghost-PSPNet。首先利用GhostNet替换ResNet-50作为主干网络，以更小的计算代价生成冗余特征，其次在模型中引入一条支路结构融合多层级特征，得到含更多准确裂缝形态、空间位置信息的高语义特征图，并在金字塔池化模块(Pyramid pooling module PPM)后嵌入自适应通道注意力机制ECANet来强化上下文语义关系衔接。实验结果表明，与PSPNet以及ShuffletNetV2、VGG16为主干的DeepLabV3+、UNet网络相比该模型mIoU值可达82.8%,所占内存仅为14.9 MB较原始PSPNet模型减少了近90%,实时帧率值FPS为38,实现了实时性和准确率的良好平衡。     

基于改进RepVGG网络的车道线检测算法

为提高自动驾驶系统中车道线检测的速度和精度,提出了基于可解耦训练状态与推理状态的车道线检测算法.在结构重参数化VGG(RepVGG)主干网络中引入注意力机制压缩-激励(SE)模块,增强对重要车道线信息的特征提取;同时设计并行可分离的辅助分割分支,对局部特征进行建模以提高检测精度.采用行方向位置分类车道线检测方式,在主干...     

野外环境下基于改进 Faster R-CNN的无人车障碍物检测方法

针对无人车在越野环境中障碍物检测存在特征提取能力不足和检测准确率低等问题,提出一种基于改进型Faster R-CNN卷积神经网络模型的障碍物检测方法。通过构建FPN与ResNet50组合的网络结构来实现对野外障碍物的特征提取,有效解决了特征提取时障碍物细节特征丢失和尺度变换大的问题。使用Soft-NMS代替NMS,避免了NMS非极大值抑制由于阈值难调整带来的误删除和误检问题。在每个卷积层残差块最后嵌入注意力机制,有助于特征图中有效特征信息筛选和减小计算量。试验结果表明,构建的改进型Faster R-CNN卷积神经网络模型可准确识别野外环境中的障碍物,从而验证了该模型有良好的检测能力,对提升无人车的野外感知能力具有重要意义。     

刚性路面脱空声识别集成神经网络方法

基于集成神经网络对刚性路面脱空声的识别与分类能力,用简单的敲击法获取了刚性路面的声响应信号,通过对声信号的频域特征提取,应用集成神经网络对刚性路面脱空状况进行了识别.实验表明所给出的特征提取方法和集成神经网络模型是解决刚性路面脱空识别的一条较为有效途径.     

A low-cost video-based pavement distress screening system for low-volume roads

This study investigates the use of consumer-grade video camera to develop a low-cost pavement distress screening system, with a particular focus on low-volume roads. Due to the oblique view of video data captured in the car front, existing crack detection algorithms that are tailor-made for nadir view cannot be used directly. Instead, we propose and develop a Video-based PAvement Distress Screening (VPADS) system, which includes an automatic data processing workflow by first defining a Region of Interest (RoI) through robust line fitting of the two side lanes. The pavement condition can be assessed within the RoI by implementing a multi-scale ridge detection filter followed by a boundary contour analysis. Since the proposed VPADS system is designed for preliminary screening purpose, each video image scene is examined if there exists any potential crack or distress feature(s). We tested the proposed system on video data collected for two low-volume roads (Highway 624 and 668) in Northern Ontario region, Canada. The overall accuracy of detecting crack and distress features yielded 80%. Instead of replacing traditional field inspection or high-end multi-sensor pavement evaluation system, the proposed VPADS system aims to provide a computer-aided screening solution for transportation authorities of a vast rural road/highway network and with limited inspection budget. The scope of the work can be further expanded by developing a crowdsensing inspection network built by any regular road user, who can also act as a data provider for the regional/municipal pavement distress screening system.     

集成神经网络信息融合技术在刚性路面脱空识别中的应用

基于集成神经网络对刚性路面脱空声的识别与分类能力,用简单的敲击法获取了刚性路面的声响应信号,通过对声信号的频域特征提取,应用集成神经网络对刚性路面脱空状况进行识别。实验表明:所给出的特征提取方法和集成神经网络模型是解决刚性路面脱空识别的一条较为有效的途径。     

面向自动驾驶的遥感影像路网检测方法

针对高分辨率遥感影像道路提取难度大、提取精度低的问题，提出了一种基于VGGU-Net++的遥感影像路网检测方法。首先基于VGGU-Net框架构建了编码器-解码器网络；其次，设计了一系列嵌套、密集的卷积块，用以缩小编码器与解码器特征映射之间的语义差距。节点之间利用跳跃连接填充了具有多个卷积层的密集卷积块，其层数取决于金字塔等级；并在2个卷积块之间设置1个串联层，该层将同一密集块前一个卷积层的输出和浅层的上采样输出进行特征图融合。同时，使用深监督策略保证网络模型的修剪程度和速度增益。在网络训练过程中，这种相似语义特征图的跳转连接可以简化优化操作，提高网络训练性能。最后，利用遥感影像开源数据集——马萨诸塞州数据集进行算法的测试与验证。结果表明，提出的VGGU-Net++网络与现有同类方法相比，获得了更好的性能表现，在精确率、召回率、F₁-score和I_oU方面分别达到了88.1%、87.1%、88.5%和77.9%，能够实现城市、山区、直线、弯曲道路场景高维、复杂、抽象特征的自动提取；此外，检测结果能够减少干扰，降低误检，保留更多道路细节信息，得到更加完整、清晰的路网检测效果。     

基于图像自动匀光的路面裂缝图像分析方法

基于视频图像检测裂缝是当前路面病害检测的主要手段。为解决路面裂缝检测系统在不同光照条件下裂缝识别可靠性问题,研究了一种基于图像自动匀光的路面裂缝图像分析方法。首先对基于面阵CCD相机图像裂缝检测存在的问题进行分析,提出采用图像自动匀光技术解决不同光照条件下图像一致性输入问题;其次,设计了一种基于自动电子印相机原理的路面图像快速匀光算法,提出了一种实用的路面裂缝图像处理策略并设计了路面裂缝图像处理流程;最后,对一组由面阵CCD相机获取的路面图像按照该方法进行路面裂缝检测试验,验证了基于图像自动匀光的路面裂缝图像分析技术的合理性和实用性。