基于宽浅稠密网络的无人驾驶汽车交通标志牌识别

以稠密网络为基础设计了交通标志牌识别模型,重点研究数据集预处理网络,利用宽浅稠密网络提取图片特征,并构建了全局平均池化分类网络。利用翻转和数据增强方法对数据集进行扩增处理,采用动态数据扩增策略使模型适应训练数据的变化,在测试集上实现了99.68%的准确率。在标志牌清晰完整和模糊不全两种情况下验证模型识别效果,结果显示,模型未出现误检和漏检情况,在图像信息被破坏的情况下,仍能以最大置信度正确地识别标志牌,识别准确度高、抗干扰能力强,具有良好的鲁棒性及泛化能力。     

基于YOLO v3深度学习算法的道路裂缝识别模型研究

针对道路裂缝检测识别需人工参与、传统算法识别不准确等问题,提出一种基于YOLO v3深度学习算法的道路裂缝识别方法。首先将数据集图片缩放成416×416,然后利用Labelme对数据进行裂缝标注并对边界框位置信息进行转换,最后利用YOLO v3算法框架进行模型训练。结果表明：YOLO v3算法的精确率、召回率、F1分数都大于95%,图片检测速度达到0.123 1 s/张。YOLO v3深度学习算法在精度和速度上都满足了道路裂缝实时检测的要求。     

基于改进深度卷积生成对抗网络的路面指示标志识别方法

针对道路交通环境中路面标志识别涉及的数据集较少和识别准确率不足的问题,研究了基于深度卷积生成对抗网络的道路表面指示标志的识别方法.在深度卷积生成对抗网络的结构基础上,根据具体应用修改生成网络和判别网络的损失函数,并用随机梯度下降算法替代原始的优化器,对指示标志的原始样本集进行样本生成,以增加样本数据量.基于Faster R-CNN算法进行路面标志的特征提取,实现路面指示标志的识别,并基于迁移学习对识别模型进行微调,将目标识别效果应用于实际道路环境中.实验结果表明,通过深度卷积生成对抗网络生成的样本图像有效地扩增了路面标志的数据集,增广后的多类目标识别的mAP提高了17.1%,小样本情况下的识别准确率随着样本量的增加和样本质量的改善而得到了明显的提高.      

基于改进U型神经网络的路面裂缝检测方法

针对传统的裂缝分割算法难以识别狭窄裂缝且分割边缘不精准，从而造成识别精度较低的问题，研究了基于改进U型神经网络（Unet）的路面裂缝检测方法。由于传统Unet特征提取网络是层次较浅的浅层神经网络，难以提取更复杂的裂缝特征信息，故本文以牛津大学视觉几何组网络（VGG16）作为传统Unet的特征提取网络，提高网络的裂缝特征提取能力；为抑制高低阶特征融合时产生的无用特征，本文在模型解码部分添加压缩与激励单元（SE block），构建裂缝注意力单元，使得网络可以关注不同通道下的裂缝特征，建立了基于SE block和VGG16的改进Unet网络（SE-VUnet）。研究采用迁移学习的方法，将在ImageNet上预训练好的VGG16网络权重迁移到裂缝检测中。通过挑选Crack500数据集，并使用摄像头采集图片构建1 600张路面裂缝数据集，再次训练SE-VUnet模型，获得裂缝区域分割结果。以查准率（precision）与查全率（recall）的加权调和平均值F1和雅卡尔（Jaccard）相似系数作为量化评价指标。将SE-VUnet分别与Unet、SOLO v2、Mask R-CNN以及Deeplabv3+进行分割效果和实时性对比。研究结果表明:SE-VUnet模型的综合F1和雅卡尔系数分别为0.840 3和0.722 1，相比于Unet分别高出了1.04%和1.51%，且均高于其他3种对比模型；SE-VUnet的单帧图片预测时间为89 ms，在分割效果提升明显的情况下仅比Unet慢5 ms，优于其他模型。      

基于深度学习方法的路面裂缝目标检测

公路和城市道路最主要的路面损坏类型是裂缝类病害。能否准确识别,尤其在众多路面信息图像中高效甄别各类表观病害,为路面技术状况评定、养护科学决策和路面病害处置提供基础数据,是当前领域研究的重难点。为此,对横向裂缝、纵向裂缝、斜裂缝长度类和龟裂、破损板面积类等典型裂缝类病害几何特征进行分析,确定了自动识别裂缝样本标注方法,构建了路面裂缝目标检测样本库,包含沥青裂缝长度类图像样本6 311个、龟裂面积类图像样本4 086个、水泥裂缝长度类图像样本37 945个、破碎板面积类图像样本7 310个。基于Faster-RCNN进行训练验证,开展路面裂缝目标检测并实现自动识别。利用北京市政道路2 000 km路面图像进行试验验证,并与路面裂缝Unet分割自动识别方法进行对比。试验结果表明,开展路面裂缝目标检测可通过提出的深度学习方法,有效提高召回率和准确率,其值高达85%以上,自动识别运行效率为12.3帧/s,与Unet分割自动识别方法对比更接近路面裂缝实际情况。     

基于Crack Mask R-CNN模型的路面裂缝像素级分割及测量算法应用分析

针对现有路面裂缝分割存在的问题,该文提出一种Crack Mask R-CNN像素级分割算法。Crack Mask R-CNN是一种用于路面裂缝图像的实例分割框架,其不仅可对图像中的裂缝进行检测,还可以对每一个裂缝的具体轮廓给出一个高质量的分割结果。首先对采集的道路裂缝大数据进行数据去噪和数据增强,构建用于模型训练、测试的数据集;其次,通过优化分割算法中锚框的比例和大小提高模型选择裂缝候选区域的准确度,并使用IoU-guided非极大值抑制（Non-Maximum Suppression,NMS）算法替代传统算法,以此提高道路裂缝分割精度。在模型学习超参数优化方面,通过训练多种组合算例,从中选择分割效果最优的超参数组合,最终训练出裂缝分割精度为93.45%的分割模型;最后,通过提取裂缝区域的拓扑特征信息,进一步实现裂缝像素级别尺寸信息的有效测量。     

基于改进掩码-区域卷积神经网络的混凝土病害实例分割

为对混凝土病害图像进行更精确的实例分割，提出改进掩码-区域卷积神经网络(Mask Region Convolution Neural Network, Mask-RCNN)。该网络采用轻量级的可移动网络(MobileNetV2)代替原始Mask-RCNN中卷积层过大的主干网络——残差网络(ResNet101),加入路径聚合网络(PANet),以提高Mask-RCNN提取浅层特征信息的能力。为验证改进Mask-RCNN的识别精度及其在实际工程中的可行性，首先构建多类混凝土病害图像数据集，利用K-means聚类算法确定最适合该数据集的先验边界框的长宽比，然后对比改进Mask-RCNN与原始Mask-RCNN、其它主流深度学习网络对混凝土五类病害(裂缝、露筋、剥落、白皙和空洞)的识别结果；最后利用无人机采集到的钢筋混凝土桥梁病害图像作为测试集进行测试。结果表明：改进Mask-RCNN在提高计算速度的同时能更准确地定位病害，减少了误检和漏检，识别精度高于原始Mask-RCNN及其它深度学习网络；改进Mask-RCNN可以识别无人机拍摄的未经训练的新的混凝土病害图像，识别精度满足实际工程需求。     

基于SFO-DPC算法的三维沥青路面裂缝检测

复杂的路面纹理和噪声的影响导致现有路面裂缝检测方法有效性较低。为了提高路面裂缝检测精度,该文提出一种基于自调节步长果蝇优化密度峰值聚类(SFO-DPC)算法的三维沥青路面裂缝检测系统。首先,利用Gocator3100系列双目智能传感器构建三维图像采集系统来采集沥青路面的三维数据;然后,采用自调节步长果蝇优化密度峰值聚类算法对沥青路面的三维数据进行聚类分析,达到裂缝识别的目的;最后,将聚类分析的结果映射至二维图像中,更直观地验证裂缝检测结果。通过比较发现,该算法能够实现有效的沥青路面裂缝检测,并且相较其他基于聚类的三维检测方法,检测效果更加高效准确。     

基于YOLOX-Resnet50模型的路面病害识别方法的应用与验证

为降低路面病害检测的人工和时间成本,提高检测效率,文章基于采集的G320国道某路段的病害数据,运用改进的YOLOX-Resnet50模型对路面病害进行智能识别,通过两轮训练（其中第二轮是在第一轮数据集的基础上优选数据集）,以评估该模型的性能,探究YOLOX-Resnet50模型在路面病害检测方面的适用性。研究表明：YOLOX-Resnet50模型在路面检测中对病害检测准确度分别为车辙75%、标线67%、修补67%、纵向裂缝50%、横向裂缝40%、网裂24%,平均准确度达到了53.8%。该模型能初步替代人工对病害进行筛选,可有效减少人工及时间成本。     

基于机器视觉的路面裂缝病害多目标识别研究

为了建立一种基于深度学习卷积神经网络的多目标路面裂缝检测模型,实现对路面裂缝的精确识别、分割与统计,采用卷积神经网络Mask R-CNN为主干框架,融入ResNet模型与特征金字塔网络(FPN)提高对病害特征提取的精度,建立了针对裂缝病害识别的基础网络体系;考虑裂缝病害图像特征,采用随机梯度下降算法与冲量算法优化损失函数以提高对裂缝像素的分类性能,通过在主干网络设定目标区域检测范围并利用掩码实现了裂缝病害的像素级识别与分割;标记大量的路面裂缝图像形成训练数据库,分析了路面裂缝的多目标识别模型有效性。结果表明:损失函数中的权重参数取0.3时,识别模型具备较好的识别精度;通过数据增强可以将有限训练集进行有效扩充,极大提高识别模型的泛化能力与鲁棒性,经过训练后的模型能够正确识别98.9%的裂缝对象与93.6%的裂缝类像素;通过将模型对裂缝病害的识别、分类精度与传统深度学习模型、边缘检测算法相比较,在细微裂缝的识别与非裂缝构造的过滤方面具有显著优势。用Mask R-CNN的主干网络进行ResNet模型与FPN扩展能够有效保留裂缝病害的纹理与轮廓细节信息,实现复杂背景下裂缝病害的有效识别。     

基于无人机及Mask R-CNN的桥梁结构裂缝智能识别

桥梁结构表面裂缝检测为桥梁状态识别、病害治理、安全评估提供了重要状态信息和决策依据。为解决传统人工检测方法存在的危险性高、影响交通、费用昂贵等问题,提出基于无人机（Unmanned Aerial Vehicle,UAV）及深度学习的桥梁结构裂缝智能识别方法。采用大疆M210-RTK多旋翼无人机进行贴近航摄,获取桥梁结构混凝土表面高清图像;利用SDNET裂缝数据集等图像资源,制作1 133张标记裂缝精确区域的深度学习训练样本图像库;引入掩膜区域卷积神经网络（Mask R-CNN）深度学习算法,训练和建立Mask R-CNN裂缝识别模型;基于Mask R-CNN裂缝识别模型,采用矩形滑动窗口模式扫描混凝土表面高清图像,实现裂缝自动识别和定位。构建包含图像二值化、连通域去噪、边缘检测、裂缝骨架化、裂缝宽度计算等流程的图像后处理方法,实现裂缝形态及宽度信息自动获取。通过精度验证试验,证实采用M210-RTK无人机+ZENMUSE X5S相机+45 mm奥林巴斯镜头的组合装备,当无人机至桥梁结构表面垂直距离为10.0 m时,无人机方法识别的裂缝宽度与裂缝测量仪结果吻合,其绝对误差小于0.097 mm,相对误差小于9.8%。将该无人机裂缝检测方法应用于高136.8 m长沙市洪山大桥桥塔表面裂缝检测,采用深度学习Mask R-CNN算法进行裂缝智能识别,其裂缝识别准确率和召回率分别达到92.5%和92.5%。研究结果表明：无人机桥梁裂缝检测方法可实现高耸桥梁结构表面裂缝的远程、非接触、自动化检测,具有重要的科学研究和工程应用价值。     

基于深度学习的土木基础设施裂缝检测综述

基于深度学习的裂缝检测对于降低基础设施运营风险、节约运维成本并推进中国土木工程行业智能化转型具有重要意义。算法、数据集和评价指标是构建深度学习裂缝检测模型的关键要素；裂缝检测模型集成于机器人平台，从而实现对土木基础设施的全自动裂缝检测。为此，从以上4个方面对当前研究进行了系统梳理。首先，回顾了深度学习的发展历程，重点介绍了深度卷积神经网络在计算机视觉领域的应用及其在图像处理方面较传统算法所具有的显著优势。接着，详细介绍了3类基于深度学习的裂缝检测主流算法，包括分类算法、目标检测算法和语义分割算法。然后，对现有裂缝图像数据集以及模型性能评价指标进行了归纳。最后，总结了土木基础设施的各类裂缝检测机器人平台。综合分析表明：基于卷积神经网络主干结构的深度学习算法已被广泛用于土木基础设施表面裂缝的精准定位与分类，而裂缝的尺寸信息仍需依靠传统图像处理技术进行提取；由于像素级标注的成本和专业性高，大型的裂缝语义分割数据集相对缺乏，致使当前基于语义分割算法的裂缝检测模型鲁棒性较差；目前多数研究人员采用个人建立的裂缝数据集进行模型训练且采用不同的指标进行模型性能评价，缺乏统一的基准测试数据集和评价指标体系，无法对不同模型的性能进行平行比较；目前针对不同基础设施已相应开发了一些裂缝检测机器人，提高裂缝检测机器人的多场景适应性，并降低其应用成本是未来的发展方向。     

双目视觉技术在城市道路路面裂缝检测中的应用

针对传统城市道路路面裂缝检测效率低下、成本过高等问题,提出了一套基于双目视觉与数字化图像处理的自动化检测方法。用一对CCD工业相机同时采集道路表面裂缝,再对图像进行数字二值化处理以提取裂缝特征点,根据双目视觉理论计算特征点的坐标,由此计算路面裂缝的最大宽度和最大长度,从而实现对城市道路路面裂缝的快速自动化测量。计算结果表明:被测路面裂缝的最大宽度与最大长度测量误差分别控制在10%和1%以内,符合相关技术标准要求,且检测耗时大为缩短。     

基于深度学习的驾驶员状态识别

提出了基于驾驶员脸部及周围信息的驾驶员状态检测方法。文章通过实车摄像头采集了驾驶员驾驶状态视频数据,利用Dlib和OpenCV库对采集的驾驶员图像进行脸部检测,基于驾驶员脸部数据建立了深度学习数据集,然后基于该数据集设计了一种卷积神经网络模型FaceNet,利用PyTorch深度学习框架在数据集上对模型进行训练,最终得到了有较高准确率的驾驶员状态检测模型,其可识别抽烟、睡觉、左手打电话和右手打电话四种驾驶员状态。     

基于改进SegNet的沥青路面病害提取与分类方法

针对现有SegNet算法难以精确区分裂缝和灌封裂缝等具有相似特征的沥青路面病害的问题，提出了基于改进SegNet网络的沥青路面病害提取方法。针对道路标线和光照不均匀等导致路面病害图像质量差异化的因素，本研究在去除道路标线的基础上，运用带色彩恢复的多尺度视网膜增强算法，降低道路标线和光照对图像质量的影响以及增强路面病害图像的对比度、色调和亮度，提高病害的识别精度；为了充分利用图像的上下文信息，解决SegNet网络对细微病害分割效果不佳的问题，引入残差神经网络（ResNet）作为编码器，并对解码器中每个上采样产生的特征图拼接2个分别由卷积层（1×1的卷积核）和空洞卷积层从对应的编码器中获取的尺度相同的特征图；运用形态学闭运算连接分割结果中不连续的裂缝。为了验证改进算法的有效性，将其与典型的语义分割方法（SegNet和BiSeNet）在测试集上进行测试和性能对比。研究结果表明，3种方法的平均交并比（MIoU）和F1分数（F1-score）分别为（82.4%，98.9%），（69.4%，94.0%），（80.5%，98.1%）；利用这3种方法对甘肃省部分路段路面病害的提取效果进行对比测试，提出方法的裂缝漏检率和误检率分别为2.91%，1.94%，优于SegNet（10.68%，14.56%）和BiSeNet（6.80%，12.62%）。本研究所提方法能够更精确地提取和区分沥青路面裂缝和灌封裂缝。      

基于虚拟试验场的强化路面建模方法研究

虚拟试验场是依据某汽车试验场建立的,可用于在仿真环境下对车辆进行路试试验。虚拟试验场的路面建模需要保证具有实际路面特性,文章针对虚拟试验场建立中强化路面的建立问题进行研究,提出一种方法,可以准确的建立虚拟试验场的强化路面。利用双轨路面计测量强化路面的不平度,对测试数据进行分析处理,保证测量结果的准确性,应用试验场规则路面的详细尺寸信息建立模拟路面。对于规则强化路面,应用实际尺寸和技术规范等信息建立,对于不规则强化路面,利用实际测量的路面不平度,通过功率谱估计、路面等级分析、路面不平度数字化等建立模拟路面。通过相关性分析,保证所建立的模拟路面的准确性和可信性。     

基于LBP算子的路面类型识别研究

不同的路面类型会对车辆的制动、加速、变道等决策产生不同影响,因此实时获取路面类型信息对于提高智能汽车的安全性、舒适性等有着重要意义。论文提出一种基于LBP算子的路面类型识别方法,首先采集了四种车辆行驶常见路面的图像信息,并对图像进行了增广处理;然后使用LBP算子提取出路面图像的纹理特征,再采用PCA方式对纹理特征进行降维;最后通过分类器对数据进行训练与分类。实验结果表明该方法的最高分类准确率可以达到98.5%,有效提升了当前路面类型识别的精度。     

基于Faster R-CNN与形态法的路面病害识别

为提高基于图像处理的路面表观病害检测识别效率及精度,引入目标检测中的快速区域卷积神经网络（Faster Region Convolutional Neural Network,Faster R-CNN）算法以快速识别病害种类、位置与面积;针对已提取的带边框裂缝病害区域,采用基于VGG16迁移学习与模型微调的CNN与50%重叠率的滑动窗口定位裂缝骨架,进而利用形态法操作提取裂缝形态,计算其长度与宽度;针对Faster R-CNN算法在病害种类识别时漏检率低但误检率偏高的问题,引入精确率、召回率和F₁分数指标对算法进行评估,并根据F₁分数最大值确定相应的病害框像素面积及置信度阈值来降低误检率,以适应路面表观病害多样化的应用场景。运用开发的病害识别算法对广东一高速公路路面进行表观检测。结果表明：所提方法对典型裂缝图片的识别效率及精度均高于单独应用CNN滑动窗口和传统形态法的全局图像处理方法;对分段的裂缝边界框进行合并,且病害框像素面积及置信度阈值取优化值后,横向裂缝精确率由合并前的0.861提升至合并后的0.918,横向及纵向裂缝误检率则分别由调整前的20.4%和23.8%下降至调整后的8.2%和6.9%,漏检率则稍有提高。基于Faster R-CNN、CNN及形态法的路面病害识别方法具有工作高效、漏检率低的优点,在引入评估指标、最优病害框像素面积与置信度阈值后,病害误检率也大幅降低,具有潜在工程应用价值。     

基于道路载荷谱的车身疲劳寿命改进研究

叙述了基于实测道路载荷谱将CAE疲劳寿命预测技术与整车道路模拟试验相结合的方法对某车型车身进行疲劳失效再现和改进设计的过程,改进后的车身分别通过了整车台架试验和试车场道路耐久试验,解决了开发过程中的实际问题。虚拟分析识别出的失效位置与物理试验失效结果一致,可以利用其部分替代物理试验来进行车身的改进设计。实践证明CAE疲劳寿命预测技术与整车道路模拟试验相结合的方法能够有效减少车身开发中的试验数量、缩短开发周期。     

A low-cost video-based pavement distress screening system for low-volume roads

This study investigates the use of consumer-grade video camera to develop a low-cost pavement distress screening system, with a particular focus on low-volume roads. Due to the oblique view of video data captured in the car front, existing crack detection algorithms that are tailor-made for nadir view cannot be used directly. Instead, we propose and develop a Video-based PAvement Distress Screening (VPADS) system, which includes an automatic data processing workflow by first defining a Region of Interest (RoI) through robust line fitting of the two side lanes. The pavement condition can be assessed within the RoI by implementing a multi-scale ridge detection filter followed by a boundary contour analysis. Since the proposed VPADS system is designed for preliminary screening purpose, each video image scene is examined if there exists any potential crack or distress feature(s). We tested the proposed system on video data collected for two low-volume roads (Highway 624 and 668) in Northern Ontario region, Canada. The overall accuracy of detecting crack and distress features yielded 80%. Instead of replacing traditional field inspection or high-end multi-sensor pavement evaluation system, the proposed VPADS system aims to provide a computer-aided screening solution for transportation authorities of a vast rural road/highway network and with limited inspection budget. The scope of the work can be further expanded by developing a crowdsensing inspection network built by any regular road user, who can also act as a data provider for the regional/municipal pavement distress screening system.