基于嵌入式平台的车前红外行人检测方法研究

针对当前目标检测方法普遍需要高功耗GPU计算平台、易受光照条件影响的问题，提出2种基于嵌入式平台的车前红外行人检测方法：将训练好的YOLOv4-tiny模型使用英伟达开源推理加速库TensorRT进行优化，部署于嵌入式平台；以YOLOv4-tiny模型作为算法的基本架构，结合视觉注意力机制和空间金字塔池化思想，同时增加1个YOLO层，提出YOLOv4-tiny+3L+SPP+CBAM网络模型。将2种方法在FLIR数据集上进行训练与测试，并在Jetson TX2嵌入式平台上进行试验，试验结果表明：相较于原始网络YOLOv4-tiny，所提出的第1种方法平均准确率降低0.54%，推理速度提升86.43%（帧速率达26.1帧/s）；提出的第2种方法平均准确率提升16.21%，推理速度降低22.86%（帧速率达10.8帧/s）。2种方法均可兼顾准确率和实时性，能够满足车前红外行人检测的需要。     

基于机器视觉的路面裂缝病害多目标识别研究

为了建立一种基于深度学习卷积神经网络的多目标路面裂缝检测模型,实现对路面裂缝的精确识别、分割与统计,采用卷积神经网络Mask R-CNN为主干框架,融入ResNet模型与特征金字塔网络(FPN)提高对病害特征提取的精度,建立了针对裂缝病害识别的基础网络体系;考虑裂缝病害图像特征,采用随机梯度下降算法与冲量算法优化损失函...     

基于深度学习的土木基础设施裂缝检测综述

基于深度学习的裂缝检测对于降低基础设施运营风险、节约运维成本并推进中国土木工程行业智能化转型具有重要意义。算法、数据集和评价指标是构建深度学习裂缝检测模型的关键要素；裂缝检测模型集成于机器人平台，从而实现对土木基础设施的全自动裂缝检测。为此，从以上4个方面对当前研究进行了系统梳理。首先，回顾了深度学习的发展历程，重点介绍了深度卷积神经网络在计算机视觉领域的应用及其在图像处理方面较传统算法所具有的显著优势。接着，详细介绍了3类基于深度学习的裂缝检测主流算法，包括分类算法、目标检测算法和语义分割算法。然后，对现有裂缝图像数据集以及模型性能评价指标进行了归纳。最后，总结了土木基础设施的各类裂缝检测机器人平台。综合分析表明：基于卷积神经网络主干结构的深度学习算法已被广泛用于土木基础设施表面裂缝的精准定位与分类，而裂缝的尺寸信息仍需依靠传统图像处理技术进行提取；由于像素级标注的成本和专业性高，大型的裂缝语义分割数据集相对缺乏，致使当前基于语义分割算法的裂缝检测模型鲁棒性较差；目前多数研究人员采用个人建立的裂缝数据集进行模型训练且采用不同的指标进行模型性能评价，缺乏统一的基准测试数据集和评价指标体系，无法对不同模型的性能进行平行比较；目前针对不同基础设施已相应开发了一些裂缝检测机器人，提高裂缝检测机器人的多场景适应性，并降低其应用成本是未来的发展方向。     

基于检测的高效自动驾驶实例分割方法

基于深度学习的实例分割算法在大规模通用场景中取得了良好的分割性能，然而面向复杂交通场景的多目标实例分割仍然极具挑战性，尤其在算法的高精度和较快推理速度的权衡方面，而这对于智能汽车的行驶安全性至关重要。鉴于此，本文以实时性算法Orienmask为基础，提出了一种基于单阶段检测算法的多头实例分割框架。具体来说，所提框架由骨干网络、特征融合模块和多头掩码构建模块组成。首先，本文通过在骨干网络中加入残差结构获取更加完整的高维表征信息。其次，为了产生更具判别性的特征表达，本文通过引入自校正卷积重构特征金字塔，并使用全局注意力机制改善信息传播以进一步优化所提框架的特征融合模块。最后，提出的多头掩码构建机制通过细化场景目标尺寸分布显著提高不同目标的分割性能。本文算法在开源数据集BDD100k上进行大量测试与验证，分别在边界框和掩码上获得了23.3%和19.4%的均交并比（mAP@0.5:0.95），与基线方法相比，平均指标提高了5.2%和2.2%。同时在基于自主搭建的实车平台上进行的道路实验也证明本算法能够较好地适应真实驾驶环境，且满足实时性分割需求。     

基于深度学习和虚拟模型的路面全域伤损状态自动化感知

路面全域伤损的有效感知是全面、系统地实施维护决策的关键依据。提出一种基于深度学习和虚拟模型的路面全域伤损状态自动化感知方法。该方法首先基于无人机实测数据建模生成路面虚拟实体；然后使用深度语义分割网络从实测数据中精细化地检测路面伤损；最后，将输出的伤损特征检测结果与虚拟实体数据进行匹配和UV映射，获取各个伤损在虚拟空间中的定位信息并逐一部署，得到面向路面全域的伤损状态感知模型。结果表明：在现场实测统计长为236 m,宽为20 m的实际路面区域试验研究中，充分训练的U-Net网络的平均交并比(MIoU)达到0.86,显示出对无人机采集到的路面伤损区域极佳的分割精度。建立的路面伤损状态感知模型有效感知实际存在的伤损91处，与传统的二维检测结果相比，能够更加系统地对路面全域伤损进行全局表征，便于高效地推断伤损的特征和位置信息，实现精准、动态的路面服役状态评估。     

基于深度学习方法的路面裂缝目标检测

公路和城市道路最主要的路面损坏类型是裂缝类病害。能否准确识别,尤其在众多路面信息图像中高效甄别各类表观病害,为路面技术状况评定、养护科学决策和路面病害处置提供基础数据,是当前领域研究的重难点。为此,对横向裂缝、纵向裂缝、斜裂缝长度类和龟裂、破损板面积类等典型裂缝类病害几何特征进行分析,确定了自动识别裂缝样本标注方法,构建了路面裂缝目标检测样本库,包含沥青裂缝长度类图像样本6 311个、龟裂面积类图像样本4 086个、水泥裂缝长度类图像样本37 945个、破碎板面积类图像样本7 310个。基于Faster-RCNN进行训练验证,开展路面裂缝目标检测并实现自动识别。利用北京市政道路2 000 km路面图像进行试验验证,并与路面裂缝Unet分割自动识别方法进行对比。试验结果表明,开展路面裂缝目标检测可通过提出的深度学习方法,有效提高召回率和准确率,其值高达85%以上,自动识别运行效率为12.3帧/s,与Unet分割自动识别方法对比更接近路面裂缝实际情况。     

基于Crack Mask R-CNN模型的路面裂缝像素级分割及测量算法应用分析

针对现有路面裂缝分割存在的问题,该文提出一种Crack Mask R-CNN像素级分割算法。Crack Mask R-CNN是一种用于路面裂缝图像的实例分割框架,其不仅可对图像中的裂缝进行检测,还可以对每一个裂缝的具体轮廓给出一个高质量的分割结果。首先对采集的道路裂缝大数据进行数据去噪和数据增强,构建用于模型训练、测试的数据集;其次,通过优化分割算法中锚框的比例和大小提高模型选择裂缝候选区域的准确度,并使用IoU-guided非极大值抑制（Non-Maximum Suppression,NMS）算法替代传统算法,以此提高道路裂缝分割精度。在模型学习超参数优化方面,通过训练多种组合算例,从中选择分割效果最优的超参数组合,最终训练出裂缝分割精度为93.45%的分割模型;最后,通过提取裂缝区域的拓扑特征信息,进一步实现裂缝像素级别尺寸信息的有效测量。     

路面裂缝图像自动识别算法综述

路面裂缝自动检测对于路面养护管理、路面性能评价与预测、路面材料和结构设计具有重要的实用价值,但快速、准确、全面且稳定地识别路面裂缝一直是个难题.为此,对路面裂缝自动检测研究现状进行综述,包括以图像增强和去噪为目的的预处理方法,基于阈值分割、边缘检测和种子生长的空间域识别算法,以小波变换为代表的频域识别算法,基于有监督学习的识别算法及其他裂缝识别方法;指出既有裂缝识别算法存在易受光照和油污等因素的影响、裂缝识别图像连续性差和识别速度和精度较低等不足.最后,提出综合考虑边界和区域特征消除纹理和噪声干扰、基于局部和全局信息设计优化识别算法和基于三维图像进行裂缝识别等研究展望,为裂缝自动识别算法的改进提供参考.     

融合改进YOLO和背景差分的道路抛洒物检测算法

针对现有道路抛洒物检测算法识别准确率低、识别种类有限、实时检测效率低的问题,探索了将深度学习目标检测和传统图像处理相结合的抛洒物检测算法。提出在YOLOv5s目标检测算法基础上,对模型结构进行修改以满足实时性需求。具体地,使用卷积优化YOLO中的降采样模块,采用Ghost网络替代原始的特征提取网络以减少计算量,根据抛洒物检测对象的特点设计符合数据集的锚框以提高目标识别准确度。使用优化后的YOLO检测道路场景中车辆、行人作为交通参与者得到检测框,在检测框周围设定感兴趣区域,并在感兴趣区域内用背景差分算法实现前景目标识别。计算前景目标与YOLO检测结果的交并比,排除交通参与者目标后实现道路抛洒物的识别。针对交通参与者检测的实验结果表明,改进后的YOLO检测算法在整体识别精度没有损失的情况下单帧检测速度为20.67 ms,比原始YOLO检测算法速度提升16.42%。真实道路抛洒物实验结果表明,在没有抛洒物训练数据情况下,传统混合高斯模型算法平均精度值为0.51,采用融合改进YOLO和背景差分的抛洒物检测算法平均精度值为0.78,算法检测精度提高52.9%。改进后算法可适用于没有抛洒物数据或正样本数据稀少的情况。该算法在嵌入式设备Jetson Xavier NX上单帧检测速度达到24.4 ms,可实现抛洒物的实时检测。     

面向地下停车场的轻量级目标检测算法研究

基于深度学习的目标检测算法能够取得良好的检测速度离不开高性能GPU硬件设备的支持。然而,在智能车中搭载高性能、高功耗、大尺寸的硬件设备与汽车的长续航理念不符。因此,文章以YOLOv3目标检测算法为基线模型进行改进,提出轻量化的目标检测模型Mobile-YOLO,并在采集制作的地下停车场数据集中进行训练测试。实验结果表明,提出了Mobile-YOLO相较于YOLOv3,在平均精度均值略微提升的情况下,检测速度提升了47.1%。在移动端平台TX2上每秒能够检测31张图像。     

基于迁移学习的路面障碍物检测

为了提高智能汽车对路面障碍物检测的精度和速度,本文基于YOLO V3深度学习网络模型和迁移学习算法建立路面障碍物检测模型,并对模型的训练和测试结果进行评估.     

基于改进U型神经网络的路面裂缝检测方法

针对传统的裂缝分割算法难以识别狭窄裂缝且分割边缘不精准,从而造成识别精度较低的问题,研究了基于改进U型神经网络（Unet）的路面裂缝检测方法。由于传统Unet特征提取网络是层次较浅的浅层神经网络,难以提取更复杂的裂缝特征信息,故本文以牛津大学视觉几何组网络（VGG16）作为传统Unet的特征提取网络,提高网络的裂缝特征提取能力;为抑制高低阶特征融合时产生的无用特征,本文在模型解码部分添加压缩与激励单元（SE block）,构建裂缝注意力单元,使得网络可以关注不同通道下的裂缝特征,建立了基于SE block和VGG16的改进Unet网络（SE-VUnet）。研究采用迁移学习的方法,将在ImageNet上预训练好的VGG16网络权重迁移到裂缝检测中。通过挑选Crack500数据集,并使用摄像头采集图片构建1 600张路面裂缝数据集,再次训练SE-VUnet模型,获得裂缝区域分割结果。以查准率（precision）与查全率（recall）的加权调和平均值F1和雅卡尔（Jaccard）相似系数作为量化评价指标。将SE-VUnet分别与Unet、SOLO v2、Mask R-CNN以及Deeplabv3+进行分割效果和实时性对比。研究结果表明：SE-VUnet模型的综合F1和雅卡尔系数分别为0.840 3和0.722 1,相比于Unet分别高出了1.04%和1.51%,且均高于其他3种对比模型;SE-VUnet的单帧图片预测时间为89 ms,在分割效果提升明显的情况下仅比Unet慢5 ms,优于其他模型。     

基于计算机视觉的钢桥面板裂纹识别方法

钢桥面板疲劳开裂为常见的钢桥病害，准确快速地发现并确定钢桥面板裂纹几何特征对降低运维成本、制定运维策略具有重要意义。针对传统人工巡检效率低、检测环境恶劣等问题，提出了基于计算机视觉的钢桥面板裂纹及其特征识别方法。采用目标检测网络YoloV5和图像语义分割网络U-Net++相结合的方法识别裂纹。根据2个网络的结构特性标注图像中的目标后生成数据集，并分别对网络中的参数进行训练。利用训练后的YoloV5与U-Net++分阶段对待测裂纹图像进行检测与分割，并通过阈值分割优化U-Net++分割结果，再通过骨架化后得到裂纹骨架线；在确定裂纹形貌后，采用YoloV5识别出的标定块求解透视变换矩阵与像素尺度系数，然后对裂纹骨架线进行图像矫正并确定裂纹几何特征。研究结果表明：YoloV5可准确检测出裂纹与标定块，且检测稳定性好；通过优化U-Net++训练时输入的像素尺寸，提高了U-Net++训练的收敛速度，网络损失由0.121降至0.096;求解透视变换矩阵时，使用所有角点坐标拟合该矩阵的最小二乘解可提高图像矫正标定的精度；当图像采集距离较远、角度较大时，角点投影误差增大，且该误差对角度更为敏感；不同图...     

基于改进YOLOv5神经网络的道路检测车辆前方障碍识别方法

针对在嵌入式设备上部署神经网络模型存在受限于设备体积与计算性能的影响而难以保证神经网络模型的推理实时性的问题，提出了一种基于YOLOv5-nano的前车检测改进方法（HS-YOLO）。首先，采用硬拟合函数h-swish来取代SiLU激活函数，在激活关系相似的情况下提高模型推理速度；此外，引入SIOU边界框回归损失来替代CIOU损失，提高模型的训练速度与推理精度。为进一步验证改进模型的性能，使用SSD、YOLOv4-tiny、基础模型YOLOv5-nano与改进的HS-YOLO网络在相同训练条件下进行训练，得到最优模型并在测试集上进行推理测试。结果表明：HS-YOLO模型的精确率、召回率及AP0.5较原模型YOLOv5-nano分别提升了0.76%、0.43%、0.41%；在推理速度方面，HS-YOLO模型的单张图片推理耗时为7.8 ms，实时推理帧数为128 FPS，在所有模型中表现最优，较原模型分别提高了0.7 ms和10 FPS。     

轻量化车位识别网络与流畅泊车路径规划设计

深度学习在自动驾驶开发中得到广泛应用，而在低算力嵌入式平台上部署高算力需求的车位识别网络及复杂的路径规划算法成为行业挑战，因此本文首先设计了轻量化车位识别网络结构，对不同场景下的车位关键点进行检测，其次基于深度搜索设计了快速泊车路径规划算法，然后基于OpenVX的框架将模型和算法部署在多核异构平台上，最终在实车平台上进行自动泊车功能验证。试验结果表明车位检出率大于98%，泊入成功率大于96%，泊车系统运行时间小于40ms，满足实时性要求。     

基于卷积自编码的沥青路面目标与裂缝智能识别

目前基于深度学习的路面裂缝识别经常面临训练数据集小，以及路面图片标注成本高等问题，基于小规模路面图片数据集，利用卷积自编码（CAE）方法进行数据增强，开展包括路面裂缝在内的路面目标智能化识别方法研究。在传统图像几何变换数据增强的基础上，采用CAE重构图片方法对原始数据集进行两步骤扩增；利用卷积神经网络DenseNet，设置了不同数据扩增方法的对比试验；针对沥青路面裂缝图片背景较黑，裂缝特征不清晰，无监督聚类学习难度大等问题，采用了一种基于CAE预训练的深度聚类算法DCEC，对经数据增强的路面图片进行无标注的聚类识别。研究结果表明：经过DenseNet网络100代的训练，在同一测试集的测试下，基于原始数据集训练的网络分类准确度为78.43%，利用传统图像处理方法进行扩增后准确度为83.44%，利用所提出的图片增强方法进行数据扩增后准确度达87.19%；在保持扩增后数据集样本量大小相同的情况下，与几何变换、像素颜色变换等经典数据增强手段相比，CAE重构图片的数据扩增方法有较高的路面图片识别精度；CAE数据扩增方法较受训练数据集样本量的影响，利用传统方法将数据集扩增后进行CAE特征学习，重构后的图片样本更易被机器识别；相较于传统机器学习聚类算法，所提出的的DCEC深度聚类方法将聚类准确率提升了约10%，初步实现了无需人工标注的路面目标的端到端智能识别。     

桥梁裂缝智能识别与监测方法研究

当前,裂缝识别与监测一直是桥梁结构健康监测的重要研究内容。在桥梁结构现场检测与监测中,传统的裂缝识别与监测技术尚不足以满足实际工程的时效性和精确性需求,尤其是裂缝监测技术。基于深度学习的裂缝图像识别极大提升了裂缝检测的效率和精度,但目前仅能获得特定时刻的裂缝信息,缺乏对裂缝产生和演化过程的监测能力,而这些信息对混凝土结构服役安全量化和科学评价具有重要意义。鉴于此,对基于深度学习的裂缝识别与监测方法进行了系统研究,分析和讨论了裂缝数据集构建基准,改进优化了裂缝目标检测和语义分割算法,提出一种多任务集成一体化实时识别算法,并建立了该模型推理效果评价方法,优化了裂缝参数计算方法,最终形成了裂缝识别及动态扩展自动化实时监测方法。结果表明：所提出的裂缝智能识别与监测方法可以对新裂缝的产生和既有裂缝的全局演化实现良好追踪,监测数据可以为桥梁结构当前服役性能的科学量化评估提供支撑。     

基于深度学习的船舶驾驶员疲劳检测算法

针对日益凸显的船舶值班人员疲劳驾驶问题，为有效预警值班驾驶员的疲劳状态，保障船舶航行安全，研究了基于深度学习的疲劳检测算法。考虑到船舶驾驶台空间大、背景复杂等特点，使用深度可分离卷积改进RetinaFace人脸检测模型，优化模型的检测速度；基于Channel Split和Channel Shuffle思想，结合批量归一化、全局平均池化等技术搭建改进的ShuffleNetV2网络，自动提取图像特征，识别眼睛、嘴巴的开闭状态；根据PERCLOS准则融合眼睛、嘴巴2个特征参数综合判定驾驶员是否疲劳。实验结果表明:改进后RetinaFace模型的检测速度由9.33帧/s提升至22.60帧/s，人脸检测精度和速度均优于多任务卷积神经网络（MTCNN）；改进的ShuffleNetV2网络识别眼睛、嘴巴状态的准确率高达99.50%以上；算法在模拟驾驶台环境中识别疲劳状态的精确率达到95.70%，召回率达到96.73%，均高于目前常见的Haar-like+Adaboost以及MTCNN+CNN疲劳检测算法。算法检测每帧图片仅需0.083 s，基本满足实时检测的要求。      

基于小型深度学习网络的车位检测方法

针对车载嵌入式系统开发需求,文章提出一种小型深度学习网络的车位检测方法。环视图像的车位角点具有大小相近、分布均匀的特点,将整个环视图像分割成若干个子图像,裁剪深度网络模型结构,使用小网络对各个子图像进行车位角点检测,可以有效降低大图像高算力的要求。实验数据表明,以384*640图像大小为例,将原图像分割成128*128子图像,子图像的深度网络算力要求为原图像的1/15,而相应的检测性能没有损失。     

基于轻量化卷积神经网络的桥梁混凝土裂缝检测方法及验证

针对基于边缘检测算法、阈值法等传统的混凝土裂缝检测算法易受到干扰的问题，采用基于轻量化卷积神经网络的桥梁混凝土裂缝检测方法对混凝土裂缝检测难的问题进行研究，并通过对桥梁裂缝图像真实数据集进行检测验证。检测结果表明：1)所研究的轻量化卷积神经网络模型能够实现像素级的标注；2)所研究的轻量化卷积神经网络模型训练参数相比其他文献明显减少，权重文件所占内存明显减小；3)所研究的神经网络模型能够清晰准确地划分出图像中的裂缝像素，且不受图像分辨率大小、对比度等因素影响。上述结果表明，所研究的网络模型具有在像素级准确检测裂缝的良好性能，且权重文件占用内存小，能很好地适用于工程实践。