基于机器视觉的路面裂缝病害多目标识别研究

为了建立一种基于深度学习卷积神经网络的多目标路面裂缝检测模型,实现对路面裂缝的精确识别、分割与统计,采用卷积神经网络Mask R-CNN为主干框架,融入ResNet模型与特征金字塔网络(FPN)提高对病害特征提取的精度,建立了针对裂缝病害识别的基础网络体系;考虑裂缝病害图像特征,采用随机梯度下降算法与冲量算法优化损失函数以提高对裂缝像素的分类性能,通过在主干网络设定目标区域检测范围并利用掩码实现了裂缝病害的像素级识别与分割;标记大量的路面裂缝图像形成训练数据库,分析了路面裂缝的多目标识别模型有效性。结果表明:损失函数中的权重参数取0.3时,识别模型具备较好的识别精度;通过数据增强可以将有限训练集进行有效扩充,极大提高识别模型的泛化能力与鲁棒性,经过训练后的模型能够正确识别98.9%的裂缝对象与93.6%的裂缝类像素;通过将模型对裂缝病害的识别、分类精度与传统深度学习模型、边缘检测算法相比较,在细微裂缝的识别与非裂缝构造的过滤方面具有显著优势。用Mask R-CNN的主干网络进行ResNet模型与FPN扩展能够有效保留裂缝病害的纹理与轮廓细节信息,实现复杂背景下裂缝病害的有效识别。     

基于深度学习的驾驶员状态识别

提出了基于驾驶员脸部及周围信息的驾驶员状态检测方法。文章通过实车摄像头采集了驾驶员驾驶状态视频数据,利用Dlib和OpenCV库对采集的驾驶员图像进行脸部检测,基于驾驶员脸部数据建立了深度学习数据集,然后基于该数据集设计了一种卷积神经网络模型FaceNet,利用PyTorch深度学习框架在数据集上对模型进行训练,最终得到了有较高准确率的驾驶员状态检测模型,其可识别抽烟、睡觉、左手打电话和右手打电话四种驾驶员状态。     

基于Mask R-CNN网络模型的无人驾驶感知

近几年深度学习技术在图像检测方面的应用取得了极大的突破,利用卷积神经网络模型可高效且准确的识别目标。一种开源网络模型——Mask R-CNN,被用于无人驾驶感知检测,取得了较好的检测效果。为了进一步提高检测精度,提出迁移学习方法重新训练网络,使得网络更适用于无人驾驶领域的感知任务。     

区域卷积神经网络用于遥感影像车辆检测

针对大范围快速的车辆检测与计数,利用高分辨率卫星影像数据,提出了一种基于区域卷积神经网络的车辆检测算法。区域卷积神经网络是深度卷积神经网络和区域建议网络二者的结合。首先利用深度卷积神经网络自动提取各个层的特征,为了减少检测窗口的数量,提出区域建议网络,对下采样后的每个位置考虑3种窗口和对应的3种比例,这样大大减少了检测窗口的数量。再根据分类器对目标进行分类。这样将特征、检测窗口和分类器有效地结合在一起。在对遥感影像车辆检测试验中,通过对手工标注的车辆样本数据多次迭代来训练卷积神经网络和区域建议网络获取车辆检测的先验模型,再由先验模型检测出测试影像中车辆目标。与传统的基于梯度方向直方图(HOG)特征和支持向量机(SVM)车辆检测算法进行比较,在检测率方面,区域卷积神经网络算法明显高于HOG+SVM算法;在误检率方面,区域卷积神经网络检测明显小于HOG+SVM算法;在检测时间方面,同样的一张图像,区域卷积神经网络检测速度比HOG+SVM算法提升近800倍。试验结果表明:利用区域卷积神经网络方法进行大范围车辆检测,在精度和速度方面都有显著提升。     

基于轻量化卷积神经网络的桥梁混凝土裂缝检测方法及验证

针对基于边缘检测算法、阈值法等传统的混凝土裂缝检测算法易受到干扰的问题，采用基于轻量化卷积神经网络的桥梁混凝土裂缝检测方法对混凝土裂缝检测难的问题进行研究，并通过对桥梁裂缝图像真实数据集进行检测验证。检测结果表明：1)所研究的轻量化卷积神经网络模型能够实现像素级的标注；2)所研究的轻量化卷积神经网络模型训练参数相比其他文献明显减少，权重文件所占内存明显减小；3)所研究的神经网络模型能够清晰准确地划分出图像中的裂缝像素，且不受图像分辨率大小、对比度等因素影响。上述结果表明，所研究的网络模型具有在像素级准确检测裂缝的良好性能，且权重文件占用内存小，能很好地适用于工程实践。     

基于改进Mask R-CNN的钢桥多病害智能识别

钢桥在现代交通基础设施中扮演着重要的角色,然而,由于长期服役与环境影响,钢桥可能出现涂层锈蚀、螺栓脱落等病害。为解决传统的钢桥病害检测需要人工参与,费时费力且主观性强的问题,提出了一种基于深度学习的钢桥病害检智能识别方法。利用无人机在图像采集方面的优势,采集大量高清病害图像,经图像增强、标注后建立钢桥病害图像库,用于模型的训练和测试;引入掩膜区域卷积神经网络(Mask R-CNN)构建钢桥病害识别模型,实现钢桥病害的自动识别;并通过更换骨干网络的方式进一步提升模型性能。研究结果表明：将骨干网络由传统的ResNet101替换为VoVNet后模型性能显著提升,交并比阈值为0.5与0.5∶0.95时,优化后模型的识别平均精确率分别为0.84与0.59;相同交并比阈值下较之优化前有约10%的提升。将改进的模型应用于上莘桥表观病害检测,其对涂层锈蚀、螺栓锈蚀与螺栓脱落的识别准确率分别达到了89.3%、85.7%、73.1%;改进的Mask R-CNN模型在钢桥病害识别任务中表现出了优异的性能,无人机与深度学习相结合的方法能够实现钢桥病害的高精度、自动化检测,具有重要的科学研究和工程应用价值。     

基于改进深度卷积生成对抗网络的路面指示标志识别方法

针对道路交通环境中路面标志识别涉及的数据集较少和识别准确率不足的问题,研究了基于深度卷积生成对抗网络的道路表面指示标志的识别方法.在深度卷积生成对抗网络的结构基础上,根据具体应用修改生成网络和判别网络的损失函数,并用随机梯度下降算法替代原始的优化器,对指示标志的原始样本集进行样本生成,以增加样本数据量.基于Faster R-CNN算法进行路面标志的特征提取,实现路面指示标志的识别,并基于迁移学习对识别模型进行微调,将目标识别效果应用于实际道路环境中.实验结果表明,通过深度卷积生成对抗网络生成的样本图像有效地扩增了路面标志的数据集,增广后的多类目标识别的mAP提高了17.1%,小样本情况下的识别准确率随着样本量的增加和样本质量的改善而得到了明显的提高.      

基于深度学习的土木基础设施裂缝检测综述

基于深度学习的裂缝检测对于降低基础设施运营风险、节约运维成本并推进中国土木工程行业智能化转型具有重要意义。算法、数据集和评价指标是构建深度学习裂缝检测模型的关键要素；裂缝检测模型集成于机器人平台，从而实现对土木基础设施的全自动裂缝检测。为此，从以上4个方面对当前研究进行了系统梳理。首先，回顾了深度学习的发展历程，重点介绍了深度卷积神经网络在计算机视觉领域的应用及其在图像处理方面较传统算法所具有的显著优势。接着，详细介绍了3类基于深度学习的裂缝检测主流算法，包括分类算法、目标检测算法和语义分割算法。然后，对现有裂缝图像数据集以及模型性能评价指标进行了归纳。最后，总结了土木基础设施的各类裂缝检测机器人平台。综合分析表明：基于卷积神经网络主干结构的深度学习算法已被广泛用于土木基础设施表面裂缝的精准定位与分类，而裂缝的尺寸信息仍需依靠传统图像处理技术进行提取；由于像素级标注的成本和专业性高，大型的裂缝语义分割数据集相对缺乏，致使当前基于语义分割算法的裂缝检测模型鲁棒性较差；目前多数研究人员采用个人建立的裂缝数据集进行模型训练且采用不同的指标进行模型性能评价，缺乏统一的基准测试数据集和评价指标体系，无法对不同模型的性能进行平行比较；目前针对不同基础设施已相应开发了一些裂缝检测机器人，提高裂缝检测机器人的多场景适应性，并降低其应用成本是未来的发展方向。     

基于无人机及Mask R-CNN的桥梁结构裂缝智能识别

桥梁结构表面裂缝检测为桥梁状态识别、病害治理、安全评估提供了重要状态信息和决策依据。为解决传统人工检测方法存在的危险性高、影响交通、费用昂贵等问题,提出基于无人机（Unmanned Aerial Vehicle,UAV）及深度学习的桥梁结构裂缝智能识别方法。采用大疆M210-RTK多旋翼无人机进行贴近航摄,获取桥梁结构混凝土表面高清图像;利用SDNET裂缝数据集等图像资源,制作1 133张标记裂缝精确区域的深度学习训练样本图像库;引入掩膜区域卷积神经网络（Mask R-CNN）深度学习算法,训练和建立Mask R-CNN裂缝识别模型;基于Mask R-CNN裂缝识别模型,采用矩形滑动窗口模式扫描混凝土表面高清图像,实现裂缝自动识别和定位。构建包含图像二值化、连通域去噪、边缘检测、裂缝骨架化、裂缝宽度计算等流程的图像后处理方法,实现裂缝形态及宽度信息自动获取。通过精度验证试验,证实采用M210-RTK无人机+ZENMUSE X5S相机+45 mm奥林巴斯镜头的组合装备,当无人机至桥梁结构表面垂直距离为10.0 m时,无人机方法识别的裂缝宽度与裂缝测量仪结果吻合,其绝对误差小于0.097 mm,相对误差小于9.8%。将该无人机裂缝检测方法应用于高136.8 m长沙市洪山大桥桥塔表面裂缝检测,采用深度学习Mask R-CNN算法进行裂缝智能识别,其裂缝识别准确率和召回率分别达到92.5%和92.5%。研究结果表明：无人机桥梁裂缝检测方法可实现高耸桥梁结构表面裂缝的远程、非接触、自动化检测,具有重要的科学研究和工程应用价值。     

基于深度学习和监测数据的桥梁损伤识别方法

为了挖掘桥梁健康监测数据蕴含的大量隐藏信息,以及改进传统结构损伤识别方法的不足之处,提出了基于桥梁监测数据的损伤识别方法。从有限元模拟数据和实际监测数据中分别提取加速度响应,并对原始数据进行了预处理。通过卷积神经网络和栈式自编码网络分别对明州大桥监测数据的可视化图像和时间序列进行识别,同时与浅层神经网络方法的识别正确率对比。结果表明:基于深度学习和监测数据的损伤识别方法不论是通过图像识别还是通过时间序列识别,都表现出优秀的性能:识别正确率达85%以上。与浅层神经网络相比,深度神经网络的损伤工况分类能力更强,识别正确率提高20%以上。     

基于卷积自编码的沥青路面目标与裂缝智能识别

目前基于深度学习的路面裂缝识别经常面临训练数据集小，以及路面图片标注成本高等问题，基于小规模路面图片数据集，利用卷积自编码（CAE）方法进行数据增强，开展包括路面裂缝在内的路面目标智能化识别方法研究。在传统图像几何变换数据增强的基础上，采用CAE重构图片方法对原始数据集进行两步骤扩增；利用卷积神经网络DenseNet，设置了不同数据扩增方法的对比试验；针对沥青路面裂缝图片背景较黑，裂缝特征不清晰，无监督聚类学习难度大等问题，采用了一种基于CAE预训练的深度聚类算法DCEC，对经数据增强的路面图片进行无标注的聚类识别。研究结果表明：经过DenseNet网络100代的训练，在同一测试集的测试下，基于原始数据集训练的网络分类准确度为78.43%，利用传统图像处理方法进行扩增后准确度为83.44%，利用所提出的图片增强方法进行数据扩增后准确度达87.19%；在保持扩增后数据集样本量大小相同的情况下，与几何变换、像素颜色变换等经典数据增强手段相比，CAE重构图片的数据扩增方法有较高的路面图片识别精度；CAE数据扩增方法较受训练数据集样本量的影响，利用传统方法将数据集扩增后进行CAE特征学习，重构后的图片样本更易被机器识别；相较于传统机器学习聚类算法，所提出的的DCEC深度聚类方法将聚类准确率提升了约10%，初步实现了无需人工标注的路面目标的端到端智能识别。     

基于多特征融合的隧道场景车辆再识别

为解决隧道内交通监控视频的低分辨率以及光照不均匀导致的再识别准确率偏低的问题，提出了一种基于多特征融合的车辆再识别方法，通过充分利用车辆的各种有效特征信息提升车辆再识别精确度。首先，将卷积块注意力模块(Convolutional Block Attention Module, CBAM)嵌入到YOLOv5模型的骨干网络卷积层，同时采用CIoU损失和DIoU-NMS方案，提高车型检测准确率；其次，使用改进DeepSORT的表观特征提取网络和ResNet网络，分别获取深度卷积神经网络(Deep Convolution Neural Networks, DCNN)特征和车型ID特征；再次，将车型特征、DCNN特征及车辆ID特征使用加和表示层进行融合，形成可鉴别身份特征，以提高车辆再识别精度；最后，基于Softmax交叉熵损失和三元组损失设计指标函数并进行学习，对学习结果进行重排序以进一步提高模型的精度，并将算法在公开数据集VeRi776、VehicleID和自建数据集Tunnel＿Veh4C进行训练验证。结果表明：与现有方法相比，提出的Rank-1、Rank-5和Rank-10识别准确率以及...     

基于多传感器融合的纯电动无人驾驶重卡研究

以纯电动无人驾驶重卡为研究对象,突破港区复杂工况下多传感路复合定位的关键技术,基于激光点云定位、视觉定位等技术建立高精度复合导航地图系统,实现信号盲区的高精度导航.基于GMCNN卷积神经网络深度学习算法和FusionEncoder算法为基本结构的多传感器数据融合模型对充满不确定性与模糊性的目标识别数据进行处理,实现无人...     

基于机器视觉的新能源电池盖帽质量智能检测

针对新能源电池帽焊接质量在线自动化检测需求,基于机器视觉和深度学习技术,开发一套能够自主识别电池帽焊接质量缺陷的智能检测系统,实现了该产品检验环节的机器替代人工,最终完成检验工序自动化。同时,针对负样本种类多、数量少、具体形态比较随机的情况,提出模型迭代升级的思路,以不断提升神经网络模型的可靠性和稳定性。     

基于CNN和HSV模型的交通标志识别研究(英文)

基于HSV颜色空间模型和卷积神经网络(CNN),建立了实现交通标志识别(TSR)的完整过程。为了提高运算速度,进一步优化了动态感兴趣区域(ROI)识别、RGB向HSV颜色空间模型转换方法和神经网络结构设计。通过GTSRB数据库对TSR算法进行验证,结果表明,所建立的TSR方法有效提升了运算速度和识别率。     

基于异步交互聚合网络的港船作业区域人员异常行为识别

港船作业区域人员的异常行为识别可为智能航运的管控与决策提供重要数据支撑,有利于推动智慧港口和智能船舶的发展.基于异步交互聚合网络开展了面向港船工作环境下的人员异常行为识别研究.基于YOLO模型对港船图像进行卷积操作,利用特征金字塔优化卷积结果得到图像序列中每一帧的人员位置,结合联合学习检测和嵌入范式输出港船图像序列中的...     

基于深度学习的多角度车辆动态检测方法

针对在复杂场景下,背景区域干扰特征过多、被检测目标运动速度快等导致的动态目标检测率低的问题,研究了基于深度学习的多角度车辆动态检测方法,将带有微型神经网络的卷积神经网络(MLP-CNN)用于传统算法的改进.使用快速候选区域提取算法提取图像中可能存在车辆的区域,之后使用深层卷积神经网络(CNN)提取候选区域的特征,并在卷积层中增加微型神经网络(MLP)对每层的特征进一步综合抽象,最后使用支持向量机(SVM)区分目标和背景的CNN特征.实验表明,该方法能够处理高复杂度背景条件下,部分遮挡、运动速度快的目标特征检测,识别率高达87.9%,耗时仅需225ms,比常用方法效率有大幅度提升.      

基于深度学习的船舶驾驶员疲劳检测算法

针对日益凸显的船舶值班人员疲劳驾驶问题，为有效预警值班驾驶员的疲劳状态，保障船舶航行安全，研究了基于深度学习的疲劳检测算法。考虑到船舶驾驶台空间大、背景复杂等特点，使用深度可分离卷积改进RetinaFace人脸检测模型，优化模型的检测速度；基于Channel Split和Channel Shuffle思想，结合批量归一化、全局平均池化等技术搭建改进的ShuffleNetV2网络，自动提取图像特征，识别眼睛、嘴巴的开闭状态；根据PERCLOS准则融合眼睛、嘴巴2个特征参数综合判定驾驶员是否疲劳。实验结果表明:改进后RetinaFace模型的检测速度由9.33帧/s提升至22.60帧/s，人脸检测精度和速度均优于多任务卷积神经网络（MTCNN）；改进的ShuffleNetV2网络识别眼睛、嘴巴状态的准确率高达99.50%以上；算法在模拟驾驶台环境中识别疲劳状态的精确率达到95.70%，召回率达到96.73%，均高于目前常见的Haar-like+Adaboost以及MTCNN+CNN疲劳检测算法。算法检测每帧图片仅需0.083 s，基本满足实时检测的要求。      

基于无人机和迁移学习的涵洞图像识别及GPS定位

为提高涵洞淤堵病害的检测效率，研究了基于无人机采集病害视频、图像资料和迁移学习的卷积神经网络(人工智能)算法对涵洞图像进行分类。将涵洞状况分为：淤堵、部分淤堵和正常3个类别。并把在ImageNet图像数据集上预训练过的人工智能算法(如ResNet-18网络模型)应用至涵洞图像中，以此提高人工智能算法的准确性。结果表明：使用ResNet-18对涵洞分类识别准确率可达到93%,实现了对涵洞状况的有效分类。此外，还提出了一种通过MATLAB调用涵洞状况图像GPS信息得到地理位置定位的方法，帮助二次检测或后期维护人员快速达到病害现场，进行相关的监测维护工作。     

基于深度学习的零件质量缺陷检测在制造业中的应用研究

主要介绍了基于深度学习技术的零件加工质量缺陷检测在制造业中的应用。传统的零件检测方法存在检测精度不高、人工干预较多等问题,而基于深度学习技术的零件加工质量缺陷检测方法可以有效地解决这些问题,提高产品质量和生产效率。文章以曲轴生产过程中两侧孔内部铁屑残留的检测为例,详细介绍了基于YOLOv5深度学习框架的自动化视觉检测系统方案。该系统使用PLC触发软件控制相机拍摄两侧孔内部图像,通过深度学习模型识别孔内是否存在铁屑残留,并将结果展示并保存在界面上,最终反馈给PLC合格与不合格信号。采用深度学习模型,可以快速、准确地完成检测任务,并且能够进行追溯和分析。文章还对比了传统目视检查方案和基于深度学习的检测方案的优缺点,并提出了硬件工装设计和优化建议。总体来说,基于深度学习的目标检测技术在制造业领域具有高效性、准确性、灵活性和可靠性等优势,能够帮助企业提高生产效率、降低成本,并且提高产品质量和安全性。该研究为零件目标检测领域的深入应用提供了借鉴和参考,也为其他工业自动化、智能安防和自动驾驶等领域的应用提供了启示。