基于深度学习的车辆检测及车型识别研究

正当前,在新一代信息技术引领下,数据快速积累、运算能力持续提升、算法模型不断优化、多场景应用快速兴起,人工智能发展环境发生了深刻变化。车辆检测及车型识别作为深度学习目标检测领域在智能交通的重要应用,也是近年来国内外学者的研究热点。本文针对已有的车辆检测方法缺乏车型识别问题,利用深度学习图像识别技术,提出了基于Faster R-CNN的车辆检测及车型识别方法。通过将Faster R-CNN深度学习模型应用     

智能驾驶实时目标检测的深度卷积神经网络

为提高深度学习神经网络运行速度,满足智能驾驶对算法实时性的要求,基于一种一体化实时目标检测算法YOLO和一种目标检测网络模型Faster RCNN,提出一种结合两者特点的实时目标检测神经网络。该网络保留区域卷积神经网络(R-CNN)算法的二次检测模式和区域生成神经网络RPN,去掉先验框,采用YOLO直接预测位置。结合Mask R-CNN中的ROI-Align方法进行二次位置修正,减少了Faster R-CNN中ROI-pooling所带来的位置预测偏差。对改进后的网络在KITTI数据集上进行测试,结果表明:改进后的神经网络检测一次仅耗时38 ms,检测的平均精确度高于YOLO和Faster RCNN,且对于不同大小的目标都具有很好的泛化能力。     

基于生成对抗网络改进的更快速区域卷积神经网络交通标志检测

针对小尺寸、远距离的交通标志检测过程中缺少信息的问题,以改进的更快速区域卷积神经网络(Faster R-CNN)检测器为基础,结合生成对抗网络(GAN)的目标检测算法实现对小目标交通标志的检测。Faster R-CNN首先根据期望目标设定合适的锚点数量,生成包含小目标的候选区域,再使用生成网络对候选区域中的模糊小目标进行上采样,生成高分辨率图像,最后使用分类损失函数与回归损失函数对判别网络进行改进。试验结果表明,Faster R-CNN和生成对抗网络相结合的检测算法可以提高远距离小目标交通标志检测性能。     

基于无人机及Mask R-CNN的桥梁结构裂缝智能识别

桥梁结构表面裂缝检测为桥梁状态识别、病害治理、安全评估提供了重要状态信息和决策依据。为解决传统人工检测方法存在的危险性高、影响交通、费用昂贵等问题,提出基于无人机（Unmanned Aerial Vehicle,UAV）及深度学习的桥梁结构裂缝智能识别方法。采用大疆M210-RTK多旋翼无人机进行贴近航摄,获取桥梁结构混凝土表面高清图像;利用SDNET裂缝数据集等图像资源,制作1 133张标记裂缝精确区域的深度学习训练样本图像库;引入掩膜区域卷积神经网络（Mask R-CNN）深度学习算法,训练和建立Mask R-CNN裂缝识别模型;基于Mask R-CNN裂缝识别模型,采用矩形滑动窗口模式扫描混凝土表面高清图像,实现裂缝自动识别和定位。构建包含图像二值化、连通域去噪、边缘检测、裂缝骨架化、裂缝宽度计算等流程的图像后处理方法,实现裂缝形态及宽度信息自动获取。通过精度验证试验,证实采用M210-RTK无人机+ZENMUSE X5S相机+45 mm奥林巴斯镜头的组合装备,当无人机至桥梁结构表面垂直距离为10.0 m时,无人机方法识别的裂缝宽度与裂缝测量仪结果吻合,其绝对误差小于0.097 mm,相对误差小于9.8%。将该无人机裂缝检测方法应用于高136.8 m长沙市洪山大桥桥塔表面裂缝检测,采用深度学习Mask R-CNN算法进行裂缝智能识别,其裂缝识别准确率和召回率分别达到92.5%和92.5%。研究结果表明：无人机桥梁裂缝检测方法可实现高耸桥梁结构表面裂缝的远程、非接触、自动化检测,具有重要的科学研究和工程应用价值。     

基于Faster R-CNN与形态法的路面病害识别

为提高基于图像处理的路面表观病害检测识别效率及精度,引入目标检测中的快速区域卷积神经网络（Faster Region Convolutional Neural Network,Faster R-CNN）算法以快速识别病害种类、位置与面积;针对已提取的带边框裂缝病害区域,采用基于VGG16迁移学习与模型微调的CNN与50%重叠率的滑动窗口定位裂缝骨架,进而利用形态法操作提取裂缝形态,计算其长度与宽度;针对Faster R-CNN算法在病害种类识别时漏检率低但误检率偏高的问题,引入精确率、召回率和F₁分数指标对算法进行评估,并根据F₁分数最大值确定相应的病害框像素面积及置信度阈值来降低误检率,以适应路面表观病害多样化的应用场景。运用开发的病害识别算法对广东一高速公路路面进行表观检测。结果表明：所提方法对典型裂缝图片的识别效率及精度均高于单独应用CNN滑动窗口和传统形态法的全局图像处理方法;对分段的裂缝边界框进行合并,且病害框像素面积及置信度阈值取优化值后,横向裂缝精确率由合并前的0.861提升至合并后的0.918,横向及纵向裂缝误检率则分别由调整前的20.4%和23.8%下降至调整后的8.2%和6.9%,漏检率则稍有提高。基于Faster R-CNN、CNN及形态法的路面病害识别方法具有工作高效、漏检率低的优点,在引入评估指标、最优病害框像素面积与置信度阈值后,病害误检率也大幅降低,具有潜在工程应用价值。     

野外环境下基于改进 Faster R-CNN的无人车障碍物检测方法

针对无人车在越野环境中障碍物检测存在特征提取能力不足和检测准确率低等问题,提出一种基于改进型Faster R-CNN卷积神经网络模型的障碍物检测方法。通过构建FPN与ResNet50组合的网络结构来实现对野外障碍物的特征提取,有效解决了特征提取时障碍物细节特征丢失和尺度变换大的问题。使用Soft-NMS代替NMS,避免了NMS非极大值抑制由于阈值难调整带来的误删除和误检问题。在每个卷积层残差块最后嵌入注意力机制,有助于特征图中有效特征信息筛选和减小计算量。试验结果表明,构建的改进型Faster R-CNN卷积神经网络模型可准确识别野外环境中的障碍物,从而验证了该模型有良好的检测能力,对提升无人车的野外感知能力具有重要意义。     

车牌定位及车辆特征识别研究

车牌定位及车辆识别是智能交通管理的主要研究问题.车牌定位识别,通过对图像进行预处理并结合形态学能粗略获取候选车牌位置,对符合特征的候选车牌进行筛选,精确获取车牌位置,最后采用神经网络完成字符识别过程.车辆识别采用迁移学习,采用AlexNet卷积神经网络构造出深度特征向量.形态学能够应对灰度底质量差的情形,为字符识别提供保障.车辆识别时对比直接分类图片特征,迁移学习构造的深度特征分类精度为85.13%,提高了38%,验证了迁移学习的有效性,通过KNN算法表明深度特征能够表征图片属性.针对新数据集重新提取特征、训练样本将消耗大量时间,对比迁移学习和AlexNet框架发现分类精度持平,表明了迁移学习的鲁棒性.      

基于Mask R-CNN网络模型的无人驾驶感知

近几年深度学习技术在图像检测方面的应用取得了极大的突破,利用卷积神经网络模型可高效且准确的识别目标。一种开源网络模型——Mask R-CNN,被用于无人驾驶感知检测,取得了较好的检测效果。为了进一步提高检测精度,提出迁移学习方法重新训练网络,使得网络更适用于无人驾驶领域的感知任务。     

基于差异性区域预测的行人与骑车人联合检测

本文中针对自动驾驶车辆在环境感知过程中易将行人与骑车人混淆的问题,提出一种有效区分行人与骑车人的联合检测方法,并基于快速区域卷积神经网络Faster R-CNN进行改进.首先,通过增加一个子网络提取图像形状特征通道,将其与主干网络生成的特征图进行聚合,额外的形状语义通道用以辅助检测器区分行人与骑车人的特征;接着,通过构...     

浅析目标检测算法及其在自动驾驶场景中的应用

基于深度学习的目标检测算法在自动驾驶领域的比重日益上升。文章首先介绍了基于深度学习的卷积神经网络和目标检测算法的发展过程,其中简要介绍了几种经典卷积神经网络模型的结构特点;然后详细介绍了以R-CNN系列为代表的基于候选框的two-stage算法和以YOLO系列为代表的基于回归的one-stage算法,简要介绍了这两大类算法各自的结构和优缺点,最后总结了目标检测算法在自动驾驶场景中应用时比较常用的几种优化方法和研究趋势。     

基于神经网络的隧道行车车牌识别技术研究

针对隧道环境下高速行车的车牌识别问题,提出使用红外摄像机采集监控视频,背景重建法进行车辆信息检测;采用Canny边缘定位算子与形态学结合的方法确定图片的车牌区域、投影法和固定边界法相结合的方法进行字符分割、引入特征提取与BP神经网络相结合进行字符的识别,提取车牌信息;并通过改进BP神经网络的学习方法来提高字符的识别速度。项目研究运用Matlab进行了大量车牌图片的样本实验,以验证此算法车牌识别的速度、准确率。     

基于改进深度卷积生成对抗网络的路面指示标志识别方法

针对道路交通环境中路面标志识别涉及的数据集较少和识别准确率不足的问题,研究了基于深度卷积生成对抗网络的道路表面指示标志的识别方法.在深度卷积生成对抗网络的结构基础上,根据具体应用修改生成网络和判别网络的损失函数,并用随机梯度下降算法替代原始的优化器,对指示标志的原始样本集进行样本生成,以增加样本数据量.基于Faster R-CNN算法进行路面标志的特征提取,实现路面指示标志的识别,并基于迁移学习对识别模型进行微调,将目标识别效果应用于实际道路环境中.实验结果表明,通过深度卷积生成对抗网络生成的样本图像有效地扩增了路面标志的数据集,增广后的多类目标识别的mAP提高了17.1%,小样本情况下的识别准确率随着样本量的增加和样本质量的改善而得到了明显的提高.      

复杂背景下的多车牌定位技术研究

针对竖直边缘检测的车牌定位方法在多车牌定位中的梯度分割阈值的问题,提出一种改进的阈值选取方法。即先将图像进行区域划分,然后采用区间梯度均值和Otsu阈值的平均值作为新的阈值来分割区域图像。该方法对车牌污染、车牌远近不一致等情况具有良好的适应性。同时,针对从车牌候选区域中去除伪车牌的问题,提出了利用新的主连通域分析的方法和颜色、宽高比等特征来从候选区域中正确提取多个车牌的方法。该方法能够较好地去除复杂背景下的类似于车牌背景的颜色伪车牌,以及和车牌字符有着相似纹理特征的伪车牌。测试结果表明,该方法车牌定位率超过97.3%,去除伪车牌后的车牌定准率超过88.5%,同时在时间上能够较好地满足实时路况中准确定位出车牌的需求。     

基于小波变换的车牌图像检测定位算法研究

在讨论二维二进可分离小波及图像小波去噪的基础上，研究一种基于小波变换并结合其他多种图像处理方法的车牌图像检测定位的算法。实验表明，该算法对含噪的车牌图像能较好地完成检测定位。     

基于改进Mask R-CNN的钢桥多病害智能识别

钢桥在现代交通基础设施中扮演着重要的角色,然而,由于长期服役与环境影响,钢桥可能出现涂层锈蚀、螺栓脱落等病害。为解决传统的钢桥病害检测需要人工参与,费时费力且主观性强的问题,提出了一种基于深度学习的钢桥病害检智能识别方法。利用无人机在图像采集方面的优势,采集大量高清病害图像,经图像增强、标注后建立钢桥病害图像库,用于模型的训练和测试;引入掩膜区域卷积神经网络(Mask R-CNN)构建钢桥病害识别模型,实现钢桥病害的自动识别;并通过更换骨干网络的方式进一步提升模型性能。研究结果表明：将骨干网络由传统的ResNet101替换为VoVNet后模型性能显著提升,交并比阈值为0.5与0.5∶0.95时,优化后模型的识别平均精确率分别为0.84与0.59;相同交并比阈值下较之优化前有约10%的提升。将改进的模型应用于上莘桥表观病害检测,其对涂层锈蚀、螺栓锈蚀与螺栓脱落的识别准确率分别达到了89.3%、85.7%、73.1%;改进的Mask R-CNN模型在钢桥病害识别任务中表现出了优异的性能,无人机与深度学习相结合的方法能够实现钢桥病害的高精度、自动化检测,具有重要的科学研究和工程应用价值。     

基于彩色和黑白纹理的车牌快速定位方法

针对复杂背景下的车牌定位问题,提出了一种彩色和黑白纹理分析相结合的车牌定位算法。该算法依据RGB彩色空间中的车牌背景色,将彩色图像转换为能突出车牌颜色的灰度图,并进行颜色分割获得能突出车牌部分的黑白二值图;该算法对那些与车牌颜色接近的较大区域通过纹理特征的分析来滤除。测试表明,该定位方法不受光照等多种因素的影响,运算速度快,定位效果好,应用范围广。     

基于特征颜色的车牌边缘检测方法

章重点介绍了基于汽车车牌图像边缘检测的定位算法和基于车牌特征颜色的分析方法。大量的实验结果表明，该方法充分利用了车牌的色彩特征，具有思路简明、实用的特点。     

基于视频图像的车速检测研究

针对现有车速检测方法的局限性，提出了一种基于局部视频图像的车速检测新方法，该方法通过定位车牌的位置来确定车辆帧间移动的距离。讨论了车牌定位、如何将车辆帧间移动的像素行映射为对应的实际距离和最终实现车速检测等内容。经实验证明，本方法易于实现，具有很好的可维护性，车速检测的精度较高，平均精度为91．31％。     

基于卷积神经网络的双行车牌识别系统

目前,车牌识别发挥在众多应用程序和许多技术已经提出。但是,他们中的大多数可以仅适用于单行车牌。在实际应用程序方案,也有现有的许多多行车牌。传统方法需要对双行车牌的原始输入图像。这是一个非常复杂场景中的难题。为了解决这个问题,我们建议一个端到端的神经网络为两个单行和双行车牌识别。是的原始输入车牌图像的分段。我们查看这些整个图像作为一个单位在要素映射后直接深度卷积神经网络。大量的实验表明我们的方法是有效的。     

基于深度学习的零件质量缺陷检测在制造业中的应用研究

主要介绍了基于深度学习技术的零件加工质量缺陷检测在制造业中的应用。传统的零件检测方法存在检测精度不高、人工干预较多等问题,而基于深度学习技术的零件加工质量缺陷检测方法可以有效地解决这些问题,提高产品质量和生产效率。文章以曲轴生产过程中两侧孔内部铁屑残留的检测为例,详细介绍了基于YOLOv5深度学习框架的自动化视觉检测系统方案。该系统使用PLC触发软件控制相机拍摄两侧孔内部图像,通过深度学习模型识别孔内是否存在铁屑残留,并将结果展示并保存在界面上,最终反馈给PLC合格与不合格信号。采用深度学习模型,可以快速、准确地完成检测任务,并且能够进行追溯和分析。文章还对比了传统目视检查方案和基于深度学习的检测方案的优缺点,并提出了硬件工装设计和优化建议。总体来说,基于深度学习的目标检测技术在制造业领域具有高效性、准确性、灵活性和可靠性等优势,能够帮助企业提高生产效率、降低成本,并且提高产品质量和安全性。该研究为零件目标检测领域的深入应用提供了借鉴和参考,也为其他工业自动化、智能安防和自动驾驶等领域的应用提供了启示。