智能驾驶实时目标检测的深度卷积神经网络

为提高深度学习神经网络运行速度,满足智能驾驶对算法实时性的要求,基于一种一体化实时目标检测算法YOLO和一种目标检测网络模型Faster RCNN,提出一种结合两者特点的实时目标检测神经网络。该网络保留区域卷积神经网络(R-CNN)算法的二次检测模式和区域生成神经网络RPN,去掉先验框,采用YOLO直接预测位置。结合Mask R-CNN中的ROI-Align方法进行二次位置修正,减少了Faster R-CNN中ROI-pooling所带来的位置预测偏差。对改进后的网络在KITTI数据集上进行测试,结果表明:改进后的神经网络检测一次仅耗时38 ms,检测的平均精确度高于YOLO和Faster RCNN,且对于不同大小的目标都具有很好的泛化能力。     

基于生成对抗网络改进的更快速区域卷积神经网络交通标志检测

针对小尺寸、远距离的交通标志检测过程中缺少信息的问题,以改进的更快速区域卷积神经网络(Faster R-CNN)检测器为基础,结合生成对抗网络(GAN)的目标检测算法实现对小目标交通标志的检测。Faster R-CNN首先根据期望目标设定合适的锚点数量,生成包含小目标的候选区域,再使用生成网络对候选区域中的模糊小目标进行上采样,生成高分辨率图像,最后使用分类损失函数与回归损失函数对判别网络进行改进。试验结果表明,Faster R-CNN和生成对抗网络相结合的检测算法可以提高远距离小目标交通标志检测性能。     

基于差异性区域预测的行人与骑车人联合检测

本文中针对自动驾驶车辆在环境感知过程中易将行人与骑车人混淆的问题,提出一种有效区分行人与骑车人的联合检测方法,并基于快速区域卷积神经网络Faster R-CNN进行改进.首先,通过增加一个子网络提取图像形状特征通道,将其与主干网络生成的特征图进行聚合,额外的形状语义通道用以辅助检测器区分行人与骑车人的特征;接着,通过构...     

基于深度学习的车辆检测及车型识别研究

正当前,在新一代信息技术引领下,数据快速积累、运算能力持续提升、算法模型不断优化、多场景应用快速兴起,人工智能发展环境发生了深刻变化。车辆检测及车型识别作为深度学习目标检测领域在智能交通的重要应用,也是近年来国内外学者的研究热点。本文针对已有的车辆检测方法缺乏车型识别问题,利用深度学习图像识别技术,提出了基于Faster R-CNN的车辆检测及车型识别方法。通过将Faster R-CNN深度学习模型应用     

基于机器视觉的路面裂缝病害多目标识别研究

为了建立一种基于深度学习卷积神经网络的多目标路面裂缝检测模型,实现对路面裂缝的精确识别、分割与统计,采用卷积神经网络Mask R-CNN为主干框架,融入ResNet模型与特征金字塔网络(FPN)提高对病害特征提取的精度,建立了针对裂缝病害识别的基础网络体系;考虑裂缝病害图像特征,采用随机梯度下降算法与冲量算法优化损失函数以提高对裂缝像素的分类性能,通过在主干网络设定目标区域检测范围并利用掩码实现了裂缝病害的像素级识别与分割;标记大量的路面裂缝图像形成训练数据库,分析了路面裂缝的多目标识别模型有效性。结果表明:损失函数中的权重参数取0.3时,识别模型具备较好的识别精度;通过数据增强可以将有限训练集进行有效扩充,极大提高识别模型的泛化能力与鲁棒性,经过训练后的模型能够正确识别98.9%的裂缝对象与93.6%的裂缝类像素;通过将模型对裂缝病害的识别、分类精度与传统深度学习模型、边缘检测算法相比较,在细微裂缝的识别与非裂缝构造的过滤方面具有显著优势。用Mask R-CNN的主干网络进行ResNet模型与FPN扩展能够有效保留裂缝病害的纹理与轮廓细节信息,实现复杂背景下裂缝病害的有效识别。     

基于Faster R-CNN的车牌检测研究

近年来,深度学习被广泛应用于各个领域,如目标检测、语音识别等。本文针对低分辨率、多车辆等复杂环境下的车牌检测问题,利用深度学习图像识别技术,提出了基于Faster R-CNN的车牌检测方法。通过将Faster R-CNN深度学习方法与传统方法的准确性能进行比较,有效地证明了深度学习在车牌检测方面具有合理性,可以解决光照、图像质量等因素对车牌检测的影响,能有效提高车牌检测的效率和精确度。     

基于改进深度卷积生成对抗网络的路面指示标志识别方法

针对道路交通环境中路面标志识别涉及的数据集较少和识别准确率不足的问题,研究了基于深度卷积生成对抗网络的道路表面指示标志的识别方法.在深度卷积生成对抗网络的结构基础上,根据具体应用修改生成网络和判别网络的损失函数,并用随机梯度下降算法替代原始的优化器,对指示标志的原始样本集进行样本生成,以增加样本数据量.基于Faster R-CNN算法进行路面标志的特征提取,实现路面指示标志的识别,并基于迁移学习对识别模型进行微调,将目标识别效果应用于实际道路环境中.实验结果表明,通过深度卷积生成对抗网络生成的样本图像有效地扩增了路面标志的数据集,增广后的多类目标识别的mAP提高了17.1%,小样本情况下的识别准确率随着样本量的增加和样本质量的改善而得到了明显的提高.      

一种用于道路交通事故自动检测的改进双流网络

交通事故实时快速检测对提升道路交通应急管理水平具有重要意义。视频检测技术可以有效节省人工监控成本，并在事故检测的相关研究中取得了较好成果。然而，在拥堵交通环境中，现有方法通常无法准确识别出交通事故。为解决上述问题，提出一种改进双流网络，以提高拥堵交通环境下的检测性能。该改进双流网络利用2个并行卷积神经网络(即外观、运动特征提取网络)分别提取视频数据的事故外观特征和运动特征。为了引导网络捕捉拥堵场景下判别性事故外观特征，引入辅助网络和三元损失函数来训练外观特征提取网络。在运动特征提取网络中建立光流提取网络，以捕捉拥堵交通环境下细微的光流信息，进而提升事故运动特征提取能力。研究结果表明：相较传统方法，所提方法有效提升了拥堵交通环境下的事故检测能力，降低了24.56%的误报率和25.00%的漏检率。研究成果可用于城市高流量、混流交通场景(如城市交叉口、快速路、主干道等)中进行道路交通事故自动检测。     

基于Faster R-CNN与形态法的路面病害识别

为提高基于图像处理的路面表观病害检测识别效率及精度,引入目标检测中的快速区域卷积神经网络（Faster Region Convolutional Neural Network,Faster R-CNN）算法以快速识别病害种类、位置与面积;针对已提取的带边框裂缝病害区域,采用基于VGG16迁移学习与模型微调的CNN与50%重叠率的滑动窗口定位裂缝骨架,进而利用形态法操作提取裂缝形态,计算其长度与宽度;针对Faster R-CNN算法在病害种类识别时漏检率低但误检率偏高的问题,引入精确率、召回率和F₁分数指标对算法进行评估,并根据F₁分数最大值确定相应的病害框像素面积及置信度阈值来降低误检率,以适应路面表观病害多样化的应用场景。运用开发的病害识别算法对广东一高速公路路面进行表观检测。结果表明：所提方法对典型裂缝图片的识别效率及精度均高于单独应用CNN滑动窗口和传统形态法的全局图像处理方法;对分段的裂缝边界框进行合并,且病害框像素面积及置信度阈值取优化值后,横向裂缝精确率由合并前的0.861提升至合并后的0.918,横向及纵向裂缝误检率则分别由调整前的20.4%和23.8%下降至调整后的8.2%和6.9%,漏检率则稍有提高。基于Faster R-CNN、CNN及形态法的路面病害识别方法具有工作高效、漏检率低的优点,在引入评估指标、最优病害框像素面积与置信度阈值后,病害误检率也大幅降低,具有潜在工程应用价值。     

区域卷积神经网络用于遥感影像车辆检测

针对大范围快速的车辆检测与计数,利用高分辨率卫星影像数据,提出了一种基于区域卷积神经网络的车辆检测算法。区域卷积神经网络是深度卷积神经网络和区域建议网络二者的结合。首先利用深度卷积神经网络自动提取各个层的特征,为了减少检测窗口的数量,提出区域建议网络,对下采样后的每个位置考虑3种窗口和对应的3种比例,这样大大减少了检测窗口的数量。再根据分类器对目标进行分类。这样将特征、检测窗口和分类器有效地结合在一起。在对遥感影像车辆检测试验中,通过对手工标注的车辆样本数据多次迭代来训练卷积神经网络和区域建议网络获取车辆检测的先验模型,再由先验模型检测出测试影像中车辆目标。与传统的基于梯度方向直方图(HOG)特征和支持向量机(SVM)车辆检测算法进行比较,在检测率方面,区域卷积神经网络算法明显高于HOG+SVM算法;在误检率方面,区域卷积神经网络检测明显小于HOG+SVM算法;在检测时间方面,同样的一张图像,区域卷积神经网络检测速度比HOG+SVM算法提升近800倍。试验结果表明:利用区域卷积神经网络方法进行大范围车辆检测,在精度和速度方面都有显著提升。     

基于改进YOLOv5的雾霾环境下船舶红外图像检测算法

从监控图像中准确检测船舶对于港区水域船舶交通智能监管具有重要意义。为解决雾霾条件下传统YOLOv5目标检测算法对船舶红外图像检测准确率低、小目标特征提取能力弱等问题,提出了基于Swin Transformer的改进YOLOv5船舶红外图像检测算法。为扩大原始数据集的多样性,综合考虑船舶红外图像轮廓特征模糊、对比度低、抗云雾干扰能力强等特点,改进算法提出基于大气散射模型的数据集增强方法;为增强特征提取过程中全局特征的关注能力,改进算法的主干网络采用Swin Transformer提取船舶红外图像特征,并通过滑动窗口多头自注意力机制扩大窗口视野范围;为增强网络对密集小目标空间特征提取能力,通过改进多尺度特征融合网络（PANet）,引入底层特征采样模块和坐标注意力机制（CA）,在注意力中捕捉小目标船舶的位置、方向和跨通道信息,实现小目标的精确定位;为降低漏检率和误检率,采用完全交并比损失函数（CIoU）计算原始边界框的坐标预测损失,结合非极大抑制算法（NMS）判断并筛选候选框多次循环结构,提高目标检测结果的可靠性。实验结果表明：在一定浓度的雾霾环境下,改进算法的平均识别精度为93.73%,平...     

基于深度学习的多角度车辆动态检测方法

针对在复杂场景下,背景区域干扰特征过多、被检测目标运动速度快等导致的动态目标检测率低的问题,研究了基于深度学习的多角度车辆动态检测方法,将带有微型神经网络的卷积神经网络(MLP-CNN)用于传统算法的改进.使用快速候选区域提取算法提取图像中可能存在车辆的区域,之后使用深层卷积神经网络(CNN)提取候选区域的特征,并在卷积层中增加微型神经网络(MLP)对每层的特征进一步综合抽象,最后使用支持向量机(SVM)区分目标和背景的CNN特征.实验表明,该方法能够处理高复杂度背景条件下,部分遮挡、运动速度快的目标特征检测,识别率高达87.9%,耗时仅需225ms,比常用方法效率有大幅度提升.      

基于无人机及Mask R-CNN的桥梁结构裂缝智能识别

桥梁结构表面裂缝检测为桥梁状态识别、病害治理、安全评估提供了重要状态信息和决策依据。为解决传统人工检测方法存在的危险性高、影响交通、费用昂贵等问题,提出基于无人机（Unmanned Aerial Vehicle,UAV）及深度学习的桥梁结构裂缝智能识别方法。采用大疆M210-RTK多旋翼无人机进行贴近航摄,获取桥梁结构混凝土表面高清图像;利用SDNET裂缝数据集等图像资源,制作1 133张标记裂缝精确区域的深度学习训练样本图像库;引入掩膜区域卷积神经网络（Mask R-CNN）深度学习算法,训练和建立Mask R-CNN裂缝识别模型;基于Mask R-CNN裂缝识别模型,采用矩形滑动窗口模式扫描混凝土表面高清图像,实现裂缝自动识别和定位。构建包含图像二值化、连通域去噪、边缘检测、裂缝骨架化、裂缝宽度计算等流程的图像后处理方法,实现裂缝形态及宽度信息自动获取。通过精度验证试验,证实采用M210-RTK无人机+ZENMUSE X5S相机+45 mm奥林巴斯镜头的组合装备,当无人机至桥梁结构表面垂直距离为10.0 m时,无人机方法识别的裂缝宽度与裂缝测量仪结果吻合,其绝对误差小于0.097 mm,相对误差小于9.8%。将该无人机裂缝检测方法应用于高136.8 m长沙市洪山大桥桥塔表面裂缝检测,采用深度学习Mask R-CNN算法进行裂缝智能识别,其裂缝识别准确率和召回率分别达到92.5%和92.5%。研究结果表明：无人机桥梁裂缝检测方法可实现高耸桥梁结构表面裂缝的远程、非接触、自动化检测,具有重要的科学研究和工程应用价值。     

基于深度可分离卷积和多级特征金字塔网络的行人检测

为提高行人检测的准确率,提出一种基于卷积神经网络的行人检测方法。该方法以YOLOv3-tiny算法为基础,在骨干网络部分,用深度可分离卷积的网络结构代替原卷积网络结构,加深网络深度。在检测部分,提出一种改进的多级特征金字塔网络,该网络由8个结构相同的使用深度可分离卷积的特征金字塔组成,特征金字塔之间串联连接,将不同金字塔得到的相同尺寸的特征进行融合,利用融合后的特征金字塔进行检测。在Caltech Pedestrian数据集上进行测试。结果表明:该方法的漏检率为57.83%,比梯度方向直方图(HOG)方法低32.53%,比基于深度学习的方法SA Fast-RCNN和MS-CNN分别低4.67%、3.21%;运行速度为34 ms/帧。因而,该方法满足了实时性要求。     

基于子波能量和神经网络分类器的机动车车型识别

为了使交通管理系统能进行可靠的机动车分类,研究了轿车、轻型越野车和货车3种机动车目标的声信号,提出了一种采用子波分解后不同尺度上声信号能量作为特征向量的特征提取算法,并设计了kNN(k近邻)分类器和改进BP神经网络分类器用于目标分类。目标识别和分类试验结果表明:所提出的特征提取算法能够很好地体现不同类型目标之间的差异,提取的特征向量稳健;设计的改进BP神经网络分类器的分类精度可达92.6%,且分类效果优于kNN分类器。     

基于图时空神经网络的多充电站负荷协同预测方法

针对传统充电站负荷预测方法只能实现对单一站点预测的问题，提出一种基于图时空神经网络 （Graph Spatiotemporal Neural Network， GSTNN） 模型的多充电站负荷协同预测方法。定义时空信息图，描述充电站负荷之间的时空关系；构建时空特征提取网络，分别利用图卷积神经网络和门控序列卷积网络提取信息图的空间和时间维度信息，并使用长短期记忆网络 （Long Short Term Memory Networks，LSTM） 挖掘影响负荷预测的外部特征信息；融合提取的所有特征，进行负荷预测。算例结果表明，基于 GSTNN模型的方法能充分考虑时空特征和外部特征的影响，协同多个充电站的负荷数据进行预测，并同时输出各充电站的预测结果，有效提高预测准确度，有助于电网稳定运行。     

基于目标空间分布特征的无人机航拍车辆实时检测技术研究

针对无人机航拍视角下存在整体图像分辨率高但占比较高的小尺度车辆检测特征点稀少这一问题,从卷积网络检测器针对性优化与基于目标分布特征的航拍图像自适应切分2个角度综合考虑,提出一种基于目标空间分布特征的无人机航拍车辆检测网络DF-Net。以单阶段目标检测框架SSD为基础,引入深度可分离卷积和抗混叠低通滤波器对网络结构进行优化搭建E-SSD,为后续检测网络搭建提供高效检测器;接着基于条件生成对抗CGAN思想构建密度估计网络生成器,从而得到航拍图像中车辆的准确分布特征,生成高质量的车辆密度图;将E-SSD与车辆密度估计网络结合,对车辆密度图进行自适应切分,并将切分后的局部图像与全局图像一同输入E-SSD,最后在决策层融合检测结果,由此实现对航拍视角道路交通场景下车辆目标的精确高效检测。在试验中,一方面将设计的基于目标空间分布特征的无人机航拍车辆检测网络DF-Net与E-SSD进行对比分析,另一方面将DF-Net与航拍目标检测领域表现较为优秀的网络进行比较。研究结果表明：设计的方法对于2个试验在均值平均精度指标上均有提升,与E-SSD网络对比时提升了至少4.4%,与航拍目标检测领域优秀网络比较时也有一定提升,并保持了较好的实时性。