基于深度学习的行人和骑行者目标检测及跟踪算法研究

以YOLOv2网络作为目标检测的基础模型,为提高模型检测群簇小目标的准确率,在YOLOv2中加入残差网络,构成YOLO-R网络,通过构建行人和骑行者样本库,以及修改anchor boxes尺寸等网络参数,训练出更适合检测行人和骑行者目标的网络模型,并通过匹配算法完成行人、骑行者分类,进一步运用Kalman滤波实现多目标跟踪。试验结果表明:在训练样本、网络参数相同的情况下,YOLO-R比YOLOv2网络的平均精度均值(mAP)提高了3.4%,在满足速度要求的前提下,YOLO-R网络检测效果更优。     

基于改进YOLOv5的雾霾环境下船舶红外图像检测算法

从监控图像中准确检测船舶对于港区水域船舶交通智能监管具有重要意义。为解决雾霾条件下传统YOLOv5目标检测算法对船舶红外图像检测准确率低、小目标特征提取能力弱等问题,提出了基于Swin Transformer的改进YOLOv5船舶红外图像检测算法。为扩大原始数据集的多样性,综合考虑船舶红外图像轮廓特征模糊、对比度低、抗云雾干扰能力强等特点,改进算法提出基于大气散射模型的数据集增强方法;为增强特征提取过程中全局特征的关注能力,改进算法的主干网络采用Swin Transformer提取船舶红外图像特征,并通过滑动窗口多头自注意力机制扩大窗口视野范围;为增强网络对密集小目标空间特征提取能力,通过改进多尺度特征融合网络（PANet）,引入底层特征采样模块和坐标注意力机制（CA）,在注意力中捕捉小目标船舶的位置、方向和跨通道信息,实现小目标的精确定位;为降低漏检率和误检率,采用完全交并比损失函数（CIoU）计算原始边界框的坐标预测损失,结合非极大抑制算法（NMS）判断并筛选候选框多次循环结构,提高目标检测结果的可靠性。实验结果表明：在一定浓度的雾霾环境下,改进算法的平均识别精度为93.73%,平均召回率为98.10%,平均检测速率为每秒38.6帧;与RetinaNet、Faster R-CNN、YOLOv3 SPP、YOLOv4、YOLOv5和YOLOv6-N算法相比,其平均识别精度分别提升了13.90%、11.53%、8.41%、7.21%、6.20%和3.44%,平均召回率分别提升了11.81%、9.67%、6.29%、5.53%、4.87%和2.39%。综上,所提的Swin-YOLOv5s改进算法对不同大小的船舶目标识别均具备较强的泛化能力,并具有较高的检测精度,有助于提升港区水域船舶的监管能力。     

基于并行短时面部特征的驾驶人疲劳检测方法研究

为实现更快速、准确的疲劳预警,提出了一种基于并行短时面部特征的驾驶人疲劳检测方法。基于加入了MicroNet模块、CA注意力机制、Wise-IoU损失函数的YOLOv7-MCW目标检测网络提取驾驶人面部的短时面部特征,再使用并行Informer时序预测网络整合YOLOv7-MCW目标检测网络得到的面部时空信息,对驾驶人疲劳状态进行检测与预警。结果表明：在领域内公开数据集UTA-RLDD和NTHU-DDD上,YOLOv7-MCW-Informer模型的准确率分别为97.50%和94.48%,单帧检测时间降低至28 ms,证明该模型具有良好的实时疲劳检测性能。     

基于小型化YOLOv3的实时车辆检测及跟踪算法

为了研究现有车辆目标检测算法的检测精度与检测速度相矛盾的问题,提出了一种小型化的改进YOLOv3深度卷积网络的实时车辆检测及跟踪算法。采用构建卷积层数少的网络架构以及进行多目标跟踪的方法,分析了大网络模型结构时正向推理速度慢、小网络模型结构时检测精度低的原因。在不同尺度卷积特征多层次提取车辆特征信息来保证准确率的基础上,利用K-means++算法改进聚类先验框中心点的提取,同时借鉴darknet19骨干网络结构,构建一种网络深度更小的基础卷积网络结构,采用更少的重复残差块结构单元,使网络模型结构小型化。在采用卡尔曼滤波算法对目标检测后下一时刻的车辆位置进行跟踪的基础上,利用匈牙利匹配算法进行分配关联视频相邻帧中的车辆,确定被检测目标唯一标签ID,实现对多个目标的精确定位与跟踪,以此改善检测不连续、漏检、目标被遮挡等检测不稳定的情况。结果表明:在实车自采集数据和公开数据集KITTI上进行测试,相较于YOLOv3网络,在平均准确率基本保持不变情况下,网络参数减小,网络模型大小缩小为1/4,为57.2 MB,检测速度提高一倍,达到101.7 f/s。整体算法检测速度达到11.3 ms/帧,检测率为97.50%。该小型化网络检测跟踪算法在复杂道路环境中有较强的鲁棒性,可以满足实际智能驾驶过程中对车辆检测跟踪的精度、速度的要求。     

基于多特征融合的隧道场景车辆再识别

为解决隧道内交通监控视频的低分辨率以及光照不均匀导致的再识别准确率偏低的问题，提出了一种基于多特征融合的车辆再识别方法，通过充分利用车辆的各种有效特征信息提升车辆再识别精确度。首先，将卷积块注意力模块(Convolutional Block Attention Module, CBAM)嵌入到YOLOv5模型的骨干网络卷积层，同时采用CIoU损失和DIoU-NMS方案，提高车型检测准确率；其次，使用改进DeepSORT的表观特征提取网络和ResNet网络，分别获取深度卷积神经网络(Deep Convolution Neural Networks, DCNN)特征和车型ID特征；再次，将车型特征、DCNN特征及车辆ID特征使用加和表示层进行融合，形成可鉴别身份特征，以提高车辆再识别精度；最后，基于Softmax交叉熵损失和三元组损失设计指标函数并进行学习，对学习结果进行重排序以进一步提高模型的精度，并将算法在公开数据集VeRi776、VehicleID和自建数据集Tunnel＿Veh4C进行训练验证。结果表明：与现有方法相比，提出的Rank-1、Rank-5和Rank-10识别准确率以及...     

融合Lite-HRNet的Yolo v5双模态自动驾驶小目标检测方法

针对目前自动驾驶领域的目标检测算法在对道路小目标和密集目标进行检测的时候出现漏检的问题,提出一种融合Lite-HRNet的Yolo v5网络。首先为了获得高分辨率的特征检测图将Lite-HRNet作为Yolo v5的主干网络,以增强对小目标及密集目标的检测。为提升暗光场景下的检测性能,将红外图像与可见光图像进行动态权值融合,充分发挥可见光图像与红外图像的互补优势。由于主干网络进行了充分的特征融合,为加快检测速度取消在检测层中的特征融合结构。其次为了加快收敛速度和提高回归精度采用α-EIoU作为边界框损失函数,同时为选取针对数据集更合适的先验框,使用二分K-means算法进行聚类,并且使用小目标数据增强算法对数据集进行样本扩充。最后在flir数据集上进行对比测试,根据实验结果,提出的算法比Yolo v5在平均精度上提高了7.64%,小目标和密集目标的漏检率明显减少。     

基于虚拟点云的二阶段多模态融合网络

针对点云的稀疏性和无序性对目标检测准确率的影响,本文提出了一种基于虚拟点云的二阶段多模态融合网络VPC-VoxelNet。首先,利用图像检测目标信息构造虚拟点云,增加点云的密集程度,从而提高目标特征的表现;其次,增加点云特征维度以区分真实和虚拟点云,并使用含置信度编码的体素,增强点云的相关性;最后,采用虚拟点云的比例系数设计损失函数,增加图像检测有监督训练,提高二阶段网络训练效率,避免二阶段端到端网络模型存在的模型误差累计问题。该目标检测网络VPC-VoxelNet在KITTI数据集上进行了测试,检测精度优于经典三维点云检测网络和某些多传感器信息融合网络,车辆检测精度达到了86.9%。     

典型汽车碰撞事故场景中行人运动轨迹预测方法

为提高未来自动驾驶车辆对弱势道路使用群体的感知和决策融合的可靠性，本文提出一种基于目标检测算法（YOLOv5）、多目标跟踪算法（Deep-Sort）和社交长短时记忆神经网络（social-long short-term memory,Social-LSTM）的行人未来运动轨迹预测方法。结合YOLOv5检测和Deep-Sort跟踪算法，有效解决行人检测跟踪过程中目标丢失问题。提取特定行人目标历史轨迹作为预测框架的输入边界条件，并采用Social-LSTM预测行人未来运动轨迹。并对未来运动轨迹进行透视变换和直接线性变换，转换为世界坐标系中的位置信息，预测车辆与行人的可能未来碰撞位置。结果显示目标检测精度达到93.889%，平均精度均值达96.753%，基于高精度的检测模型最终轨迹预测算法结果显示，预测损失随着训练步长的增加呈递减趋势，最终损失值均小于1%，其中平均位移误差降低了18.30%，最终位移误差降低了51.90%，本研究可为智能车辆避撞策略开发提供理论依据和参考。     

基于相机与激光雷达融合多目标检测算法研究

准确的多目标感知系统是自动驾驶技术的关键。本文提出了一种基于相机与激光雷达融合的多目标检测算法。针对相机传感器无法获得准确的目标距离等深度信息,激光雷达无法获得准确的目标类别信息的问题,首先采用嵌入自适应特征融合模块的YOLOv7网络处理相机数据,同时对激光雷达数据进行点云预处理以消除无用的噪声点;其次,利用坐标变换将激光点云数据和相机数据转换到像素坐标系中;最后,采用基于ROI感兴趣区域的方法对点云进行聚类处理,以参数加权的方式融合两种传感器的检测结果。实验结果表明,嵌入改进YOLOv7网络的融合算法能够检测出更加准确的目标信息。     

交通场景中基于注意力机制神经网络的人群计数

人群计数是计算机视觉领域的重要任务。交通场景中的人群计数任务对于维护公众出行安全、实现交通智能化具有重要作用。公共交通场景中通常存在行人相互遮挡、背景复杂等现象,给人群计数带来了困难。为了实现高精度的人群计数,研究了基于注意力机制的人群密度估计网络。网络包含3个部分：特征提取模块通过生成多尺度的特征图,增强网络的特征表达能力,提高网络对行人大小变化的鲁棒性;注意力模块通过抑制背景噪声响应,强化人群特征响应,生成特征图中人群区域的概率分布,增强网络区分人群区域与背景区域的能力;密度估计模块在注意力机制的约束下指导网络回归高分辨率的人群密度图,提高网络对人群区域的敏感性。设计了基于背景感知的结构损失函数,能够降低模型的错误识别率,提高模型的计数准确率;采用多级监督机制指导网络进行学习,能够帮助梯度反向传播和减少过度拟合,进一步提高网络的人群计数精度。在公共数据集ShanghaiTech上进行了实验,实验结果表明：与目前最先进的算法相比,在ShanghaiTechA和ShanghaiTechB数据集上,平均绝对误差（mean absolute error,MAE）分别提高了2.4%和1.5%...     

基于改进YOLOv5神经网络的道路检测车辆前方障碍识别方法

针对在嵌入式设备上部署神经网络模型存在受限于设备体积与计算性能的影响而难以保证神经网络模型的推理实时性的问题，提出了一种基于YOLOv5-nano的前车检测改进方法（HS-YOLO）。首先，采用硬拟合函数h-swish来取代SiLU激活函数，在激活关系相似的情况下提高模型推理速度；此外，引入SIOU边界框回归损失来替代CIOU损失，提高模型的训练速度与推理精度。为进一步验证改进模型的性能，使用SSD、YOLOv4-tiny、基础模型YOLOv5-nano与改进的HS-YOLO网络在相同训练条件下进行训练，得到最优模型并在测试集上进行推理测试。结果表明：HS-YOLO模型的精确率、召回率及AP0.5较原模型YOLOv5-nano分别提升了0.76%、0.43%、0.41%；在推理速度方面，HS-YOLO模型的单张图片推理耗时为7.8 ms，实时推理帧数为128 FPS，在所有模型中表现最优，较原模型分别提高了0.7 ms和10 FPS。     

基于级联YOLOv7的自动驾驶三维目标检测

针对图像和原始点云三维目标检测方法中存在特征信息残缺及点云搜索量过大的问题，以截体点网（frustum PointNet, F-PointNet）结构为基础，融合自动驾驶周围场景RGB图像信息与点云信息，提出一种基于级联YOLOv7的三维目标检测算法。首先构建基于YOLOv7的截体估计模型，将RGB图像目标感兴趣区域（region of interest, RoI）纵向扩展到三维空间，然后采用PointNet++对截体内目标点云与背景点云进行分割。最终利用非模态边界估计网络输出目标长宽高、航向等信息，对目标间的自然位置关系进行解释。在KITTI公开数据集上测试结果与消融实验表明，级联YOLOv7模型相较基准网络，推理耗时缩短40 ms/帧，对于在遮挡程度为中等、困难级别的目标检测平均精度值提升了8.77%、9.81%。     

探地雷达多特征融合的城市空洞自动识别方法

探地雷达发射的电磁波容易受外部环境干扰，城市中复杂的地下市政设施进一步增加了空洞的识别难度，目前利用时域振幅特征图不能全面反映空洞病害的结构和介电参数，自动识别时容易出现误判和漏判。为了能够充分利用探地雷达信号中的多维信息，提升城市空洞自动识别的精度和效率，考虑提取反射信号特定时刻的振幅、频率和相位特征，通过特征融合解译改善空洞的识别精度。首先使用希尔伯特变换将信号从时域转换为时频域，在时频域计算得到特定瞬间的振幅图(IA)、频率图(IF)和相位图(IP),建立包含原始特征图(OP)的4个单特征数据集；然后基于二维小波变换的方法分别将IA+IF、IA+IP、IF+IP、IA+IF+IP融合，其中图像的高频部分采用最大值融合规则，低频部分采用均值融合策略，建立4个特征融合数据集；最后使用YOLOv7算法在8个数据下进行训练，对比研究模型的性能。结果表明：在IA+IP和IA+IF+IP数据集下训练的模型，相比OP数据集下性能均有所提升，其中IA+IP数据下训练的模型表现出最佳的性能，相比OP数据集模型的精确率提升5.0%,召回率提升7.6%,F1值提升7.8%,AP＿0.5提升5.9%。该...     

基于深度可分离卷积和多级特征金字塔网络的行人检测

为提高行人检测的准确率,提出一种基于卷积神经网络的行人检测方法。该方法以YOLOv3-tiny算法为基础,在骨干网络部分,用深度可分离卷积的网络结构代替原卷积网络结构,加深网络深度。在检测部分,提出一种改进的多级特征金字塔网络,该网络由8个结构相同的使用深度可分离卷积的特征金字塔组成,特征金字塔之间串联连接,将不同金字塔得到的相同尺寸的特征进行融合,利用融合后的特征金字塔进行检测。在Caltech Pedestrian数据集上进行测试。结果表明:该方法的漏检率为57.83%,比梯度方向直方图(HOG)方法低32.53%,比基于深度学习的方法SA Fast-RCNN和MS-CNN分别低4.67%、3.21%;运行速度为34 ms/帧。因而,该方法满足了实时性要求。     

基于YOLOv5的车辆目标检测算法轻量化改进

针对传统路端车辆目标检测算法参数多、检测速度较慢等问题,提出了基于YOLOv5 的车辆目标检测算法轻量化改进。首先,选用轻量化 EfficientnetV2 卷积神经网络对原骨干网络进行重构,同时在网络中引入 GAM 注意力机制;其次,为平衡 CIoU 损失和 IoU 损失在损失函数中的权重,引入 α-CIoU 损失代替原有的 CIoU 损失;最后,使用 soft-NMS 算法替换原有的 NMS 非极大值抑制算法。结果表明：相比原算法,改进后算法的精度提升了.51%,检测速度提升了 8.6%,模型大小降低了 31.7%;改进后的模型在提升检测速度的同时,还提高了路端车辆目标的检测性能。     

融合残差网络和特征金字塔的小尺度行人检测方法

针对小尺度行人检测中存在的过拟合、特征不易对齐,以及易忽略多尺度特征等问题,研究了1种融合残差网络和特征金字塔的小尺度行人检测方法。考虑到原始残差网络在检测小尺度行人时过于依赖训练集而出现过拟合问题,构建带有丢弃层的残差块代替残差网络结构中的标准残差块来解决这一局限,同时利用丢弃层的正则作用降低计算过程的复杂程度。通过在特征金字塔网络的侧向连接部分嵌入特征选择模块和特征对齐模块,对输入图像中重要的行人特征加强和对齐,提升算法对行人的多尺度特征学习能力,弥补特征金字塔网络出现特征不易对齐和易忽略多尺度特征的缺陷,提高小尺度行人的检测精度。在Caltech Pedestrian数据集上对模型进行训练、测试和验证,实验结果表明：小尺度行人检测精度为73.6%,AP₅₀检测精度为95.6%。在同为50层残差网络和特征金字塔网络下,改进后的模型可以使AP值提高17.2%,AP₅₀提高7.8%,小尺度行人检测精度提高了21.6%;在同为101层残差网络和特征金字塔网络下,可以使AP值提高24.5%,AP₅₀提高8.2%,小尺度行人检...     

基于YOLOv5网络的轮胎面缺陷检测分析

当前时有发生因轮胎面缺陷导致汽车在行驶中发生严重的交通事故,轮胎面缺陷智能检测对避免这类交通事故的发生具有重要意义。深度学习技术被越来越多地用于目标检测领域,文章基于卷积神经网络模型YOLOv5提出一种轮胎面缺陷智能检测方法。首先建立具有4种轮胎面缺陷特征的数据集,然后通过YOLOv5网络训练数据集,最后用训练好的网络模型在测试集上检测。实验结果显示,在检测轮胎面缺陷任务中,YOLOv5网络模型的平均检测精度（mAP）达到65.4%,检测速度可达到38FPS,相较于YOLOv4网络模型与Faster-RCNN网络模型分别提高约4.1%与31.6%。对进一步研究更有效的轮胎面缺陷智能检测方法提供了参考。     

基于改进门控上下文聚合网络的雾天实时行人检测方法

针对自动驾驶车辆在雾天情况下易将行人误检和漏检的问题，提出一种基于改进GCANet除雾网络和CenterNet检测网络相结合、有效进行雾天行人识别的联合检测方法。该方法在GCANet中引入结合底层细节和全局结构的复合损失函数，优化除雾图的结构细节及图像质量；并将改进的GCANet除雾算法应用于检测算法的训练图像预处理中，最后送入CenterNet网络训练。试验结果显示，本文提出的方法在合成雾天数据集Foggy Citypersons上的平均对数漏检率MR-2值达到9.65，在真实雾天数据集RTTS上的平均精度AP50值达到86.11，降低了雾天场景下行人的漏检和误检情况，有效提升了检测网络在雾天条件下的泛化能力。     

融合改进YOLO和背景差分的道路抛洒物检测算法

针对现有道路抛洒物检测算法识别准确率低、识别种类有限、实时检测效率低的问题,探索了将深度学习目标检测和传统图像处理相结合的抛洒物检测算法。提出在YOLOv5s目标检测算法基础上,对模型结构进行修改以满足实时性需求。具体地,使用卷积优化YOLO中的降采样模块,采用Ghost网络替代原始的特征提取网络以减少计算量,根据抛洒物检测对象的特点设计符合数据集的锚框以提高目标识别准确度。使用优化后的YOLO检测道路场景中车辆、行人作为交通参与者得到检测框,在检测框周围设定感兴趣区域,并在感兴趣区域内用背景差分算法实现前景目标识别。计算前景目标与YOLO检测结果的交并比,排除交通参与者目标后实现道路抛洒物的识别。针对交通参与者检测的实验结果表明,改进后的YOLO检测算法在整体识别精度没有损失的情况下单帧检测速度为20.67 ms,比原始YOLO检测算法速度提升16.42%。真实道路抛洒物实验结果表明,在没有抛洒物训练数据情况下,传统混合高斯模型算法平均精度值为0.51,采用融合改进YOLO和背景差分的抛洒物检测算法平均精度值为0.78,算法检测精度提高52.9%。改进后算法可适用于没有抛洒物数据或正样本数据稀少的情况。该算法在嵌入式设备Jetson Xavier NX上单帧检测速度达到24.4 ms,可实现抛洒物的实时检测。     

基于无损跨尺度特征融合的交通目标检测算法

针对复杂道路环境下交通目标与背景区分度低、交通小目标密集度高、部分遮挡严重、容易产生漏检、误检等问题，提出了一种融合注意力的无损跨尺度复合空洞残差网络的交通目标检测算法。通过改进SSD基础骨干网络和残差结构，加强网络提取强表征性的高级语义信息能力，解决信息传递损耗和丢失问题。在此基础上提出一种新的多视野聚合空洞残差单元，通过设置不同膨胀率的空洞卷积，获得不同大小感受野，聚合上下文信息实现大目标与小目标的兼顾。提出一种新的无损失跨尺度融合模块，通过该模块进行通道重组，结合通道维度信息填充像素，实现跨通道像素信息融合，进一步提升特征提取的能力。同时引入了坐标注意力机制，将轴向的空间坐标通道信息有效整合到生成注意力图中，构建出能够捕获跨通道信息且包含方向感知和位置敏感信息的注意力残差单元与多视野聚合空洞残差单元。此外，通过引入Soft-NMS降低与高置信度预测框重叠度较大的目标框的置信度，增加二次检测机会，提升了网络模型召回率。最后引入解耦检测头以加快模型收敛速度和提高检测精度。在VOC数据集07+12上的试验结果表明，算法平均精度提升了6.46%,证明了提出算法的准确性和鲁棒性。