基于深度可分离卷积和多级特征金字塔网络的行人检测

为提高行人检测的准确率,提出一种基于卷积神经网络的行人检测方法。该方法以YOLOv3-tiny算法为基础,在骨干网络部分,用深度可分离卷积的网络结构代替原卷积网络结构,加深网络深度。在检测部分,提出一种改进的多级特征金字塔网络,该网络由8个结构相同的使用深度可分离卷积的特征金字塔组成,特征金字塔之间串联连接,将不同金字塔得到的相同尺寸的特征进行融合,利用融合后的特征金字塔进行检测。在Caltech Pedestrian数据集上进行测试。结果表明:该方法的漏检率为57.83%,比梯度方向直方图(HOG)方法低32.53%,比基于深度学习的方法SA Fast-RCNN和MS-CNN分别低4.67%、3.21%;运行速度为34 ms/帧。因而,该方法满足了实时性要求。     

融合改进YOLO和背景差分的道路抛洒物检测算法

针对现有道路抛洒物检测算法识别准确率低、识别种类有限、实时检测效率低的问题，探索了将深度学习目标检测和传统图像处理相结合的抛洒物检测算法。提出在YOLOv5s目标检测算法基础上，对模型结构进行修改以满足实时性需求。具体地，使用卷积优化YOLO中的降采样模块，采用Ghost网络替代原始的特征提取网络以减少计算量，根据抛洒物检测对象的特点设计符合数据集的锚框以提高目标识别准确度。使用优化后的YOLO检测道路场景中车辆、行人作为交通参与者得到检测框，在检测框周围设定感兴趣区域，并在感兴趣区域内用背景差分算法实现前景目标识别。计算前景目标与YOLO检测结果的交并比，排除交通参与者目标后实现道路抛洒物的识别。针对交通参与者检测的实验结果表明，改进后的YOLO检测算法在整体识别精度没有损失的情况下单帧检测速度为20.67 ms，比原始YOLO检测算法速度提升16.42%。真实道路抛洒物实验结果表明，在没有抛洒物训练数据情况下，传统混合高斯模型算法平均精度值为0.51，采用融合改进YOLO和背景差分的抛洒物检测算法平均精度值为0.78，算法检测精度提高52.9%。改进后算法可适用于没有抛洒物数据或正样本数据稀少的情况。该算法在嵌入式设备Jetson Xavier NX上单帧检测速度达到24.4 ms，可实现抛洒物的实时检测。      

融合毫米波雷达与深度视觉的多目标检测与跟踪

针对现有融合毫米波雷达与传统机器视觉的车辆检测算法准确率较低与实时性较差的问题,本文中对多目标检测与跟踪进行研究。首先,利用阈值筛选和前后帧数据关联方法对毫米波雷达数据进行预处理,进而提出一种用于毫米波雷达数据跟踪的自适应扩展卡尔曼滤波算法。然后,为提高目标检测精度与速度,基于采集到的实车数据集训练卷积神经网络,完成深度视觉的多车辆检测。最后,采用决策级融合策略融合毫米波雷达与深度视觉信息,设计了一种用于复杂交通环境下前方车辆多目标检测与跟踪的框架。为验证所设计的框架,进行了不同交通环境下的实车实验。结果表明:该方法可实时检测跟踪前方车辆,具有比融合毫米波雷达与传统机器视觉的车辆检测方法更好的可靠性与鲁棒性。     

基于YOLOv5的车辆目标检测算法轻量化改进

针对传统路端车辆目标检测算法参数多、检测速度较慢等问题,提出了基于YOLOv5 的车辆目标检测算法轻量化改进。首先,选用轻量化 EfficientnetV2 卷积神经网络对原骨干网络进行重构,同时在网络中引入 GAM 注意力机制;其次,为平衡 CIoU 损失和 IoU 损失在损失函数中的权重,引入 α-CIoU 损失代替原有的 CIoU 损失;最后,使用 soft-NMS 算法替换原有的 NMS 非极大值抑制算法。结果表明：相比原算法,改进后算法的精度提升了.51%,检测速度提升了 8.6%,模型大小降低了 31.7%;改进后的模型在提升检测速度的同时,还提高了路端车辆目标的检测性能。     

基于深度学习的船舶驾驶员疲劳检测算法

针对日益凸显的船舶值班人员疲劳驾驶问题，为有效预警值班驾驶员的疲劳状态，保障船舶航行安全，研究了基于深度学习的疲劳检测算法。考虑到船舶驾驶台空间大、背景复杂等特点，使用深度可分离卷积改进RetinaFace人脸检测模型，优化模型的检测速度；基于Channel Split和Channel Shuffle思想，结合批量归一化、全局平均池化等技术搭建改进的ShuffleNetV2网络，自动提取图像特征，识别眼睛、嘴巴的开闭状态；根据PERCLOS准则融合眼睛、嘴巴2个特征参数综合判定驾驶员是否疲劳。实验结果表明:改进后RetinaFace模型的检测速度由9.33帧/s提升至22.60帧/s，人脸检测精度和速度均优于多任务卷积神经网络（MTCNN）；改进的ShuffleNetV2网络识别眼睛、嘴巴状态的准确率高达99.50%以上；算法在模拟驾驶台环境中识别疲劳状态的精确率达到95.70%，召回率达到96.73%，均高于目前常见的Haar-like+Adaboost以及MTCNN+CNN疲劳检测算法。算法检测每帧图片仅需0.083 s，基本满足实时检测的要求。      

航拍视频车辆检测目标关联与时空轨迹匹配

高解析度轨迹数据蕴含丰富车辆行驶与交通流时空信息.为从航拍视频中提取车辆轨迹,构建了车辆检测目标跨帧关联与轨迹匹配融合方法.采用卷积神经网络YOLOv5构建视频全域车辆目标检测,提出车辆动力学与轨迹置信度约束下跨帧目标关联算法,建立了基于最大相关性的断续轨迹匹配与融合构建算法,实现轨迹车辆唯一编号.将轨迹从图像坐标转换为车道基准下Frenet坐标,构建集合经验模态分解(EEMD)模型进行轨迹数据噪声消除.采用南京市快速路无人机拍摄的2组开源航拍视频,涵盖拥堵与自由流交通状态,对轨迹提取算法进行效果测试.结果表明,在自由流和拥挤条件下轨迹准确率分别为98.86％和98.83％,轨迹召回率为93.00％和86.69％,构建算法的轨迹提取速度为0.07 s/辆/m.该方法处理得到的详细车辆时空轨迹信息能为交通流、交通安全、交通管控研究提供广泛的数据支撑,数据公开于http://seutraffic.com/.     

区域卷积神经网络用于遥感影像车辆检测

针对大范围快速的车辆检测与计数,利用高分辨率卫星影像数据,提出了一种基于区域卷积神经网络的车辆检测算法。区域卷积神经网络是深度卷积神经网络和区域建议网络二者的结合。首先利用深度卷积神经网络自动提取各个层的特征,为了减少检测窗口的数量,提出区域建议网络,对下采样后的每个位置考虑3种窗口和对应的3种比例,这样大大减少了检测窗口的数量。再根据分类器对目标进行分类。这样将特征、检测窗口和分类器有效地结合在一起。在对遥感影像车辆检测试验中,通过对手工标注的车辆样本数据多次迭代来训练卷积神经网络和区域建议网络获取车辆检测的先验模型,再由先验模型检测出测试影像中车辆目标。与传统的基于梯度方向直方图(HOG)特征和支持向量机(SVM)车辆检测算法进行比较,在检测率方面,区域卷积神经网络算法明显高于HOG+SVM算法;在误检率方面,区域卷积神经网络检测明显小于HOG+SVM算法;在检测时间方面,同样的一张图像,区域卷积神经网络检测速度比HOG+SVM算法提升近800倍。试验结果表明:利用区域卷积神经网络方法进行大范围车辆检测,在精度和速度方面都有显著提升。     

面向车流量智能检测的YOLOv7算法改进与应用

针对当前机器视觉识别中车流量检测的精度问题,以YOLOv7人工智能算法为基础,通过视觉跟踪并叠加注意力机制,提出一种基于YOLOv7和Deep SORT的改进型车流量智能检测方法。通过将注意力模块GAM与YOLOv7网络进行融合增强检测网络的特征提取能力;同时在改进后的YOLOv7网络中引入Deep SORT跟踪算法以改善车辆间相互遮挡导致复检漏检问题。实验选取重庆市渝中区经纬大道双向六车道为研究对象,在新铺社天桥上采用固定相机连接移动笔记本电脑的方式进行数据采集以及算法验证,为了保证算法的可重复性,分别选取早高峰、午平峰和晚高峰3个时段分别录取了5 min的交通流视频。利用在交通视频中通过设置虚拟检测线,让新算法在车辆检测的同时对车辆运行轨迹进行跟踪,当车辆经过检测线时记录车辆的身份编号,以此来实现交通视频的车流量监测与跟踪计数。实验结果表明：改进后的新算法相比于原YOLOv7算法在车辆检测方面平均精度提高了2.3%,视频车流量统计的精度提高了8.2%。     

基于多特征融合的隧道场景车辆再识别

为解决隧道内交通监控视频的低分辨率以及光照不均匀导致的再识别准确率偏低的问题，提出了一种基于多特征融合的车辆再识别方法，通过充分利用车辆的各种有效特征信息提升车辆再识别精确度。首先，将卷积块注意力模块(Convolutional Block Attention Module, CBAM)嵌入到YOLOv5模型的骨干网络卷积层，同时采用CIoU损失和DIoU-NMS方案，提高车型检测准确率；其次，使用改进DeepSORT的表观特征提取网络和ResNet网络，分别获取深度卷积神经网络(Deep Convolution Neural Networks, DCNN)特征和车型ID特征；再次，将车型特征、DCNN特征及车辆ID特征使用加和表示层进行融合，形成可鉴别身份特征，以提高车辆再识别精度；最后，基于Softmax交叉熵损失和三元组损失设计指标函数并进行学习，对学习结果进行重排序以进一步提高模型的精度，并将算法在公开数据集VeRi776、VehicleID和自建数据集Tunnel＿Veh4C进行训练验证。结果表明：与现有方法相比，提出的Rank-1、Rank-5和Rank-10识别准确率以及...     

基于嵌入式平台的车前红外行人检测方法研究

针对当前目标检测方法普遍需要高功耗GPU计算平台、易受光照条件影响的问题，提出2种基于嵌入式平台的车前红外行人检测方法：将训练好的YOLOv4-tiny模型使用英伟达开源推理加速库TensorRT进行优化，部署于嵌入式平台；以YOLOv4-tiny模型作为算法的基本架构，结合视觉注意力机制和空间金字塔池化思想，同时增加1个YOLO层，提出YOLOv4-tiny+3L+SPP+CBAM网络模型。将2种方法在FLIR数据集上进行训练与测试，并在Jetson TX2嵌入式平台上进行试验，试验结果表明：相较于原始网络YOLOv4-tiny，所提出的第1种方法平均准确率降低0.54%，推理速度提升86.43%（帧速率达26.1帧/s）；提出的第2种方法平均准确率提升16.21%，推理速度降低22.86%（帧速率达10.8帧/s）。2种方法均可兼顾准确率和实时性，能够满足车前红外行人检测的需要。     

基于深度学习的多目标车辆轨迹自动采集方法

车辆轨迹通常用于驾驶行为建模和交通安全领域。为获取交通视频中车辆轨迹,提出一种基于深度学习的自动采集方法。利用YOLOv5检测器在连续帧中的感兴趣区域进行车辆检测,通过DeepSORT跟踪器进行稳健而快速的车辆跟踪,该追踪器可以有效减少目标ID的跳变,提升跟踪稳定性,通过透视变换得到车辆的真实世界坐标并使用局部加权回归算法进行轨迹平滑。实验结果表明,该方法在高速公路监控数据集上的平均多目标跟踪准确率达96.1%,轨迹采集的平均准确度超过了93%,平滑算法能有效去除轨迹噪声。     

基于改进长短时记忆网络的驾驶行为检测方法研究

疲劳驾驶和不安全驾驶行为是引起交通事故的主要原因,随着智能交通技术的发展,利用深度学习算法进行驾驶行为检测已成为研究的热点之一。在卷积神经网络和长短时记忆神经网络的基础上,结合注意力机制改进网络结构,提出一种混合双流卷积神经网络算法,空间流通道采用卷积神经网络提取视频图像的空间特征值,以空间金字塔池化代替均值池化,统一了特征图的尺度变换,时间流通道采用SSD算法计算视频序列相邻两帧光流图像,用于人眼等脸部小目标的检测,再进行图像特征融合与分类,在LFW数据集和自建数据集中进行了实验,结果表明本方法的人脸识别和疲劳驾驶的检测准确率分别高于其他方法 1.36和2.58个百分点以上。     

一种基于TX2平台的改进YOLOv3红绿灯检测算法

针对采用嵌入式平台TX2检测红绿灯时存在存储容量小、算力有限的问题,提出一种改进YOLOv3红绿灯检测算法。从获取最优锚框尺度、裁减网络大尺度检测分支、模型剪枝压缩3个方面对YOLOv3算法进行改进,在自制数据集下进行模型训练,在离线数据测试中,模型的平均精度提高了34%,参数量压缩至11.9%,帧速率可达18帧/s,在实际环境测试中,对不规则摆放的园区红绿灯以及10 km实际路段下红绿灯的正确识别率分别为94.75%、92.7%。     

基于倾向流和深度学习的机场运动目标检测

针对当前基于视频图像的场面监视目标检测方法存在定位误差较大,识别准确率低等问题,建立一种结合目标运动信息的机场场面运动目标检测方法:利用倾向流法提取出运动目标在图像中的候选区域,对候选区域执行点池化操作以确定区域建议的边界,采用Inception结构构建一个浅层卷积神经网络,并使用该网络对区域建议中的航空器、车辆和人员进行识别.结合国内机场的监视视频,构建了一个包含4 938张图片的机场目标数据集,用于算法的训练和测试.结果 表明,运动目标提取的准确率达到94%以上,运动目标识别的Top-1准确率达到了97.23%,运动目标平均准确率达到86.23%.与3种深度学习目标检测算法相比,运动目标检测精度平均提升了39%.      

基于改进YOLOv5的雾霾环境下船舶红外图像检测算法

从监控图像中准确检测船舶对于港区水域船舶交通智能监管具有重要意义。为解决雾霾条件下传统YOLOv5目标检测算法对船舶红外图像检测准确率低、小目标特征提取能力弱等问题，提出了基于Swin Transformer的改进YOLOv5船舶红外图像检测算法。为扩大原始数据集的多样性，综合考虑船舶红外图像轮廓特征模糊、对比度低、抗云雾干扰能力强等特点，改进算法提出基于大气散射模型的数据集增强方法；为增强特征提取过程中全局特征的关注能力，改进算法的主干网络采用Swin Transformer提取船舶红外图像特征，并通过滑动窗口多头自注意力机制扩大窗口视野范围；为增强网络对密集小目标空间特征提取能力，通过改进多尺度特征融合网络（PANet），引入底层特征采样模块和坐标注意力机制（CA），在注意力中捕捉小目标船舶的位置、方向和跨通道信息，实现小目标的精确定位；为降低漏检率和误检率，采用完全交并比损失函数（CIoU）计算原始边界框的坐标预测损失，结合非极大抑制算法（NMS）判断并筛选候选框多次循环结构，提高目标检测结果的可靠性。实验结果表明:在一定浓度的雾霾环境下，改进算法的平均识别精度为93.73%，平均召回率为98.10%，平均检测速率为每秒38.6帧；与RetinaNet、Faster R-CNN、YOLOv3 SPP、YOLOv4、YOLOv5和YOLOv6-N算法相比，其平均识别精度分别提升了13.90%、11.53%、8.41%、7.21%、6.20%和3.44%，平均召回率分别提升了11.81%、9.67%、6.29%、5.53%、4.87%和2.39%。综上，所提的Swin-YOLOv5s改进算法对不同大小的船舶目标识别均具备较强的泛化能力，并具有较高的检测精度，有助于提升港区水域船舶的监管能力。      

基于三维激光雷达的动态障碍物检测和追踪方法

为解决无人驾驶车辆在城市路况下对多个动态障碍物同时检测和跟踪的关键问题,提出一种基于三维激光雷达的多目标实时检测和跟踪方法。通过对单帧激光雷达点云数据进行聚类,提取障碍物外接矩形轮廓特征;采用多假设跟踪模型(MHT)算法对连续两帧的障碍物信息进行数据关联;利用卡尔曼滤波算法对动态障碍物进行连续地预测和跟踪。试验结果表明,该算法能够在自行搭建的智能车平台上以每帧100 ms的速度准确、稳定地检测和跟踪。     

基于深度学习的行人和骑行者目标检测及跟踪算法研究

以YOLOv2网络作为目标检测的基础模型,为提高模型检测群簇小目标的准确率,在YOLOv2中加入残差网络,构成YOLO-R网络,通过构建行人和骑行者样本库,以及修改anchor boxes尺寸等网络参数,训练出更适合检测行人和骑行者目标的网络模型,并通过匹配算法完成行人、骑行者分类,进一步运用Kalman滤波实现多目标跟踪。试验结果表明:在训练样本、网络参数相同的情况下,YOLO-R比YOLOv2网络的平均精度均值(mAP)提高了3.4%,在满足速度要求的前提下,YOLO-R网络检测效果更优。     

无人机视频的交通参数提取方法及验证

为了研究无人机监测视频准确提取运动车辆交通参数信息,采用计算机人工智能图像处理技术和实际道路场景验证试验方法,提出一种基于YOLO v3神经网络模型的目标检测和Deep-Sort多目标跟踪算法相结合的运动车辆参数提取方法。为了验证无人机交通参数提取方法的可行性、准确性、可靠性,采用试验路段场景数字化、特征点标记、世界坐标采集的方法,标定世界坐标与图像坐标转换矩阵。采用装载高精度GNSS-RTK定位和车载OBD的试验车辆实时记录车辆微观运动参数(时间、速度、加速度等),对比验证视频提取车辆参数的准确性。共进行7组不同飞行高度(150～350 m)、不同行驶速度(40～90 km/h)验证试验,累计获得70 min试验路段监测视频,2辆试验车共获得5 400帧、1 192个速度验证信息。验证试验结果表明:视频识别算法目标检测精度为90. 88%、追踪精度为98. 9%,提取的车辆速度参数整体绝对误差在±3 km/h以内、相对误差在2%以内,参数提取整体准确率达98%。验证了无人机视频交通参数提取的可靠性和准确性,为交通管控提供了一种监测方法和数据提取手段,也为交通行为研究提供了数据采集手段。     

支持抗光照目标检测的改进YOLO算法

针对现有的深度学习目标检测算法中存在的复杂光照场景下检测精度不高、实时性差等问题，提出了一种基于YOLO算法的抗光照目标检测网络模型YOLO-RLG。首先，将输入模型的RGB数据转换为HSV数据，从HSV数据分离出抗光照能力强的S通道，并与RGB数据合并生成RGBS数据，使输入数据具备抗光照能力；其次，将YOLOV4的主干网络替换成Ghostnet网络，并对其在普通卷积与廉价卷积的模型分配比例上进行调整，在保证检测精度的同时提高检测速度；最后，用EIoU替换CIoU改进模型的损失函数，提高了目标检测精度和算法鲁棒性。基于KITTI与VOC数据集的实验结果表明，与原网络模型比较，FPS提高了22.54与17.84 f/s，模型降低了210.3 M，精确度（AP）提升了0.83%与1.31%，且算法的抗光照能力得到显著增强。     

典型汽车碰撞事故场景中行人运动轨迹预测方法

为提高未来自动驾驶车辆对弱势道路使用群体的感知和决策融合的可靠性，本文提出一种基于目标检测算法（YOLOv5）、多目标跟踪算法（Deep-Sort）和社交长短时记忆神经网络（social-long short-term memory,Social-LSTM）的行人未来运动轨迹预测方法。结合YOLOv5检测和Deep-Sort跟踪算法，有效解决行人检测跟踪过程中目标丢失问题。提取特定行人目标历史轨迹作为预测框架的输入边界条件，并采用Social-LSTM预测行人未来运动轨迹。并对未来运动轨迹进行透视变换和直接线性变换，转换为世界坐标系中的位置信息，预测车辆与行人的可能未来碰撞位置。结果显示目标检测精度达到93.889%，平均精度均值达96.753%，基于高精度的检测模型最终轨迹预测算法结果显示，预测损失随着训练步长的增加呈递减趋势，最终损失值均小于1%，其中平均位移误差降低了18.30%，最终位移误差降低了51.90%，本研究可为智能车辆避撞策略开发提供理论依据和参考。