基于改进YOLOv5神经网络的道路检测车辆前方障碍识别方法

针对在嵌入式设备上部署神经网络模型存在受限于设备体积与计算性能的影响而难以保证神经网络模型的推理实时性的问题，提出了一种基于YOLOv5-nano的前车检测改进方法（HS-YOLO）。首先，采用硬拟合函数h-swish来取代SiLU激活函数，在激活关系相似的情况下提高模型推理速度；此外，引入SIOU边界框回归损失来替代CIOU损失，提高模型的训练速度与推理精度。为进一步验证改进模型的性能，使用SSD、YOLOv4-tiny、基础模型YOLOv5-nano与改进的HS-YOLO网络在相同训练条件下进行训练，得到最优模型并在测试集上进行推理测试。结果表明：HS-YOLO模型的精确率、召回率及AP0.5较原模型YOLOv5-nano分别提升了0.76%、0.43%、0.41%；在推理速度方面，HS-YOLO模型的单张图片推理耗时为7.8 ms，实时推理帧数为128 FPS，在所有模型中表现最优，较原模型分别提高了0.7 ms和10 FPS。     

一种基于TX2平台的改进YOLOv3红绿灯检测算法

针对采用嵌入式平台TX2检测红绿灯时存在存储容量小、算力有限的问题,提出一种改进YOLOv3红绿灯检测算法。从获取最优锚框尺度、裁减网络大尺度检测分支、模型剪枝压缩3个方面对YOLOv3算法进行改进,在自制数据集下进行模型训练,在离线数据测试中,模型的平均精度提高了34%,参数量压缩至11.9%,帧速率可达18帧/s,在实际环境测试中,对不规则摆放的园区红绿灯以及10 km实际路段下红绿灯的正确识别率分别为94.75%、92.7%。     

基于Jetson TX2的路面裂缝检测系统设计

针对目前采用深度学习框架的路面裂缝检测方法存在落地应用难、成本高与效率低等问题，设计了基于Jetson TX2的路面裂缝检测系统。通过YOLOv5网络识别路面裂缝，使用U-Net网络对裂缝目标进行分割，并根据分割结果进行路面健康评价；其次，利用TensorRT方法优化深度学习模型，提高推理速度；最后，结合DeepStream框架设计路面视频流分析系统并部署到Jetson TX2嵌入式平台。实验结果表明：路面裂缝目标检测模型对横向、纵向和网状裂缝3种路面常见路面裂缝的检测精度均达到了90%以上，且模型优化后的推理速度为30.7 ms/帧，速率提升35.1%;最后经过验证，Jetson TX2嵌入式平台的裂缝漏检率较低且满足路面裂缝检测的实时性，能够降低路面裂缝检测的成本，给出相应的维修建议，提高路面裂缝检测效率与自动化程度。     

基于小型化YOLOv3的实时车辆检测及跟踪算法

为了研究现有车辆目标检测算法的检测精度与检测速度相矛盾的问题,提出了一种小型化的改进YOLOv3深度卷积网络的实时车辆检测及跟踪算法。采用构建卷积层数少的网络架构以及进行多目标跟踪的方法,分析了大网络模型结构时正向推理速度慢、小网络模型结构时检测精度低的原因。在不同尺度卷积特征多层次提取车辆特征信息来保证准确率的基础上,利用K-means++算法改进聚类先验框中心点的提取,同时借鉴darknet19骨干网络结构,构建一种网络深度更小的基础卷积网络结构,采用更少的重复残差块结构单元,使网络模型结构小型化。在采用卡尔曼滤波算法对目标检测后下一时刻的车辆位置进行跟踪的基础上,利用匈牙利匹配算法进行分配关联视频相邻帧中的车辆,确定被检测目标唯一标签ID,实现对多个目标的精确定位与跟踪,以此改善检测不连续、漏检、目标被遮挡等检测不稳定的情况。结果表明:在实车自采集数据和公开数据集KITTI上进行测试,相较于YOLOv3网络,在平均准确率基本保持不变情况下,网络参数减小,网络模型大小缩小为1/4,为57.2 MB,检测速度提高一倍,达到101.7 f/s。整体算法检测速度达到11.3 ms/帧,检测率为97.50%。该小型化网络检测跟踪算法在复杂道路环境中有较强的鲁棒性,可以满足实际智能驾驶过程中对车辆检测跟踪的精度、速度的要求。     

基于深度学习的船舶驾驶员疲劳检测算法

针对日益凸显的船舶值班人员疲劳驾驶问题，为有效预警值班驾驶员的疲劳状态，保障船舶航行安全，研究了基于深度学习的疲劳检测算法。考虑到船舶驾驶台空间大、背景复杂等特点，使用深度可分离卷积改进RetinaFace人脸检测模型，优化模型的检测速度；基于Channel Split和Channel Shuffle思想，结合批量归一化、全局平均池化等技术搭建改进的ShuffleNetV2网络，自动提取图像特征，识别眼睛、嘴巴的开闭状态；根据PERCLOS准则融合眼睛、嘴巴2个特征参数综合判定驾驶员是否疲劳。实验结果表明:改进后RetinaFace模型的检测速度由9.33帧/s提升至22.60帧/s，人脸检测精度和速度均优于多任务卷积神经网络（MTCNN）；改进的ShuffleNetV2网络识别眼睛、嘴巴状态的准确率高达99.50%以上；算法在模拟驾驶台环境中识别疲劳状态的精确率达到95.70%，召回率达到96.73%，均高于目前常见的Haar-like+Adaboost以及MTCNN+CNN疲劳检测算法。算法检测每帧图片仅需0.083 s，基本满足实时检测的要求。      

基于深度可分离卷积和多级特征金字塔网络的行人检测

为提高行人检测的准确率,提出一种基于卷积神经网络的行人检测方法。该方法以YOLOv3-tiny算法为基础,在骨干网络部分,用深度可分离卷积的网络结构代替原卷积网络结构,加深网络深度。在检测部分,提出一种改进的多级特征金字塔网络,该网络由8个结构相同的使用深度可分离卷积的特征金字塔组成,特征金字塔之间串联连接,将不同金字塔得到的相同尺寸的特征进行融合,利用融合后的特征金字塔进行检测。在Caltech Pedestrian数据集上进行测试。结果表明:该方法的漏检率为57.83%,比梯度方向直方图(HOG)方法低32.53%,比基于深度学习的方法SA Fast-RCNN和MS-CNN分别低4.67%、3.21%;运行速度为34 ms/帧。因而,该方法满足了实时性要求。     

基于改进YOLOv5s模型的地铁屏蔽门与列车门间异物快速检测方法

快速准确地检测地铁屏蔽门与列车门间异物对于保障安全具有重要意义。针对当前地铁屏蔽门与列车门间异物检测方法的低效和不准确,提出了1种基于YOLOv5s模型的快速检测方法。由于原始YOLOv5s模型在检测异物时仅依赖于候选区域内部特征信息而忽略了全局语义信息,因此引入全局语义模块来解决这一局限。该模块集成了非局部模块和压缩-激励模块：非局部模块采用自注意力机制建模像素对关系,捕获长局信息依赖;压缩-激励模块则起到降低模型计算量的作用。全局语义模块使得模型能够捕获全局语义信息并将其与局部信息相结合,以实现更好的异物检测,同时不会显著增加计算复杂度。此外,原始YOLOv5s模型中低效的Focus模块被1个完全由标准卷积单元构成的Stem模块所取代,有助于减少模型计算量和提高检测速度。使用桌面级显卡NVIDIA TITAN Xp,在从真实地铁站中采集构建而成的5 854张地铁异物数据集,对模型进行验证,实验结果表明：(1)改进后的YOLO模型表现显著优于其它基准模型,检测速度达到385帧/s,相比原始YOLOv5s提升100%,相比最快的YOLOv3-SPP提升466%;(2)改进后的YOLO模...     

基于卷积神经网络的车辆位姿估计算法

针对基于双目视觉和激光雷达对车辆进行位姿估计时计算量大、成本高等问题,提出一种单目视觉位姿估计算法,设计多任务卷积神经网络作为车辆位置和姿态估计的网络。将目标车辆视为刚体,分别对其尺寸、姿态角、3D中心点建模,以KITTI数据集中相关数据对模型进行训练,并分析训练后的网络,估计模型的计算速度和精度。结果表明,该位姿估计网络实时性良好,帧速率达50帧/s,平均姿态角相似度达86.14%。     

基于深度学习的行人和骑行者目标检测及跟踪算法研究

以YOLOv2网络作为目标检测的基础模型,为提高模型检测群簇小目标的准确率,在YOLOv2中加入残差网络,构成YOLO-R网络,通过构建行人和骑行者样本库,以及修改anchor boxes尺寸等网络参数,训练出更适合检测行人和骑行者目标的网络模型,并通过匹配算法完成行人、骑行者分类,进一步运用Kalman滤波实现多目标跟踪。试验结果表明:在训练样本、网络参数相同的情况下,YOLO-R比YOLOv2网络的平均精度均值(mAP)提高了3.4%,在满足速度要求的前提下,YOLO-R网络检测效果更优。     

面向地下停车场的轻量级目标检测算法研究

基于深度学习的目标检测算法能够取得良好的检测速度离不开高性能GPU硬件设备的支持。然而,在智能车中搭载高性能、高功耗、大尺寸的硬件设备与汽车的长续航理念不符。因此,文章以YOLOv3目标检测算法为基线模型进行改进,提出轻量化的目标检测模型Mobile-YOLO,并在采集制作的地下停车场数据集中进行训练测试。实验结果表明,提出了Mobile-YOLO相较于YOLOv3,在平均精度均值略微提升的情况下,检测速度提升了47.1%。在移动端平台TX2上每秒能够检测31张图像。     

融合改进YOLO和背景差分的道路抛洒物检测算法

针对现有道路抛洒物检测算法识别准确率低、识别种类有限、实时检测效率低的问题，探索了将深度学习目标检测和传统图像处理相结合的抛洒物检测算法。提出在YOLOv5s目标检测算法基础上，对模型结构进行修改以满足实时性需求。具体地，使用卷积优化YOLO中的降采样模块，采用Ghost网络替代原始的特征提取网络以减少计算量，根据抛洒物检测对象的特点设计符合数据集的锚框以提高目标识别准确度。使用优化后的YOLO检测道路场景中车辆、行人作为交通参与者得到检测框，在检测框周围设定感兴趣区域，并在感兴趣区域内用背景差分算法实现前景目标识别。计算前景目标与YOLO检测结果的交并比，排除交通参与者目标后实现道路抛洒物的识别。针对交通参与者检测的实验结果表明，改进后的YOLO检测算法在整体识别精度没有损失的情况下单帧检测速度为20.67 ms，比原始YOLO检测算法速度提升16.42%。真实道路抛洒物实验结果表明，在没有抛洒物训练数据情况下，传统混合高斯模型算法平均精度值为0.51，采用融合改进YOLO和背景差分的抛洒物检测算法平均精度值为0.78，算法检测精度提高52.9%。改进后算法可适用于没有抛洒物数据或正样本数据稀少的情况。该算法在嵌入式设备Jetson Xavier NX上单帧检测速度达到24.4 ms，可实现抛洒物的实时检测。      

基于级联YOLOv7的自动驾驶三维目标检测

针对图像和原始点云三维目标检测方法中存在特征信息残缺及点云搜索量过大的问题，以截体点网（frustum PointNet, F-PointNet）结构为基础，融合自动驾驶周围场景RGB图像信息与点云信息，提出一种基于级联YOLOv7的三维目标检测算法。首先构建基于YOLOv7的截体估计模型，将RGB图像目标感兴趣区域（region of interest, RoI）纵向扩展到三维空间，然后采用PointNet++对截体内目标点云与背景点云进行分割。最终利用非模态边界估计网络输出目标长宽高、航向等信息，对目标间的自然位置关系进行解释。在KITTI公开数据集上测试结果与消融实验表明，级联YOLOv7模型相较基准网络，推理耗时缩短40 ms/帧，对于在遮挡程度为中等、困难级别的目标检测平均精度值提升了8.77%、9.81%。     

基于深度学习的多目标车辆轨迹自动采集方法

车辆轨迹通常用于驾驶行为建模和交通安全领域。为获取交通视频中车辆轨迹,提出一种基于深度学习的自动采集方法。利用YOLOv5检测器在连续帧中的感兴趣区域进行车辆检测,通过DeepSORT跟踪器进行稳健而快速的车辆跟踪,该追踪器可以有效减少目标ID的跳变,提升跟踪稳定性,通过透视变换得到车辆的真实世界坐标并使用局部加权回归算法进行轨迹平滑。实验结果表明,该方法在高速公路监控数据集上的平均多目标跟踪准确率达96.1%,轨迹采集的平均准确度超过了93%,平滑算法能有效去除轨迹噪声。     

行车障碍识别算法的精度提升方法

自动驾驶技术中,行车过程中的障碍物识别是技术难点。目前基于机器视觉识别的技术中,以YOLO算法与Faster-RCNN算法最为著名。YOLO算法的识别速度快,但是识别的准确率不够高;Faster-RCNN 算法的识别准确率高,但是识别速度慢。两者均不满足当前汽车自动驾驶的工程需求。提出了一种融合了元学习Reptile算法与知识蒸馏技术的训练方法来训练YOLOv4算法,在保证YOLOv4算法速度的同时提升算法精度。     

基于结构重参数化与自适应注意力的复杂路面快速识别模型

在复杂行驶环境下快速准确地识别前方路面类型,是车辆主动控制系统及时做出预判的关键前提。针对现有方法未能兼顾精度和速度且难以在车端部署的问题,提出一种基于结构重参数化与自适应注意力的路面分类模型,可对车辆前方的沥青、水泥、冰雪、沙土、花砖、石板、湿滑等复杂路面进行快速准确的甄别。首先,构建以水平/垂直/方形/点形等多分支异构卷积为核心的特征提取骨干网络。其次,提出一种轻量高效的注意力机制,能够根据特征尺寸自适应地聚合空间上下文信息,并根据特征维度自适应地进行局部跨通道交互,使模型聚焦于高相关的路面特征。在此基础上,引入结构重参数化思想,对模型的训练周期和推理周期进行解耦,在训练时通过多分支学习获得高裕度的特征表示,而在推理时将多分支结构等价转换为直铺式单支路结构,在不牺牲模型性能的前提下获得轻量化的部署模型以及显著的推理加速。试验结果表明：提出的模型能够在复杂行驶环境下有效识别路面类型,以6.57×10⁶的参数量取得99.14%的全场景分类精度和96.48%的新场景分类精度,同时具有496.28帧·s^-1的服务器推理速度和33.89帧·s     

基于并行短时面部特征的驾驶人疲劳检测方法研究

为实现更快速、准确的疲劳预警,提出了一种基于并行短时面部特征的驾驶人疲劳检测方法。基于加入了MicroNet模块、CA注意力机制、Wise-IoU损失函数的YOLOv7-MCW目标检测网络提取驾驶人面部的短时面部特征,再使用并行Informer时序预测网络整合YOLOv7-MCW目标检测网络得到的面部时空信息,对驾驶人疲劳状态进行检测与预警。结果表明：在领域内公开数据集UTA-RLDD和NTHU-DDD上,YOLOv7-MCW-Informer模型的准确率分别为97.50%和94.48%,单帧检测时间降低至28 ms,证明该模型具有良好的实时疲劳检测性能。     

基于FPGA的车道线检测系统开发

车道线检测系统是车道偏离预警装置(LDW)的核心.本文基于Xlinx的Spatran6平台,开发了LDW产业化所需的车道线检测算法和现场可编程门阵列(FPGA)电路,并通过软硬件协同仿真验证了系统性能.测试结果表明,该系统进入跟踪模式后,常规路况下识别准确率达100％,实时处理速度不低于30帧/s,能够适应弯道、夜间等...     

基于机器视觉技术的汽车制造零件检测系统

为代替人工完成汽车零件安装状态的检测识别，基于YOLOv5算法并结合PLC、RFID、Python、OpenCV、钉钉即时移动通讯软件设计形成一套完整的视觉检测系统。该系统种所训练得到的样本模型准确率和召回率均在98%以上，从实际运行观察，其识别并准确提醒的概率在99%以上，并且可满足生产节拍需求，优于目前人工检测的实际效果，成本较低具备良好的经济推广性。     

基于YOLOv5的目标识别追踪模型轻量化

道路目标检测环节是自动驾驶领域的关键技术之一,随着人工智能的发展应用逐渐广泛。文章基于YOLOv5网络提出一种新的目标检测方法,改进包括融合了ShuffleNet V2中的模块,使用GhostConv改造了传统的Conv模块等。先在不同道路环境中实时采集视频流,并进行图片和视频流的标注。在主干网络中融入ShuffleNet V2中的模块并使用GhostConv模块改进Conv模块,在降低模型权重的同时对目标检测精度影响较小。将标注完成后的图片输入改进后的YOLOv5网络进行训练,并将得到后的模型与Deep SORT算法结合,进行目标检测追踪。实验结果表明,所得结果权重大小下降许多,而目标检测精确度有所上升。改进后的网络更加轻便,易于部署在边缘嵌入式设备上。     

基于深度卷积-Tokens降维优化视觉Transformer的分心驾驶行为实时检测

针对基于端到端深度卷积神经网络的驾驶行为检测模型缺乏全局特征提取能力以及视觉Transformer(vision transformer,ViT)模型不擅长捕捉底层特征和模型参数量较大的问题，本文提出一种基于深度卷积和Tokens降维的ViT模型用于驾驶人分心驾驶行为实时检测，并通过开展与其他模型的对比试验、所提模型的消融试验和模型注意力区域的可视化试验充分验证了所提模型的优越性。本文所提模型的平均分类准确率和精确率分别为96.93%和96.95%，模型参数量为21.22 M，基于真实车辆平台在线推理速度为23.32 fps，表明所提模型能够实现实时分心驾驶行为检测。研究结果有利于人机共驾系统的控制策略制定和分心预警。