基于多特征融合的隧道场景车辆再识别

为解决隧道内交通监控视频的低分辨率以及光照不均匀导致的再识别准确率偏低的问题，提出了一种基于多特征融合的车辆再识别方法，通过充分利用车辆的各种有效特征信息提升车辆再识别精确度。首先，将卷积块注意力模块(Convolutional Block Attention Module, CBAM)嵌入到YOLOv5模型的骨干网络卷积层，同时采用CIoU损失和DIoU-NMS方案，提高车型检测准确率；其次，使用改进DeepSORT的表观特征提取网络和ResNet网络，分别获取深度卷积神经网络(Deep Convolution Neural Networks, DCNN)特征和车型ID特征；再次，将车型特征、DCNN特征及车辆ID特征使用加和表示层进行融合，形成可鉴别身份特征，以提高车辆再识别精度；最后，基于Softmax交叉熵损失和三元组损失设计指标函数并进行学习，对学习结果进行重排序以进一步提高模型的精度，并将算法在公开数据集VeRi776、VehicleID和自建数据集Tunnel＿Veh4C进行训练验证。结果表明：与现有方法相比，提出的Rank-1、Rank-5和Rank-10识别准确率以及...     

基于MM-STConv的端到端自动驾驶行为决策模型

针对现有端到端自动驾驶模型输入数据类型单一导致预测精确度低的问题，选取RGB图像、深度图像和车辆历史连续运动状态序列作为多模态输入，并利用语义信息构建一种基于时空卷积的多模态多任务（Multimodal Multitask of Spatial-temporal Convolution，MM-STConv）端到端自动驾驶行为决策模型，得到速度和转向多任务预测参量。首先，通过不同复杂度的卷积神经网络提取场景空间位置特征，构建空间特征提取子网络，准确解析场景目标空间特征及语义信息；其次，通过长短期记忆网络（LSTM）编码-解码结构捕捉场景时间上、下文特征，构建时间特征提取子网络，理解并记忆场景时间序列信息；最后，采用硬参数共享方式构建多任务预测子网络，输出速度和转向角的预测值，实现对车辆的行为预测。基于AirSim自动驾驶仿真平台采集虚拟场景数据，以98 200帧虚拟图像及对应的车辆速度和转向角标签作为训练集，历经10 000次训练周期、6 h训练时长后，利用真实驾驶场景数据集BDD100K进行模型的测试与验证工作。研究结果表明：MM-STConv模型的训练误差为0.130 5，预测精确度达到83.6%，在多种真实驾驶场景中预测效果较好；与现有其他主流模型相比，该模型综合场景空间信息与时间序列信息，在预测车辆速度和转向角方面具有明显的优势，可提升模型的预测精度、稳定性和泛化能力。     

基于小型化YOLOv3的实时车辆检测及跟踪算法

为了研究现有车辆目标检测算法的检测精度与检测速度相矛盾的问题,提出了一种小型化的改进YOLOv3深度卷积网络的实时车辆检测及跟踪算法。采用构建卷积层数少的网络架构以及进行多目标跟踪的方法,分析了大网络模型结构时正向推理速度慢、小网络模型结构时检测精度低的原因。在不同尺度卷积特征多层次提取车辆特征信息来保证准确率的基础上,利用K-means++算法改进聚类先验框中心点的提取,同时借鉴darknet19骨干网络结构,构建一种网络深度更小的基础卷积网络结构,采用更少的重复残差块结构单元,使网络模型结构小型化。在采用卡尔曼滤波算法对目标检测后下一时刻的车辆位置进行跟踪的基础上,利用匈牙利匹配算法进行分配关联视频相邻帧中的车辆,确定被检测目标唯一标签ID,实现对多个目标的精确定位与跟踪,以此改善检测不连续、漏检、目标被遮挡等检测不稳定的情况。结果表明:在实车自采集数据和公开数据集KITTI上进行测试,相较于YOLOv3网络,在平均准确率基本保持不变情况下,网络参数减小,网络模型大小缩小为1/4,为57.2 MB,检测速度提高一倍,达到101.7 f/s。整体算法检测速度达到11.3 ms/帧,检测率为97.50%。该小型化网络检测跟踪算法在复杂道路环境中有较强的鲁棒性,可以满足实际智能驾驶过程中对车辆检测跟踪的精度、速度的要求。     

高速动态交通场景下自动驾驶车辆换道意图识别模型研究

为提高自动驾驶车辆在高速动态复杂交通场景下车辆换道意图识别精度和预判能力，提出了基于融合注意力机制的卷积残差双向长短时记忆（BiLSTM）识别模型。采用一维卷积神经网络提取车辆运动状态特征；将构造的特征向量作为BiLSTM输入信息；通过残差连接，解决多层BiLSTM易出现的优化瓶颈和梯度消失问题；利用注意力机制，调整残差BiLSTM不同时刻输出权重；应用Softmax函数计算驾驶意图概率。采用NGSIM高速公路数据集对模型进行验证，并与其他4种模型进行对比，结果表明：该模型对换道意图整体识别准确率最高，达到97.44%，在换道前2.5 s预测结果准确率达到90%以上，具有更好的识别精度和预判能力。     

基于分段学习模型的自动驾驶行为决策算法研究

在具有车道线的特定自动驾驶场景中,针对目前端到端的行为决策算法直接输入原始图像进行决策导致的网络模型迁移性差、预测精度欠佳、泛化能力不足等问题,提出一种基于分段学习模型的车辆自动驾驶行为决策算法。首先,基于GoogLeNet建立一种端到端的车道线检测网络模型,并引入车道中心线作为决策的重要线索提高算法的迁移能力,同时利用YOLOv3目标检测模型对本车道内前方最近障碍物进行位置检测;而后,经几何测量模型将两者检测结果转换成环境状态信息向量为决策做支撑;最后,构建基于长短期记忆(LSTM)网络的驾驶行为决策模型,根据编码的历史状态信息刻画出动态环境中车辆的运动模式,并结合当前时刻的状态推理得到驾驶行为参量。使用建立的真实驾驶场景数据集对模型分别进行训练、验证与测试,离线测试结果显示车道线检测模型的检测位置误差小于1.3%,车道内前方障碍物检测模型的检测精度达98%以上,驾驶行为决策网络模型表征预测优度的决定系数 大于0.7。为进一步验证算法的有效性,搭建了Simulink/PreScan联合仿真平台,多种工况下的仿真验证试验中多个评价指标均达到工程精度要求,实车测试的试验结果也表明该算法可实现复杂驾驶场景下平稳、准确无偏航的预测效果并满足实时性要求,且与传统端到端模式的算法相比,具有更好的迁移性和泛化能力。     

面向多元场景结合GLNet的车道线检测算法

各种复杂环境下路面车道线的高效精确检测是自动驾驶领域中车道偏离预警系统的关键性技术之一。由于车辆实际运行环境的复杂性和路面车道线的多样性，现有方法在车道线检测的准确性和鲁棒性上仍需不断增强。提出一种面向多元场景结合GLNet的车道线检测算法。首先采用改进Gamma校正对待检测路面图像预处理，消减光照不均匀、夜晚等环境干扰，增强车道线纹理。然后为增强数据集的多样性，在LaneNet网络的基础上引入对抗生成网络DCGAN，构建GLNet网络模型。该模型采用编码-解码的网络结构提取车道线特征（车道蒙板和像素点），通过DBSCAN聚类算法将不同车道线划分为不同的实体，使用H-Net网络学习的视觉转换矩阵优化并拟合输出车道线。最后基于已训练好的GLNet权重模型对车道线进行精确提取，并在Tusimple数据集和自制数据集上测试验证。试验结果表明：该方法的检测准确率可达97.4%，相较于基于LaneNet网络的车道线检测算法明显提高；DCGAN网络的加入丰富了数据集类型，并提高了该模型的表征及分类能力；DBSCAN聚类算法的平均聚类时间约为0.016 s，相较于Meanshift算法运行效率更高。所提出的方法考虑了不规范、环境复杂等多种道路类型的车道线检测任务，提升了对复杂噪声与多元场景的处理能力，在车辆辅助驾驶领域具有较好的鲁棒性和适用性。     

融合改进YOLO和背景差分的道路抛洒物检测算法

针对现有道路抛洒物检测算法识别准确率低、识别种类有限、实时检测效率低的问题，探索了将深度学习目标检测和传统图像处理相结合的抛洒物检测算法。提出在YOLOv5s目标检测算法基础上，对模型结构进行修改以满足实时性需求。具体地，使用卷积优化YOLO中的降采样模块，采用Ghost网络替代原始的特征提取网络以减少计算量，根据抛洒物检测对象的特点设计符合数据集的锚框以提高目标识别准确度。使用优化后的YOLO检测道路场景中车辆、行人作为交通参与者得到检测框，在检测框周围设定感兴趣区域，并在感兴趣区域内用背景差分算法实现前景目标识别。计算前景目标与YOLO检测结果的交并比，排除交通参与者目标后实现道路抛洒物的识别。针对交通参与者检测的实验结果表明，改进后的YOLO检测算法在整体识别精度没有损失的情况下单帧检测速度为20.67 ms，比原始YOLO检测算法速度提升16.42%。真实道路抛洒物实验结果表明，在没有抛洒物训练数据情况下，传统混合高斯模型算法平均精度值为0.51，采用融合改进YOLO和背景差分的抛洒物检测算法平均精度值为0.78，算法检测精度提高52.9%。改进后算法可适用于没有抛洒物数据或正样本数据稀少的情况。该算法在嵌入式设备Jetson Xavier NX上单帧检测速度达到24.4 ms，可实现抛洒物的实时检测。      

面向自动驾驶的遥感影像路网检测方法

针对高分辨率遥感影像道路提取难度大、提取精度低的问题，提出了一种基于VGGU-Net++的遥感影像路网检测方法。首先基于VGGU-Net框架构建了编码器-解码器网络；其次，设计了一系列嵌套、密集的卷积块，用以缩小编码器与解码器特征映射之间的语义差距。节点之间利用跳跃连接填充了具有多个卷积层的密集卷积块，其层数取决于金字塔等级；并在2个卷积块之间设置1个串联层，该层将同一密集块前一个卷积层的输出和浅层的上采样输出进行特征图融合。同时，使用深监督策略保证网络模型的修剪程度和速度增益。在网络训练过程中，这种相似语义特征图的跳转连接可以简化优化操作，提高网络训练性能。最后，利用遥感影像开源数据集——马萨诸塞州数据集进行算法的测试与验证。结果表明，提出的VGGU-Net++网络与现有同类方法相比，获得了更好的性能表现，在精确率、召回率、F₁-score和I_oU方面分别达到了88.1%、87.1%、88.5%和77.9%，能够实现城市、山区、直线、弯曲道路场景高维、复杂、抽象特征的自动提取；此外，检测结果能够减少干扰，降低误检，保留更多道路细节信息，得到更加完整、清晰的路网检测效果。     

基于级联YOLOv7的自动驾驶三维目标检测

针对图像和原始点云三维目标检测方法中存在特征信息残缺及点云搜索量过大的问题，以截体点网（frustum PointNet, F-PointNet）结构为基础，融合自动驾驶周围场景RGB图像信息与点云信息，提出一种基于级联YOLOv7的三维目标检测算法。首先构建基于YOLOv7的截体估计模型，将RGB图像目标感兴趣区域（region of interest, RoI）纵向扩展到三维空间，然后采用PointNet++对截体内目标点云与背景点云进行分割。最终利用非模态边界估计网络输出目标长宽高、航向等信息，对目标间的自然位置关系进行解释。在KITTI公开数据集上测试结果与消融实验表明，级联YOLOv7模型相较基准网络，推理耗时缩短40 ms/帧，对于在遮挡程度为中等、困难级别的目标检测平均精度值提升了8.77%、9.81%。     

基于CNN和HSV模型的交通标志识别研究(英文)

基于HSV颜色空间模型和卷积神经网络(CNN),建立了实现交通标志识别(TSR)的完整过程。为了提高运算速度,进一步优化了动态感兴趣区域(ROI)识别、RGB向HSV颜色空间模型转换方法和神经网络结构设计。通过GTSRB数据库对TSR算法进行验证,结果表明,所建立的TSR方法有效提升了运算速度和识别率。     

基于多传感器信息融合的3维目标实时检测

针对基于多传感器信息融合的3维目标检测，提出了一种实时高精度的双阶段深度神经网络PointRGBNet。第1阶段，在区域提案网络中，首先将3维点云投影到2维图像上生成6维RGB点云，然后对输入的6维RGB点云进行特征提取，得到低维特征图与高维特征图，利用融合后的特征图生成大量置信度较高的提案；第2阶段，在目标检测网络中，利用第1阶段生成的提案进行RoI池化，得到特征图上与每个提案对应的特征集合，通过针对性地学习提案的特征集合，实现了更精准的3维目标检测。在KITTI数据集上的公开测试结果表明，PointRGBNet在检测精度上不仅优于仅使用2维图像或3维点云的目标检测网络，甚至优于某些先进的多传感器信息融合网络，而且整个网络的目标检测速度为12帧/s，满足实时性要求。     

区域卷积神经网络用于遥感影像车辆检测

针对大范围快速的车辆检测与计数,利用高分辨率卫星影像数据,提出了一种基于区域卷积神经网络的车辆检测算法。区域卷积神经网络是深度卷积神经网络和区域建议网络二者的结合。首先利用深度卷积神经网络自动提取各个层的特征,为了减少检测窗口的数量,提出区域建议网络,对下采样后的每个位置考虑3种窗口和对应的3种比例,这样大大减少了检测窗口的数量。再根据分类器对目标进行分类。这样将特征、检测窗口和分类器有效地结合在一起。在对遥感影像车辆检测试验中,通过对手工标注的车辆样本数据多次迭代来训练卷积神经网络和区域建议网络获取车辆检测的先验模型,再由先验模型检测出测试影像中车辆目标。与传统的基于梯度方向直方图(HOG)特征和支持向量机(SVM)车辆检测算法进行比较,在检测率方面,区域卷积神经网络算法明显高于HOG+SVM算法;在误检率方面,区域卷积神经网络检测明显小于HOG+SVM算法;在检测时间方面,同样的一张图像,区域卷积神经网络检测速度比HOG+SVM算法提升近800倍。试验结果表明:利用区域卷积神经网络方法进行大范围车辆检测,在精度和速度方面都有显著提升。     

基于时间卷积自编码网络的实时交通事件自动检测方法

为了提高道路异常交通事件检测效率并降低误报率,提出了一种基于时间卷积自编码网络的实时交通事件自动检测方法。首先设计了基于波动相似性度量的交通模式搜索算法用来筛选具有相同交通规律的样本数据;并构造了交通流模式矩阵作为网络模型输入,以避免样本不均衡与单一样本数据随机性对交通模式学习的干扰;同时设计了新的时间卷积自编码网络对交通模式特征进行无监督提取并对未来交通参数进行合理预测;为了降低交通流参数随机波动性带来的事件判别的干扰,设计了异常状态评估方法,通过对模型预测误差分布的学习,结合当前检测数据给出最终的事件判定结果。采用美国西雅图I90公路与I405公路2015年全年的交通流检测数据与历史事故数据进行实证研究,并与6种典型交通事件检测算法进行性能对比。研究结果表明:基于时间卷积自编码网络的实时交通事件自动检测算法具有较高的检测率、较低的误报率以及更快的平均检测时间;综合各种交通运行情况下,可接受误检率分别为5%、10%时,平均检测率可分别达到93%、98%;同时算法能够自适应学习交通状态的动态变化,对不同交通运行环境具有较强适应性与稳定性。     

基于实例分割的车道线检测算法

为实现在自动驾驶复杂场景下检测数量变化的车道线，提出一种基于实例分割的车道线检测算法。首先以ResNet18网络作为主干网络提取图像特征，采用特征金字塔网络进行特征融合。同时设计一种扩张卷积残差模块来提高检测的精度；然后基于车道线的位置进行实例分割，利用语义分割出的车道线点位置预测对应的聚类点位置，通过对聚类点采用DBSCAN聚类算法实现车道线实例区分。结果表明，该算法能够在复杂的自动驾驶场景下有效地进行多车道线检测，在CULane数据集和TuSimple数据集上的调和平均值分别达到75.2%和97.0%。     

基于深度学习与圆检测的实时双目测距算法研究

针对基于学习的双目测距算法实时性不足的问题,在Loop-Net的基础上进行改进,提出一种新的双目测距模型。以编码-解码为框架,使用卷积神经网络构建模型,使用U-Net提取特征得到1/4特征图后通过3D卷积层融合特征信息提取左、右目视差特征,并加入扩张卷积层以充分提取特征。设计损失函数时充分考虑不同输入对应的不同噪声参数,并设计了基于圆检测的物体定位算法对目标物体进行定位。试验结果表明,模型在移动终端JN-IndustriPi的运行帧率为15～17帧/s,相比于现有模型提高约15%,且精度相近。     

基于YOLOv5的车辆目标检测算法轻量化改进

针对传统路端车辆目标检测算法参数多、检测速度较慢等问题,提出了基于YOLOv5 的车辆目标检测算法轻量化改进。首先,选用轻量化 EfficientnetV2 卷积神经网络对原骨干网络进行重构,同时在网络中引入 GAM 注意力机制;其次,为平衡 CIoU 损失和 IoU 损失在损失函数中的权重,引入 α-CIoU 损失代替原有的 CIoU 损失;最后,使用 soft-NMS 算法替换原有的 NMS 非极大值抑制算法。结果表明：相比原算法,改进后算法的精度提升了.51%,检测速度提升了 8.6%,模型大小降低了 31.7%;改进后的模型在提升检测速度的同时,还提高了路端车辆目标的检测性能。     

基于机器视觉的路面裂缝病害多目标识别研究

为了建立一种基于深度学习卷积神经网络的多目标路面裂缝检测模型,实现对路面裂缝的精确识别、分割与统计,采用卷积神经网络Mask R-CNN为主干框架,融入ResNet模型与特征金字塔网络(FPN)提高对病害特征提取的精度,建立了针对裂缝病害识别的基础网络体系;考虑裂缝病害图像特征,采用随机梯度下降算法与冲量算法优化损失函...     

考虑低光照场景的自适应路面病害检测模型

为提升低光照环境下路面病害识别模型的精确度与鲁棒性，提出了一种考虑低光照场景的自适应路面病害检测模型。将采集的数据按照亮度分成低光照图像和正常光照图像2类，随后对低光照图像进行自适应增强，并接入路面病害检测流程。为解决现有光照增强图像失真的问题，在Zero-DCE++基准模型上引入光照约束网络，提出了光照增强模块Zero-DCE-Retinex。在此基础上，以提升路面病害检测精度为核心需求，提出了以病害识别模型为驱动的光照增强模块训练策略。具体的，在训练过程中，将病害识别模型嵌入光照增强模块，并通过损失函数来引导光照增强模块的训练。试验结果表明：当使用所提模型对低光照图像进行增强后，再经过YOLOv7模型进行检测，比直接输入低光照图像的方式，AP指标提升了7.04%,F1-score指标提升了11.22%;图像质量亦得到进一步改善，表现在图像信息熵、标准差和平均梯度的提升分别为0.62、13.24和21.61。与同类无监督光照模型相比，所提模型在目标检测任务的AP和F1-score提升方面显著优于其他模型，同时有效避免了增强结果出现色彩失真和过度曝光等问题。因此，提出的模型可广泛适用于...     

基于目标空间分布特征的无人机航拍车辆实时检测技术研究

针对无人机航拍视角下存在整体图像分辨率高但占比较高的小尺度车辆检测特征点稀少这一问题,从卷积网络检测器针对性优化与基于目标分布特征的航拍图像自适应切分2个角度综合考虑,提出一种基于目标空间分布特征的无人机航拍车辆检测网络DF-Net。以单阶段目标检测框架SSD为基础,引入深度可分离卷积和抗混叠低通滤波器对网络结构进行优化搭建E-SSD,为后续检测网络搭建提供高效检测器;接着基于条件生成对抗CGAN思想构建密度估计网络生成器,从而得到航拍图像中车辆的准确分布特征,生成高质量的车辆密度图;将E-SSD与车辆密度估计网络结合,对车辆密度图进行自适应切分,并将切分后的局部图像与全局图像一同输入E-SSD,最后在决策层融合检测结果,由此实现对航拍视角道路交通场景下车辆目标的精确高效检测。在试验中,一方面将设计的基于目标空间分布特征的无人机航拍车辆检测网络DF-Net与E-SSD进行对比分析,另一方面将DF-Net与航拍目标检测领域表现较为优秀的网络进行比较。研究结果表明：设计的方法对于2个试验在均值平均精度指标上均有提升,与E-SSD网络对比时提升了至少4.4%,与航拍目标检测领域优秀网络比较时也有一定提升,并保持了较好的实时性。     

低光照环境下基于面部特征点的疲劳驾驶检测技术

提出了一种新型在低光照环境下有较高适应性和识别精度的疲劳驾驶检测技术。用深度视觉传感器获取驾驶员驾驶图像,用人脸跟踪算法实时提取面部特征点数据,基于最小二乘法对眼睛和嘴巴轮廓进行曲线拟合。计算眼睛和嘴巴开合度归一化指标,提取了眨眼频率、眨眼平均时长、眼睛闭合总时长、打哈欠频率、打哈欠总时长、低抬头频率等6个疲劳识别特征数据。基于数据统计序列的卷积神经网络算法,建立识别模型,构建疲劳状态检测系统。实验表明：本文算法在低光照环境下的疲劳驾驶识别精度达到了90%,识别时间约为130 ms。