基于改进SegNet的沥青路面病害提取与分类方法

针对现有SegNet算法难以精确区分裂缝和灌封裂缝等具有相似特征的沥青路面病害的问题，提出了基于改进SegNet网络的沥青路面病害提取方法。针对道路标线和光照不均匀等导致路面病害图像质量差异化的因素，本研究在去除道路标线的基础上，运用带色彩恢复的多尺度视网膜增强算法，降低道路标线和光照对图像质量的影响以及增强路面病害图像的对比度、色调和亮度，提高病害的识别精度；为了充分利用图像的上下文信息，解决SegNet网络对细微病害分割效果不佳的问题，引入残差神经网络（ResNet）作为编码器，并对解码器中每个上采样产生的特征图拼接2个分别由卷积层（1×1的卷积核）和空洞卷积层从对应的编码器中获取的尺度相同的特征图；运用形态学闭运算连接分割结果中不连续的裂缝。为了验证改进算法的有效性，将其与典型的语义分割方法（SegNet和BiSeNet）在测试集上进行测试和性能对比。研究结果表明，3种方法的平均交并比（MIoU）和F1分数（F1-score）分别为（82.4%，98.9%），（69.4%，94.0%），（80.5%，98.1%）；利用这3种方法对甘肃省部分路段路面病害的提取效果进行对比测试，提出方法的裂缝漏检率和误检率分别为2.91%，1.94%，优于SegNet（10.68%，14.56%）和BiSeNet（6.80%，12.62%）。本研究所提方法能够更精确地提取和区分沥青路面裂缝和灌封裂缝。      

基于多层时空融合网络的驾驶人注意力预测

类人驾驶是提升汽车智能化程度的重要途径之一，识别和定位驾驶人的感兴趣目标和区域，进而快速、精确地感知驾驶场景中潜在风险或提供决策所需关键信息，能够有效增强智能汽车的功能可理解性和鲁棒性。本文基于层次化编码器-解码器架构设计轻量化多层时空融合网络，建立轻量化驾驶人注意力预测模型。首先，以MobileNetV2作为编码器的骨干网络，提取当前帧4个尺度上的多层次空间特征，将其存入记忆模块并与在历史帧上提取的多层次特征在时间维度叠加，得到连续帧间的时空特征后传输至解码器。其次，基于层次化解码结构设计解码器，采用逆瓶颈3D卷积模块设计时空融合层，融合每个独立分支上的时空特征。最后，融合4个独立分支上捕获不同尺度信息的预测结果，获得驾驶人注意力预测值作为模型预测输出结果。结果表明：本文提出的驾驶人注意力预测模型，通过在多个特征尺度上的编码与解码，能够有效利用动态场景当前帧和历史帧间的时间、空间、尺度信息；在DADA-2000和TDV数据集上的测试实验表明，在多个指标上优于当前同类优秀模型；模型尺寸为19 MB，单帧运算速度为0.02 s，实现了优秀的模型轻量化与实时性效果。综上所述，本研究解决了当...     

基于深度学习的高分影像道路提取方法研究

首先阐明了道路数据信息化管理的重要意义,并简要分析了道路元素特征与提取思路,论证了在高分辨率遥感影像和丰富样本集的支持下,基于深度学习的道路提取方法相较于传统方法具有更优的适用性;其次选择了WGAN(Wasserstein生成对抗网络)深度学习模型来实现道路提取操作,通过样本标注与多层融合训练得到了能够根据原始遥感影像直接输出道路元素二值图像的生成模型;最终通过对实际道路提取任务的实验验证,证明了本方法在提取精度和效率上的优势和普适性。     

基于改进Mask RCNN的夜间车辆检测方法

传统的夜间车辆检测基于车灯特征的提取和识别,这类方法容易发生误判、检测精度和检测实时性不高。针对上述问题,本文研究了基于改进Mask RCNN(mask RCNN-night vehicle detection,Mask RCNN-NVD)的夜间车辆检测算法。将残差网络（residual network,ResNet）结构中的普通卷积修改为数量为16组的分组卷积,通过16组1×1卷积实现通道数叠加,将网络参数降至普通卷积的1/16,提升检测速度,并实现与普通卷积相同的效果;将通道注意力机制模块（squeeze-and-excitation,SE）嵌入ResNet结构中,通过2个全连接层构建瓶颈结构,将归一化权重加权到各通道特征,增强网络表征能力;在特征金字塔网络（feature pyramid networks,FPN）后加入自底向上结构,将底层特征强定位信息传递到高层语义特征中;加入自适应池化层,根据区域候选网络（region proposal network,RPN）产生的候选区域分配至不同尺度特征图中,并在底层特征与各阶段最高层特征之间加入跳跃连接结构,实现缩减模型参数的同时保留...     

基于小型化YOLOv3的实时车辆检测及跟踪算法

为了研究现有车辆目标检测算法的检测精度与检测速度相矛盾的问题,提出了一种小型化的改进YOLOv3深度卷积网络的实时车辆检测及跟踪算法。采用构建卷积层数少的网络架构以及进行多目标跟踪的方法,分析了大网络模型结构时正向推理速度慢、小网络模型结构时检测精度低的原因。在不同尺度卷积特征多层次提取车辆特征信息来保证准确率的基础上,利用K-means++算法改进聚类先验框中心点的提取,同时借鉴darknet19骨干网络结构,构建一种网络深度更小的基础卷积网络结构,采用更少的重复残差块结构单元,使网络模型结构小型化。在采用卡尔曼滤波算法对目标检测后下一时刻的车辆位置进行跟踪的基础上,利用匈牙利匹配算法进行分配关联视频相邻帧中的车辆,确定被检测目标唯一标签ID,实现对多个目标的精确定位与跟踪,以此改善检测不连续、漏检、目标被遮挡等检测不稳定的情况。结果表明:在实车自采集数据和公开数据集KITTI上进行测试,相较于YOLOv3网络,在平均准确率基本保持不变情况下,网络参数减小,网络模型大小缩小为1/4,为57.2 MB,检测速度提高一倍,达到101.7 f/s。整体算法检测速度达到11.3 ms/帧,检测率为97.50%。该小型化网络检测跟踪算法在复杂道路环境中有较强的鲁棒性,可以满足实际智能驾驶过程中对车辆检测跟踪的精度、速度的要求。     

区域卷积神经网络用于遥感影像车辆检测

针对大范围快速的车辆检测与计数,利用高分辨率卫星影像数据,提出了一种基于区域卷积神经网络的车辆检测算法。区域卷积神经网络是深度卷积神经网络和区域建议网络二者的结合。首先利用深度卷积神经网络自动提取各个层的特征,为了减少检测窗口的数量,提出区域建议网络,对下采样后的每个位置考虑3种窗口和对应的3种比例,这样大大减少了检测窗口的数量。再根据分类器对目标进行分类。这样将特征、检测窗口和分类器有效地结合在一起。在对遥感影像车辆检测试验中,通过对手工标注的车辆样本数据多次迭代来训练卷积神经网络和区域建议网络获取车辆检测的先验模型,再由先验模型检测出测试影像中车辆目标。与传统的基于梯度方向直方图(HOG)特征和支持向量机(SVM)车辆检测算法进行比较,在检测率方面,区域卷积神经网络算法明显高于HOG+SVM算法;在误检率方面,区域卷积神经网络检测明显小于HOG+SVM算法;在检测时间方面,同样的一张图像,区域卷积神经网络检测速度比HOG+SVM算法提升近800倍。试验结果表明:利用区域卷积神经网络方法进行大范围车辆检测,在精度和速度方面都有显著提升。     

基于语义分割网络的路面积水与湿滑区域检测

积水或湿滑路面的道路附着系数远小于干燥路面的附着系数,对交通的安全性和机动性都有很大的影响。通过及时获取路面状态信息而发出预警,可大大减小潜在伤害。本文中研究了基于图像的语义分割网络在积水和潮湿的路面状态识别中的应用,它不仅可预测未来路面状态信息,且可得到路面积水和湿滑区域的分布。该方法利用语义分割网络Res-UNet++,分割出路面的积水和湿滑区域。Res-UNet++结构包括嵌套了不同深度的编码器-解码器结构,并在网络的特征提取部分加入残差结构,从而使图像的特征更容易学习。该方法取得了平均交并比为90.07%的分割精度并克服了其它方法的缺点。     

基于计算机视觉的钢桥面板裂纹识别方法

钢桥面板疲劳开裂为常见的钢桥病害，准确快速地发现并确定钢桥面板裂纹几何特征对降低运维成本、制定运维策略具有重要意义。针对传统人工巡检效率低、检测环境恶劣等问题，提出了基于计算机视觉的钢桥面板裂纹及其特征识别方法。采用目标检测网络YoloV5和图像语义分割网络U-Net++相结合的方法识别裂纹。根据2个网络的结构特性标注图像中的目标后生成数据集，并分别对网络中的参数进行训练。利用训练后的YoloV5与U-Net++分阶段对待测裂纹图像进行检测与分割，并通过阈值分割优化U-Net++分割结果，再通过骨架化后得到裂纹骨架线；在确定裂纹形貌后，采用YoloV5识别出的标定块求解透视变换矩阵与像素尺度系数，然后对裂纹骨架线进行图像矫正并确定裂纹几何特征。研究结果表明：YoloV5可准确检测出裂纹与标定块，且检测稳定性好；通过优化U-Net++训练时输入的像素尺寸，提高了U-Net++训练的收敛速度，网络损失由0.121降至0.096;求解透视变换矩阵时，使用所有角点坐标拟合该矩阵的最小二乘解可提高图像矫正标定的精度；当图像采集距离较远、角度较大时，角点投影误差增大，且该误差对角度更为敏感；不同图...     

基于改进深度卷积神经网络的车辆检测方法研究

基于视觉的车辆检测作为辅助驾驶系统的输入,对智能车辆预警和决策起着重要的作用。针对目前传统深度卷积神经网络在基础网络设计和物体检测网络构建的不足,提出一种对经典的深度残差网络进行改进方法,提出带局部连接的残差单元,并以此构建带局部连接的残差网络;同时,提出基于共享参数的多分支网络和双金字塔语义传递网络形式,提升不同语义级别特征融合前的语义级别,以及实现深度融合不同分辨率特征图的语义。经过测试,车辆的检测准确率最高达到95.3%,且具备较高的实时性和环境适应性。     

基于M形深度架构的非结构化道路可行驶区域推荐模型

针对边界模糊、路况多变的非结构化道路，为满足智能汽车在正常、应急等复杂行驶工况下对可行驶区域的视觉检测需求，提出一种在M形深度架构下融合多尺度交互策略和双重注意力机制的可行驶区域推荐模型，能够在复杂驾驶场景中精细分割出非结构化道路的强推荐、弱推荐、不推荐行驶区域。首先，在编码器-解码器的骨架基础上，构建倒金字塔式的多尺度分层输入和分层输出结构，以有效融合非结构化道路的浅层形态学特征与深层语义信息，并平衡模型在不同尺度上的预测偏倚，提升复杂驾驶场景下对多尺度与变尺度目标的分割精度；其次，构建集成通道注意力和空间注意力的跳跃连接结构，使模型在实现编码特征与解码特征高效传递的同时，聚焦于学习与道路可行驶性相关的重要特征，进一步强化模型对非结构化道路的检测性能。通过多种途径构建包含城郊、乡村、园区等真实场景的非结构化道路驾驶数据集。试验结果表明：得益于M形深度架构对多尺度交互策略和双注意力机制的融合，提出的模型在多种真实驾驶场景下均能较好地实现强推荐行驶区域、弱推荐行驶区域、不推荐行驶区域和背景区域的精细分割，平均交并比达到92.46%，平均检测速度达到22.7帧·s^-1；与现有其他主流模型相比，提出的模型兼顾了分割精度和时间效率，在非结构化道路可行驶区域检测任务上有明显优势。     

基于深度可分离卷积和多级特征金字塔网络的行人检测

为提高行人检测的准确率,提出一种基于卷积神经网络的行人检测方法。该方法以YOLOv3-tiny算法为基础,在骨干网络部分,用深度可分离卷积的网络结构代替原卷积网络结构,加深网络深度。在检测部分,提出一种改进的多级特征金字塔网络,该网络由8个结构相同的使用深度可分离卷积的特征金字塔组成,特征金字塔之间串联连接,将不同金字塔得到的相同尺寸的特征进行融合,利用融合后的特征金字塔进行检测。在Caltech Pedestrian数据集上进行测试。结果表明:该方法的漏检率为57.83%,比梯度方向直方图(HOG)方法低32.53%,比基于深度学习的方法SA Fast-RCNN和MS-CNN分别低4.67%、3.21%;运行速度为34 ms/帧。因而,该方法满足了实时性要求。     

基于目标空间分布特征的无人机航拍车辆实时检测技术研究

针对无人机航拍视角下存在整体图像分辨率高但占比较高的小尺度车辆检测特征点稀少这一问题,从卷积网络检测器针对性优化与基于目标分布特征的航拍图像自适应切分2个角度综合考虑,提出一种基于目标空间分布特征的无人机航拍车辆检测网络DF-Net。以单阶段目标检测框架SSD为基础,引入深度可分离卷积和抗混叠低通滤波器对网络结构进行优化搭建E-SSD,为后续检测网络搭建提供高效检测器;接着基于条件生成对抗CGAN思想构建密度估计网络生成器,从而得到航拍图像中车辆的准确分布特征,生成高质量的车辆密度图;将E-SSD与车辆密度估计网络结合,对车辆密度图进行自适应切分,并将切分后的局部图像与全局图像一同输入E-SSD,最后在决策层融合检测结果,由此实现对航拍视角道路交通场景下车辆目标的精确高效检测。在试验中,一方面将设计的基于目标空间分布特征的无人机航拍车辆检测网络DF-Net与E-SSD进行对比分析,另一方面将DF-Net与航拍目标检测领域表现较为优秀的网络进行比较。研究结果表明：设计的方法对于2个试验在均值平均精度指标上均有提升,与E-SSD网络对比时提升了至少4.4%,与航拍目标检测领域优秀网络比较时也有一定提升,并保持了较好的实时性。     

基于卷积自编码的沥青路面目标与裂缝智能识别

目前基于深度学习的路面裂缝识别经常面临训练数据集小，以及路面图片标注成本高等问题，基于小规模路面图片数据集，利用卷积自编码（CAE）方法进行数据增强，开展包括路面裂缝在内的路面目标智能化识别方法研究。在传统图像几何变换数据增强的基础上，采用CAE重构图片方法对原始数据集进行两步骤扩增；利用卷积神经网络DenseNet，设置了不同数据扩增方法的对比试验；针对沥青路面裂缝图片背景较黑，裂缝特征不清晰，无监督聚类学习难度大等问题，采用了一种基于CAE预训练的深度聚类算法DCEC，对经数据增强的路面图片进行无标注的聚类识别。研究结果表明：经过DenseNet网络100代的训练，在同一测试集的测试下，基于原始数据集训练的网络分类准确度为78.43%，利用传统图像处理方法进行扩增后准确度为83.44%，利用所提出的图片增强方法进行数据扩增后准确度达87.19%；在保持扩增后数据集样本量大小相同的情况下，与几何变换、像素颜色变换等经典数据增强手段相比，CAE重构图片的数据扩增方法有较高的路面图片识别精度；CAE数据扩增方法较受训练数据集样本量的影响，利用传统方法将数据集扩增后进行CAE特征学习，重构后的图片样本更易被机器识别；相较于传统机器学习聚类算法，所提出的的DCEC深度聚类方法将聚类准确率提升了约10%，初步实现了无需人工标注的路面目标的端到端智能识别。     

融合改进YOLO和背景差分的道路抛洒物检测算法

针对现有道路抛洒物检测算法识别准确率低、识别种类有限、实时检测效率低的问题，探索了将深度学习目标检测和传统图像处理相结合的抛洒物检测算法。提出在YOLOv5s目标检测算法基础上，对模型结构进行修改以满足实时性需求。具体地，使用卷积优化YOLO中的降采样模块，采用Ghost网络替代原始的特征提取网络以减少计算量，根据抛洒物检测对象的特点设计符合数据集的锚框以提高目标识别准确度。使用优化后的YOLO检测道路场景中车辆、行人作为交通参与者得到检测框，在检测框周围设定感兴趣区域，并在感兴趣区域内用背景差分算法实现前景目标识别。计算前景目标与YOLO检测结果的交并比，排除交通参与者目标后实现道路抛洒物的识别。针对交通参与者检测的实验结果表明，改进后的YOLO检测算法在整体识别精度没有损失的情况下单帧检测速度为20.67 ms，比原始YOLO检测算法速度提升16.42%。真实道路抛洒物实验结果表明，在没有抛洒物训练数据情况下，传统混合高斯模型算法平均精度值为0.51，采用融合改进YOLO和背景差分的抛洒物检测算法平均精度值为0.78，算法检测精度提高52.9%。改进后算法可适用于没有抛洒物数据或正样本数据稀少的情况。该算法在嵌入式设备Jetson Xavier NX上单帧检测速度达到24.4 ms，可实现抛洒物的实时检测。      

基于CenterNet的路侧单目视角车辆3D形态精确感知

车辆3D形态的精确实时感知对于智能交通中的车辆行为分析、交通流参数估计等应用和无人驾驶都至关重要，其中，如何克服透视投影的限制，从路侧单目视角下感知车辆3D形态正成为具有挑战的课题之一。为解决这个难题，采取深度网络提取投影特征，结合空间标定模型中的几何约束，实现2D投影至3D空间的3D形态恢复构建。首先，基于前期工作，对道路场景中的相机构建空间标定模型，以获取透视空间的2D-3D互映射矩阵；然后，以当前流行的简洁高效的CenterNet深度网络为基础，设计车辆3D形态投影特征的检测网络，融入多尺度特征融合模块以优化透视投影下不同尺度车辆目标的检测，同时优化高斯凸包热力图以增强车辆目标的特征检测力度，根据先验几何约束设计加强损失函数以加快收敛；最后，通过建立的空间形态几何约束模型，对网络输出特征投影点进行解码，构建出完整的车辆3D形态信息。试验以路侧视角下的BrnoCompSpeed数据集和自制数据集为基础，手工标注满足试验需求的样本目标，并做图像增广以模仿多变的道路监控视角及环境。在试验结果评价中，分别对网络检测结果及最终构建的3D形态进行评价，其中对于网络检测结果，以投影特征构成投影凸包的平均精度为评价指标，交并比(IoU)阈值为0.7时，在BrnoCompSpeed测试数据集上得到AP值为87.35%，召回率和精确率分别为87.39%与90.78%。同时，设计消融试验证明网络改进模块的有效性。对于3D形态构建结果，分别对空间定位、3D尺寸、偏转角及3DIoU等指标都进行定义，并以3DIoU为评价标准，验证多个改进模块及不同视角对于最终精度的影响，最后在BrnoCompSpeed测试数据集中的平均3DIoU达到0.738。设计的网络FPS为27，可满足实时性的需求。     

改进的YOLOv3算法在道路环境目标检测中的应用

近年来,社会经济持续高速的发展,人均汽车占有量迅速增加。为了避免车辆追尾等事故发生,结合道路环境下目标检测的难点及要求,文章选择基于卷积神经网络的YOLOv3算法,并针对YOLOv3中使用的k-means聚类算法初始时随机选择质心这一不稳定性以及原本的darknet53网络层数较低导致精度不是很高的问题,引用k-means++聚类算法对k-means聚类算法进行优化,并将darknet53替换成特征提取能力更强的resnet101,进行算法优化。实验结果显示优化后的算法mAP提高了12.2%,基本符合实际应用检测的精度要求。     

基于一维卷积神经网络的驾驶人身份识别方法

近年来，智能网联汽车（ICV）已成为智能工业时代最有前景的发展方向。作为现代移动的重要模式，ICV的设计和开发越来越强调个性化需求。提出一种仅使用车载CAN总线行车状态数据，基于深度学习的驾驶人身份识别通用框架。首先采集20名驾驶人在固定试验路线下，包括不同道路类型、不同交通条件下的自然驾驶行车状态数据集；其次对9种类型的CAN信号行车数据进行数据清洗与重采样，构建数据样本集。搭建了由卷积层、池化层、全连接层、SoftMax层构成的一维卷积神经网络（1-D CNN）驾驶人身份识别模型，并且使用Adam算法、L2正则化、Dropout、小批量梯度下降等方法对模型性能进行优化。算法验证过程中，探讨了模型卷积核占比、卷积核数量、卷积层层数、全连接层节点规模对模型识别准确率的影响，进而对模型结构参数进行优选。进一步地，将该算法与K近邻（KNN）、支持向量机（SVM）、多层感知器（MLP）等传统机器学习方法及深度学习算法长短时记忆网络（LSTM）进行对比分析，同时探究样本时间窗口大小、样本数据重叠度、驾驶人数量对模型识别结果的影响。在数据时间窗口为1 s、数据重合度80%的条件下，对20名驾驶人进行识别，评价指标宏观F₁分数可达99.1%，表明该模型表现明显优于其他对比模型算法，其对驾驶人身份识别表现稳定，鲁棒性强。     

基于改进YOLOv5的雾霾环境下船舶红外图像检测算法

从监控图像中准确检测船舶对于港区水域船舶交通智能监管具有重要意义。为解决雾霾条件下传统YOLOv5目标检测算法对船舶红外图像检测准确率低、小目标特征提取能力弱等问题,提出了基于Swin Transformer的改进YOLOv5船舶红外图像检测算法。为扩大原始数据集的多样性,综合考虑船舶红外图像轮廓特征模糊、对比度低、抗云雾干扰能力强等特点,改进算法提出基于大气散射模型的数据集增强方法;为增强特征提取过程中全局特征的关注能力,改进算法的主干网络采用Swin Transformer提取船舶红外图像特征,并通过滑动窗口多头自注意力机制扩大窗口视野范围;为增强网络对密集小目标空间特征提取能力,通过改进多尺度特征融合网络（PANet）,引入底层特征采样模块和坐标注意力机制（CA）,在注意力中捕捉小目标船舶的位置、方向和跨通道信息,实现小目标的精确定位;为降低漏检率和误检率,采用完全交并比损失函数（CIoU）计算原始边界框的坐标预测损失,结合非极大抑制算法（NMS）判断并筛选候选框多次循环结构,提高目标检测结果的可靠性。实验结果表明：在一定浓度的雾霾环境下,改进算法的平均识别精度为93.73%,平...