基于实例分割的车道线检测算法

为实现在自动驾驶复杂场景下检测数量变化的车道线，提出一种基于实例分割的车道线检测算法。首先以ResNet18网络作为主干网络提取图像特征，采用特征金字塔网络进行特征融合。同时设计一种扩张卷积残差模块来提高检测的精度；然后基于车道线的位置进行实例分割，利用语义分割出的车道线点位置预测对应的聚类点位置，通过对聚类点采用DBSCAN聚类算法实现车道线实例区分。结果表明，该算法能够在复杂的自动驾驶场景下有效地进行多车道线检测，在CULane数据集和TuSimple数据集上的调和平均值分别达到75.2%和97.0%。     

基于局部窗口交叉注意力的轻量型语义分割

在自动驾驶汽车环境感知任务中，采用环视相机在统一鸟瞰图（bird’s eye view,BEV）坐标系下对车道线、车辆等目标进行语义分割受到广泛关注。针对相机个数增加致使任务推理延迟线性上升、实时性难以完成语义分割任务的难题，本文提出一种基于局部窗口交叉注意力的轻量型语义分割方法。采用改进型EdgeNeXt骨干网络提取特征，通过构建BEV查询和图像特征之间的局部窗口交叉注意力，完成对跨相机透视图之间的特征查询，然后对融合后的BEV特征图通过上采样残差块对BEV特征解码，以得到BEV语义分割结果。在nuScenes公开数据集上的实验结果表明，该方法在BEV地图静态车道线分割任务中平均IoU达到35.1%，相较于表现较好的HDMapNet提高2.2%，推理速度相较于较快的GKT提高58.2%，帧率达到106 FPS。     

基于改进级联卷积神经网络的交通标志识别

自动驾驶场景中交通标志的检测和识别十分重要,为提高自然场景下交通标志检测精度,本文中提出了一种基于Cascade-RCNN改进的交通标志识别算法。首先,针对交通标志这类小目标特殊任务,将FPN模块的深层特征信息融合进浅层特征层。其次,改进了目标检测任务中的评价指标IoU,引入目标检测任务的直接评价指标GIoU指导定位任务,提高了检测精度。最后,算法在德国交通标志数据集GTSDB下进行了实验验证,以ResNet101为基础特征提取网络,mAP可达98.8%,实验结果表明了所提算法的有效性,具有优越的工程实用价值。     

基于多层时空融合网络的驾驶人注意力预测

类人驾驶是提升汽车智能化程度的重要途径之一，识别和定位驾驶人的感兴趣目标和区域，进而快速、精确地感知驾驶场景中潜在风险或提供决策所需关键信息，能够有效增强智能汽车的功能可理解性和鲁棒性。本文基于层次化编码器-解码器架构设计轻量化多层时空融合网络，建立轻量化驾驶人注意力预测模型。首先，以MobileNetV2作为编码器的骨干网络，提取当前帧4个尺度上的多层次空间特征，将其存入记忆模块并与在历史帧上提取的多层次特征在时间维度叠加，得到连续帧间的时空特征后传输至解码器。其次，基于层次化解码结构设计解码器，采用逆瓶颈3D卷积模块设计时空融合层，融合每个独立分支上的时空特征。最后，融合4个独立分支上捕获不同尺度信息的预测结果，获得驾驶人注意力预测值作为模型预测输出结果。结果表明：本文提出的驾驶人注意力预测模型，通过在多个特征尺度上的编码与解码，能够有效利用动态场景当前帧和历史帧间的时间、空间、尺度信息；在DADA-2000和TDV数据集上的测试实验表明，在多个指标上优于当前同类优秀模型；模型尺寸为19 MB，单帧运算速度为0.02 s，实现了优秀的模型轻量化与实时性效果。综上所述，本研究解决了当...     

基于自适应阈值的三维激光点云地面分割算法研究

针对自动驾驶汽车感知模块中三维激光点云前后背景分割过程存在的误分割问题,提出了一种基于路面波动幅度的自适应阈值地面分割方法。该方法将原始点云进行栅格划分,依据点云数量信息设计了相应的高度阈值分割算法和地面平面模型分割算法。具体地,地面平面模型分割算法首先选取局部区域点集拟合地面平面模型,然后针对地面点云分割中存在的误分割问题,构建路面波动幅度方程,并采用基于点集分布特征的自适应阈值方法实现初步分割,最后借助分割后的地面点云重新优化平面模型与分割阈值。本文中基于开源语义分割数据集Semantic-KITTI提出了统一的算法评价基准数据集Semantic-Nova与性能评价指标,同时基于自研的自动驾驶汽车平台采集的实际场景进行了性能测试。试验结果表明,本文中提出的自适应阈值地面分割算法不仅在基准数据集上能够达到较高的精度,而且在实际场景中满足鲁棒性和实时性要求,具有较高的工程应用价值。     

轻量化车位识别网络与流畅泊车路径规划设计

深度学习在自动驾驶开发中得到广泛应用，而在低算力嵌入式平台上部署高算力需求的车位识别网络及复杂的路径规划算法成为行业挑战，因此本文首先设计了轻量化车位识别网络结构，对不同场景下的车位关键点进行检测，其次基于深度搜索设计了快速泊车路径规划算法，然后基于OpenVX的框架将模型和算法部署在多核异构平台上，最终在实车平台上进行自动泊车功能验证。试验结果表明车位检出率大于98%，泊入成功率大于96%，泊车系统运行时间小于40ms，满足实时性要求。     

基于激光雷达点云的道路几何信息提取与数字化建模研究

为实现快速、自动化的道路几何信息提取和数字化建模，基于激光雷达点云提出了一套从道路语义分割、几何线形提取到集成化建模的通用框架。首先，基于空间上下文特征基础框架，将局部特征的最大值和邻域均值进行聚合以作为局部特征，使用径向分布参数与三维坐标描述全局上下文特征，构建道路语义分割网络。其次，基于道路场景分割结果，通过体素降采样和半径滤波法减少点云数据量、去除离群点，并利用可变半径Alpha Shapes (VA-Shapes)算法提取道路边线，结合获取的边线横纵坐标，计算路段几何信息(路宽、纵坡、横坡等),使用inshape函数和插值法构建交叉口的数字高程模型。最后，采用Dynamo for Revit将道路几何信息导入并生成道路路线，通过Revit软件设计道路自适应族构件及不同类别基础设施族构件，实现精细化道路数字建模。利用开源数据集Semantic3D进行训练和测试，分析与评价道路几何信息提取效果。研究结果表明：所提出的算法总体准确度为95%,路面的单类交并比为97.9%,能够很好地实现道路点云场景的自动化语义分割；相比于传统的固定半径Alpha Shapes算法，VA-Shapes算...     

基于融合离散动作的双延迟深度确定性策略梯度算法的自动驾驶端到端行为决策方法

针对基于强化学习的车辆驾驶行为决策方法存在的学习效率低、动作变化不平滑等问题，研究了1种融合不同动作空间网络的端到端自动驾驶决策方法，即融合离散动作的双延迟深度确定性策略梯度算法（TD3WD）。在基础双延迟深度确定性策略梯度算法（TD3）的网络模型中加入1个输出离散动作的附加Q网络辅助进行网络探索训练，将TD3网络与附加Q网络的输出动作进行加权融合，利用融合后动作与环境进行交互，对环境进行充分探索，以提高对环境的探索效率；更新Critic网络时，将附加网络输出作为噪声融合到目标动作中，鼓励智能体探索环境，使动作值预估更加准确；利用预训练的网络获取图像特征信息代替图像作为状态输入，降低训练过程中的计算成本。利用Carla仿真平台模拟自动驾驶场景对所提方法进行验证，结果表明:在训练场景中，所提方法的学习效率更高, 比TD3和深度确定性策略梯度算法（DDPG）等基础算法收敛速度提升约30%；在测试场景中，所提出的算法的收敛后性能更好，平均压线率和转向盘转角变化分别降低74.4%和56.4%。      

基于GhostNet的轻量级桥梁裂缝图像语义分割算法

针对现有的桥梁裂缝检测语义分割网络参数量过于庞大、计算时间长、难以部署在移动端等资源受限的设备上，而且存在裂缝细节识别困难、分割结果不连续的问题，提出了一种优化PSPNet网络结构的改进型轻量级裂缝语义分割模型Ghost-PSPNet。首先利用GhostNet替换ResNet-50作为主干网络，以更小的计算代价生成冗余特征，其次在模型中引入一条支路结构融合多层级特征，得到含更多准确裂缝形态、空间位置信息的高语义特征图，并在金字塔池化模块(Pyramid pooling module PPM)后嵌入自适应通道注意力机制ECANet来强化上下文语义关系衔接。实验结果表明，与PSPNet以及ShuffletNetV2、VGG16为主干的DeepLabV3+、UNet网络相比该模型mIoU值可达82.8%,所占内存仅为14.9 MB较原始PSPNet模型减少了近90%,实时帧率值FPS为38,实现了实时性和准确率的良好平衡。     

基于改进U型神经网络的路面裂缝检测方法

针对传统的裂缝分割算法难以识别狭窄裂缝且分割边缘不精准，从而造成识别精度较低的问题，研究了基于改进U型神经网络（Unet）的路面裂缝检测方法。由于传统Unet特征提取网络是层次较浅的浅层神经网络，难以提取更复杂的裂缝特征信息，故本文以牛津大学视觉几何组网络（VGG16）作为传统Unet的特征提取网络，提高网络的裂缝特征提取能力；为抑制高低阶特征融合时产生的无用特征，本文在模型解码部分添加压缩与激励单元（SE block），构建裂缝注意力单元，使得网络可以关注不同通道下的裂缝特征，建立了基于SE block和VGG16的改进Unet网络（SE-VUnet）。研究采用迁移学习的方法，将在ImageNet上预训练好的VGG16网络权重迁移到裂缝检测中。通过挑选Crack500数据集，并使用摄像头采集图片构建1 600张路面裂缝数据集，再次训练SE-VUnet模型，获得裂缝区域分割结果。以查准率（precision）与查全率（recall）的加权调和平均值F1和雅卡尔（Jaccard）相似系数作为量化评价指标。将SE-VUnet分别与Unet、SOLO v2、Mask R-CNN以及Deeplabv3+进行分割效果和实时性对比。研究结果表明:SE-VUnet模型的综合F1和雅卡尔系数分别为0.840 3和0.722 1，相比于Unet分别高出了1.04%和1.51%，且均高于其他3种对比模型；SE-VUnet的单帧图片预测时间为89 ms，在分割效果提升明显的情况下仅比Unet慢5 ms，优于其他模型。      

基于深度可分离卷积和多级特征金字塔网络的行人检测

为提高行人检测的准确率,提出一种基于卷积神经网络的行人检测方法。该方法以YOLOv3-tiny算法为基础,在骨干网络部分,用深度可分离卷积的网络结构代替原卷积网络结构,加深网络深度。在检测部分,提出一种改进的多级特征金字塔网络,该网络由8个结构相同的使用深度可分离卷积的特征金字塔组成,特征金字塔之间串联连接,将不同金字塔得到的相同尺寸的特征进行融合,利用融合后的特征金字塔进行检测。在Caltech Pedestrian数据集上进行测试。结果表明:该方法的漏检率为57.83%,比梯度方向直方图(HOG)方法低32.53%,比基于深度学习的方法SA Fast-RCNN和MS-CNN分别低4.67%、3.21%;运行速度为34 ms/帧。因而,该方法满足了实时性要求。     

基于改进YOLOv5的雾霾环境下船舶红外图像检测算法

从监控图像中准确检测船舶对于港区水域船舶交通智能监管具有重要意义。为解决雾霾条件下传统YOLOv5目标检测算法对船舶红外图像检测准确率低、小目标特征提取能力弱等问题,提出了基于Swin Transformer的改进YOLOv5船舶红外图像检测算法。为扩大原始数据集的多样性,综合考虑船舶红外图像轮廓特征模糊、对比度低、抗云雾干扰能力强等特点,改进算法提出基于大气散射模型的数据集增强方法;为增强特征提取过程中全局特征的关注能力,改进算法的主干网络采用Swin Transformer提取船舶红外图像特征,并通过滑动窗口多头自注意力机制扩大窗口视野范围;为增强网络对密集小目标空间特征提取能力,通过改进多尺度特征融合网络（PANet）,引入底层特征采样模块和坐标注意力机制（CA）,在注意力中捕捉小目标船舶的位置、方向和跨通道信息,实现小目标的精确定位;为降低漏检率和误检率,采用完全交并比损失函数（CIoU）计算原始边界框的坐标预测损失,结合非极大抑制算法（NMS）判断并筛选候选框多次循环结构,提高目标检测结果的可靠性。实验结果表明：在一定浓度的雾霾环境下,改进算法的平均识别精度为93.73%,平...     

基于M形深度架构的非结构化道路可行驶区域推荐模型

针对边界模糊、路况多变的非结构化道路，为满足智能汽车在正常、应急等复杂行驶工况下对可行驶区域的视觉检测需求，提出一种在M形深度架构下融合多尺度交互策略和双重注意力机制的可行驶区域推荐模型，能够在复杂驾驶场景中精细分割出非结构化道路的强推荐、弱推荐、不推荐行驶区域。首先，在编码器-解码器的骨架基础上，构建倒金字塔式的多尺度分层输入和分层输出结构，以有效融合非结构化道路的浅层形态学特征与深层语义信息，并平衡模型在不同尺度上的预测偏倚，提升复杂驾驶场景下对多尺度与变尺度目标的分割精度；其次，构建集成通道注意力和空间注意力的跳跃连接结构，使模型在实现编码特征与解码特征高效传递的同时，聚焦于学习与道路可行驶性相关的重要特征，进一步强化模型对非结构化道路的检测性能。通过多种途径构建包含城郊、乡村、园区等真实场景的非结构化道路驾驶数据集。试验结果表明：得益于M形深度架构对多尺度交互策略和双注意力机制的融合，提出的模型在多种真实驾驶场景下均能较好地实现强推荐行驶区域、弱推荐行驶区域、不推荐行驶区域和背景区域的精细分割，平均交并比达到92.46%，平均检测速度达到22.7帧·s^-1；与现有其他主流模型相比，提出的模型兼顾了分割精度和时间效率，在非结构化道路可行驶区域检测任务上有明显优势。     

单级特征图融合坐标注意力的视觉位置识别方法

针对视角和环境变化的场景中现有视觉位置识别方法存在的匹配遗漏和实时性差的问题，提出基于单级特征图融合坐标注意力的视觉位置识别方法。首先通过坐标注意力捕获特征的相对位置信息，然后利用扩张卷积和局部聚合向量网络（NetVLAD）构造多尺度特征融合的编码器，最后基于三元组损失训练网络。经Pitts30k和Nordland数据集验证，在位置识别试验中，与同基线的先进方法 Patch-NetVLAD相比，所提出的方法能够获得同等的召回精度且检索速度提高19%。在回环检测试验中，所提出的方法达到了合理平衡鲁棒性和检索速度的目标。     

图像分区域多特征融合斜向车辆检测算法研究

目前基于机器视觉的车辆检测和跟踪技术成为道路环境感知的重要手段,用于预防交通事故的发生。针对前向车辆的检测技术日益成熟,并有商业化的产品出现,而斜向车辆的检测技术尚不成熟。该项目主要研究斜向车辆的检测与跟踪问题。针对车道线检测算法,提出基于Hough变换与K-means聚类融合的改进车道线检测算法,并结合ROI区域提取,缩小检测范围。针对车辆检测,提出对车辆检测算法的两级优化:首先利用车辆阴影特征和图像垂直边缘特征融合,生成疑似目标区域,提出两次自适应阈值分割与OTSU算法融合的改进双阈值分割算法用于改善阴影特征提取的效果;其次,通过HOG特征与Haar-like特征结合,与Adaboost算法联合训练Adaboost级联分类器,生成目标验证区域,并提出基于高斯核函数的核主成分分析法,对图像特征降维处理,改善实时性。基于上述算法优化,对斜向车辆的检测试验结果表明:采用阴影特征与边缘特征融合的优化算法对斜向车辆的识别准确率达90%;在良好天气条件下,HOG+Haar-like融合特征的Adaboost级联分类器检测的准确率达95%;采用核主成分分析降维后检测时间缩短了26%;二者融合的综合效果改善明显。     

基于双延迟深度确定性策略梯度的船舶自主避碰方法

为满足智能船舶自主航行的发展需求,解决基于强化学习的船舶避碰决策方法存在的学习效率低、泛化能力弱以及复杂会遇场景下鲁棒性差等问题,针对船舶避碰决策信息的高维性和动作的连续性等特点,考虑决策的合理性和实时性,研究了基于双延迟深度确定性策略梯度（TD3）的船舶自主避碰方法。根据船舶间相对运动信息与碰撞危险信息,从全局角度构建具有连续多时刻目标船信息的状态空间;依据船舶操纵性设计连续决策动作空间;综合考虑目标导向、航向保持、碰撞危险、《1972年国际海上避碰规则》（COLREGs）和良好船艺等因素,设计船舶运动的奖励函数;基于TD3算法,根据状态空间结构,结合长短期记忆（LSTM）网络和一维卷积网络,利用Actor-Critic结构设计船舶自主避碰网络模型,利用双价值网络学习、目标策略平滑以及策略网络延迟更新等方式稳定网络训练,利用跳帧以及批量大小和迭代更新次数动态增大等方式加速网络训练;为解决模型泛化能力弱的问题,提出基于TD3的船舶随机会遇场景训练流程,实现自主避碰模型应用的多场景迁移。运用训练得到的船舶自主避碰模型进行仿真验证,并与改进人工势场（APF）算法进行比较,结果表明:所提方法学习效率高,收敛快速平稳;训练得到的自主避碰模型在2船和多船会遇场景下均能使船舶在安全距离上驶过,并且在复杂会遇场景中比改进APF算法避碰成功率高,避让2~4艘目标船时成功率高达99.233%,5~7艘目标船时成功率97.600%,8~10艘目标船时成功率94.166%;所提方法能有效应对来船的不协调行动,避碰实时性高,决策安全合理,航向变化快速平稳、震荡少、避碰路径光滑,比改进APF方法性能更强。      

基于无损跨尺度特征融合的交通目标检测算法

针对复杂道路环境下交通目标与背景区分度低、交通小目标密集度高、部分遮挡严重、容易产生漏检、误检等问题，提出了一种融合注意力的无损跨尺度复合空洞残差网络的交通目标检测算法。通过改进SSD基础骨干网络和残差结构，加强网络提取强表征性的高级语义信息能力，解决信息传递损耗和丢失问题。在此基础上提出一种新的多视野聚合空洞残差单元，通过设置不同膨胀率的空洞卷积，获得不同大小感受野，聚合上下文信息实现大目标与小目标的兼顾。提出一种新的无损失跨尺度融合模块，通过该模块进行通道重组，结合通道维度信息填充像素，实现跨通道像素信息融合，进一步提升特征提取的能力。同时引入了坐标注意力机制，将轴向的空间坐标通道信息有效整合到生成注意力图中，构建出能够捕获跨通道信息且包含方向感知和位置敏感信息的注意力残差单元与多视野聚合空洞残差单元。此外，通过引入Soft-NMS降低与高置信度预测框重叠度较大的目标框的置信度，增加二次检测机会，提升了网络模型召回率。最后引入解耦检测头以加快模型收敛速度和提高检测精度。在VOC数据集07+12上的试验结果表明，算法平均精度提升了6.46%,证明了提出算法的准确性和鲁棒性。     

基于CenterNet的路侧单目视角车辆3D形态精确感知

车辆3D形态的精确实时感知对于智能交通中的车辆行为分析、交通流参数估计等应用和无人驾驶都至关重要，其中，如何克服透视投影的限制，从路侧单目视角下感知车辆3D形态正成为具有挑战的课题之一。为解决这个难题，采取深度网络提取投影特征，结合空间标定模型中的几何约束，实现2D投影至3D空间的3D形态恢复构建。首先，基于前期工作，对道路场景中的相机构建空间标定模型，以获取透视空间的2D-3D互映射矩阵；然后，以当前流行的简洁高效的CenterNet深度网络为基础，设计车辆3D形态投影特征的检测网络，融入多尺度特征融合模块以优化透视投影下不同尺度车辆目标的检测，同时优化高斯凸包热力图以增强车辆目标的特征检测力度，根据先验几何约束设计加强损失函数以加快收敛；最后，通过建立的空间形态几何约束模型，对网络输出特征投影点进行解码，构建出完整的车辆3D形态信息。试验以路侧视角下的BrnoCompSpeed数据集和自制数据集为基础，手工标注满足试验需求的样本目标，并做图像增广以模仿多变的道路监控视角及环境。在试验结果评价中，分别对网络检测结果及最终构建的3D形态进行评价，其中对于网络检测结果，以投影特征构成投影凸包的平均精度为评价指标，交并比(IoU)阈值为0.7时，在BrnoCompSpeed测试数据集上得到AP值为87.35%，召回率和精确率分别为87.39%与90.78%。同时，设计消融试验证明网络改进模块的有效性。对于3D形态构建结果，分别对空间定位、3D尺寸、偏转角及3DIoU等指标都进行定义，并以3DIoU为评价标准，验证多个改进模块及不同视角对于最终精度的影响，最后在BrnoCompSpeed测试数据集中的平均3DIoU达到0.738。设计的网络FPS为27，可满足实时性的需求。     

基于交叉注意力机制的多模态感知融合方法

针对智能汽车道路目标检测任务中单一传感器感知能力有限、多传感器后融合处理复杂等问题,提出了一种基于Transformer交叉注意力机制的多模态感知融合方法。首先,利用交叉注意力机制能较好地融合多模态信息的优势,搭建了基于深度学习方式的端到端融合感知网络,用以接收视觉与点云检测网络的输出,并进行后融合处理。其次,对点云检测网络的三维目标信息进行高召回处理,与视觉图像检测器输出的道路目标信息一同作为网络的输入。最后,通过网络实现二维目标信息向三维信息的融合,输出对三维目标检测信息的修正,从而得到准确度更高的后融合检测信息。在KITTI公开数据集上的验证指标表明,通过所提融合方法引入二维检测信息后,相比较PointPillars、PointRCNN、PV-RCNN及CenterPoint四种基准方法,对车辆、骑行人、行人3种类别的综合平均提升分别为7.07%、2.82%、2.46%、1.60%。通过与基于规则的后融合方法对比,所提融合网络在行人和骑行人中等、困难样本检测上,分别有平均1.88%与4.90%的提升。进一步表明所提方法具有更强的适应性与泛化能力。最后,进行了实车试验平台的搭建及算...     

面向自动驾驶数据生成的风格迁移网络研究

自动驾驶数据集的丰富性是保证基于深度学习的自动驾驶算法鲁棒性和可靠性的关键。当前的自动驾驶数据集在夜晚场景和各类气候、天气条件下的数据量仍十分有限，为满足无人驾驶领域的应用需求，本文中构建了风格迁移网络，可将当前自动驾驶数据集转换为夜晚、雪天等多种形式。该网络采用单编码器-双解码器结构，综合语义分割网络、跳跃连接和多尺度鉴别器等多种手段用于提高图像的生成质量，生成的图像具有良好的视觉效果。用真实数据训练deeplabv3+语义分割网络来评价生成图像的结果表明，本文采用的网络生成图像的平均交并比比基于双编码-双解码结构的两种网络（AugGAN和UNIT）分别提升了2.50%和4.41%。