基于虚拟点云的二阶段多模态融合网络

针对点云的稀疏性和无序性对目标检测准确率的影响,本文提出了一种基于虚拟点云的二阶段多模态融合网络VPC-VoxelNet。首先,利用图像检测目标信息构造虚拟点云,增加点云的密集程度,从而提高目标特征的表现;其次,增加点云特征维度以区分真实和虚拟点云,并使用含置信度编码的体素,增强点云的相关性;最后,采用虚拟点云的比例系数设计损失函数,增加图像检测有监督训练,提高二阶段网络训练效率,避免二阶段端到端网络模型存在的模型误差累计问题。该目标检测网络VPC-VoxelNet在KITTI数据集上进行了测试,检测精度优于经典三维点云检测网络和某些多传感器信息融合网络,车辆检测精度达到了86.9%。     

基于RetinaNet及优化损失函数的夜间车辆检测方法

为解决智能驾驶系统中夜间车辆检测误检多、远处小目标检测效果差的问题,在RetinaNet的基础上对损失函数进行全面优化。在分类损失函数方面,分析了负样本与正样本交并比的产生机理和对训练的影响,构造了关联交并比的分类损失函数,利用负样本交并比使网络注重于训练难分类负样本,同时利用正样本交并比提高了检测框的定位精度;在定位损失函数方面,改进了传统L1损失的归一化方式,提高了小目标检测能力。此外,针对夜间场景中的车辆特征对网络结构进行了优化设计,并在夜间车辆数据集上进行了测试验证,结果表明模型优化后的平均检测精度提升了14.6%。     

基于深度学习的多目标车辆检测及追踪方法

文章是以MTALAB软件为主要平台,基于深度学习建立一种多目标车辆检测及追踪的方法。首先建立一个基于深度学习的模型用于训练的不同场景的车辆数据集,并对所采集的数据集进行标注和格式归一化处理。然后使用K-means聚类算法进行锚框,建立以YOLOv3SPP算法为主的神经网络框架,采用非极大值拟制（NMS）算法得到最终的预测框。最终训练神经网络模型,再对该模型进行测试和评定。经实验可以得出该模型能够准确地检测及追踪多目标车辆。     

基于轮胎特征点的并行大型车辆朝向角计算

针对自动驾驶环境感知中并行大型车辆朝向角预测结果稳定性差的问题，本文中提出一种新的方法进行并行大型车辆朝向角计算。首先，基于相机逆投影模型提出根据轮胎特征点图像位置计算目标车辆朝向角的计算方法。然后，在现有单目3D目标检测模型上增加并训练子分支用于进行大型车辆轮胎特征点的检测。最后，对本文算法进行可视化验证。结果表明，该方法可得到准确的并行大型车辆朝向角，具有比单目3D目标检测模型更好的稳定性。     

基于级联YOLOv7的自动驾驶三维目标检测

针对图像和原始点云三维目标检测方法中存在特征信息残缺及点云搜索量过大的问题，以截体点网（frustum PointNet, F-PointNet）结构为基础，融合自动驾驶周围场景RGB图像信息与点云信息，提出一种基于级联YOLOv7的三维目标检测算法。首先构建基于YOLOv7的截体估计模型，将RGB图像目标感兴趣区域（region of interest, RoI）纵向扩展到三维空间，然后采用PointNet++对截体内目标点云与背景点云进行分割。最终利用非模态边界估计网络输出目标长宽高、航向等信息，对目标间的自然位置关系进行解释。在KITTI公开数据集上测试结果与消融实验表明，级联YOLOv7模型相较基准网络，推理耗时缩短40 ms/帧，对于在遮挡程度为中等、困难级别的目标检测平均精度值提升了8.77%、9.81%。     

基于多传感器信息融合的3维目标实时检测

针对基于多传感器信息融合的3维目标检测，提出了一种实时高精度的双阶段深度神经网络PointRGBNet。第1阶段，在区域提案网络中，首先将3维点云投影到2维图像上生成6维RGB点云，然后对输入的6维RGB点云进行特征提取，得到低维特征图与高维特征图，利用融合后的特征图生成大量置信度较高的提案；第2阶段，在目标检测网络中，利用第1阶段生成的提案进行RoI池化，得到特征图上与每个提案对应的特征集合，通过针对性地学习提案的特征集合，实现了更精准的3维目标检测。在KITTI数据集上的公开测试结果表明，PointRGBNet在检测精度上不仅优于仅使用2维图像或3维点云的目标检测网络，甚至优于某些先进的多传感器信息融合网络，而且整个网络的目标检测速度为12帧/s，满足实时性要求。     

基于三维光学扫描的发动机气管质量检测方法

发动机气管产品设计初期,须制造产品样机验证设计方案.在无检具的情况下,常规检测设备无法实现产品检测.利用三维光学扫描设备结合检测软件,采集产品点云数据、点云杂点噪点数据处理、产品模型与点云数据基准对齐、尺寸分析可实现产品制造质量检测.通过具体样件检测验证分析,找出了同批次产品装配干涉问题点,为产品后续改进提供了数据参考...     

多线索融合的结构化道路检测算法研究

为实现结构化道路的检测，提出了一种用于道路检测的激光雷达和视觉融合法，通过提取激光雷达在道路边缘的三维点云信息，将其投影到视觉图像上，形成激光点云与图像的映射关系，生成激光雷达似然图。通过改进提取道路的颜色、纹理、水平线等特征的方法，生成相对应的视觉似然图。在贝叶斯框架下将激光雷达和视觉生成的似然图进行融合。在KITTI数据集上测试可知，精度达到94%，准确率达到86%，表明该道路检测法具有较好的道路检测果。     

基于体素网络的道路场景多类目标识别算法

基于激光雷达数据的三维物体识别是自动驾驶系统的关键组成部分,体素网络是较好的点云特征提取容器,但目前基于体素网络的目标识别研究大多指向单类目标。为满足无人驾驶领域的应用需求,多类目标识别亟待开展研究。本文中基于体素网络框架构建了多类目标识别网络,并测试其性能。采用计算所有类别先验候选边框重叠度的方法,为标签周围体素创建类别标签、置信度标签和目标包围边框回归值,解决了3项预测值之间可能不匹配的问题。测试结果表明,本文中提出的多目标识别算法类别预测综合召回率为88.6%;设定判定正确的重叠度阈值为0.5时,边框回归召回率为84.8%。相较于单类目标识别网络,本文中算法的单类目标预测正确率明显提高,验证了多类目标识别算法对目标特征学习有加强作用,对增强目标识别网络的鲁棒性有利。     

凸凹不平道路几何参数识别和模型重构方法研究

自动驾驶汽车的凸凹不平道路和异常路面行驶，不仅要考虑道路曲率等因素，还需要对路面凸起、凹坑等特征和病害进行识别建模，提高车辆通过性、安全性和舒适性。为此，本文提出了一种基于激光雷达的凸凹不平道路几何参数识别和模型重构方法。首先，将局部加权散点平滑方法（Lowess）首次应用于激光雷达点云处理，提高了激光雷达点云数据的平滑性；其次，提出了基于斜率阈值分割的路面几何参数识别方法，通过设置斜率阈值对道路凸起与凹坑进行识别提取；再次，通过识别特征点云边界构建了带约束的分段多项式函数路面连续典型特征拟合数学模型。最后，通过建立的室内路面典型特征沙盘模型及路面实测数据，应用本文提出的方法，对凸凹不平道路的凹坑和凸起等特征进行了识别和模型重构。结果表明，分段多项式拟合方法在拟合次数5～6次时达到拟合效果极限位置，此时各个场景中92%的数据点拟合均方根误差在0～0.015 m范围内，本文提出的方法能准确完成凸凹不平道路几何参数识别，实现路面典型特征三维数学模型重构。     

基于激光雷达的3D目标检测研究综述

近年来,随着自动驾驶技术的快速发展,智能汽车对于环境感知技术的需求也越来越高,由于激光雷达数据具有较高的精度,能够更好的获取环境中的三维信息,已经成为了3D目标检测领域研究的热点。为了给智能汽车提供更加准确的环境信息,对激光雷达3D目标检测领域主要研究内容进行综述。首先,分析了自动驾驶车辆各种环境感知传感器的优缺点;其次,根据3D目标检测算法中数据处理方式的不同,综述了基于点云的检测算法和图像与点云融合的检测算法;然后,梳理了主流自动驾驶数据集及其3D目标检测评估方法;最后对当前点云3D目标检测算法进行总结和展望,结果表明当前研究中2D视图法和多模态融合法对自动驾驶技术发展的重要性。     

基于CenterNet的路侧单目视角车辆3D形态精确感知

车辆3D形态的精确实时感知对于智能交通中的车辆行为分析、交通流参数估计等应用和无人驾驶都至关重要，其中，如何克服透视投影的限制，从路侧单目视角下感知车辆3D形态正成为具有挑战的课题之一。为解决这个难题，采取深度网络提取投影特征，结合空间标定模型中的几何约束，实现2D投影至3D空间的3D形态恢复构建。首先，基于前期工作，对道路场景中的相机构建空间标定模型，以获取透视空间的2D-3D互映射矩阵；然后，以当前流行的简洁高效的CenterNet深度网络为基础，设计车辆3D形态投影特征的检测网络，融入多尺度特征融合模块以优化透视投影下不同尺度车辆目标的检测，同时优化高斯凸包热力图以增强车辆目标的特征检测力度，根据先验几何约束设计加强损失函数以加快收敛；最后，通过建立的空间形态几何约束模型，对网络输出特征投影点进行解码，构建出完整的车辆3D形态信息。试验以路侧视角下的BrnoCompSpeed数据集和自制数据集为基础，手工标注满足试验需求的样本目标，并做图像增广以模仿多变的道路监控视角及环境。在试验结果评价中，分别对网络检测结果及最终构建的3D形态进行评价，其中对于网络检测结果，以投影特征构成投影凸包的平均精度为评价指标，交并比(IoU)阈值为0.7时，在BrnoCompSpeed测试数据集上得到AP值为87.35%，召回率和精确率分别为87.39%与90.78%。同时，设计消融试验证明网络改进模块的有效性。对于3D形态构建结果，分别对空间定位、3D尺寸、偏转角及3DIoU等指标都进行定义，并以3DIoU为评价标准，验证多个改进模块及不同视角对于最终精度的影响，最后在BrnoCompSpeed测试数据集中的平均3DIoU达到0.738。设计的网络FPS为27，可满足实时性的需求。     

基于激光雷达点云的道路几何信息提取与数字化建模研究

为实现快速、自动化的道路几何信息提取和数字化建模，基于激光雷达点云提出了一套从道路语义分割、几何线形提取到集成化建模的通用框架。首先，基于空间上下文特征基础框架，将局部特征的最大值和邻域均值进行聚合以作为局部特征，使用径向分布参数与三维坐标描述全局上下文特征，构建道路语义分割网络。其次，基于道路场景分割结果，通过体素降采样和半径滤波法减少点云数据量、去除离群点，并利用可变半径Alpha Shapes (VA-Shapes)算法提取道路边线，结合获取的边线横纵坐标，计算路段几何信息(路宽、纵坡、横坡等),使用inshape函数和插值法构建交叉口的数字高程模型。最后，采用Dynamo for Revit将道路几何信息导入并生成道路路线，通过Revit软件设计道路自适应族构件及不同类别基础设施族构件，实现精细化道路数字建模。利用开源数据集Semantic3D进行训练和测试，分析与评价道路几何信息提取效果。研究结果表明：所提出的算法总体准确度为95%,路面的单类交并比为97.9%,能够很好地实现道路点云场景的自动化语义分割；相比于传统的固定半径Alpha Shapes算法，VA-Shapes算...     

基于稀疏卷积神经网络的车载激光雷达点云语义分割方法

对车载激光雷达扫描得到的点云进行语义分割是保证行车安全、加强驾驶员对周边环境理解的重要手段之一。因为内存限制和大规模点云场景更加稀疏的特点,将传统神经网络的方法直接沿用到车载激光雷达扫描得到的点云场景中的效果不佳。本文中针对大规模点云的稀疏性,利用稀疏卷积神经网络对体素化点云进行特征提取。考虑到逐点处理分支抑制点云数据的密度不一致性导致的信息损失,另外设计了3D-CA和3D-SA模块,使稀疏卷积神经网络更好地提取特征。实验结果表明,与传统卷积神经网络的方法和将点云投影到平面的方法相比,使用稀疏卷积神经网络对大规模点云进行语义分割,可将平均交并比提升4.1%和3.4%,证明了该方法的有效性。     

融合改进YOLO和背景差分的道路抛洒物检测算法

针对现有道路抛洒物检测算法识别准确率低、识别种类有限、实时检测效率低的问题，探索了将深度学习目标检测和传统图像处理相结合的抛洒物检测算法。提出在YOLOv5s目标检测算法基础上，对模型结构进行修改以满足实时性需求。具体地，使用卷积优化YOLO中的降采样模块，采用Ghost网络替代原始的特征提取网络以减少计算量，根据抛洒物检测对象的特点设计符合数据集的锚框以提高目标识别准确度。使用优化后的YOLO检测道路场景中车辆、行人作为交通参与者得到检测框，在检测框周围设定感兴趣区域，并在感兴趣区域内用背景差分算法实现前景目标识别。计算前景目标与YOLO检测结果的交并比，排除交通参与者目标后实现道路抛洒物的识别。针对交通参与者检测的实验结果表明，改进后的YOLO检测算法在整体识别精度没有损失的情况下单帧检测速度为20.67 ms，比原始YOLO检测算法速度提升16.42%。真实道路抛洒物实验结果表明，在没有抛洒物训练数据情况下，传统混合高斯模型算法平均精度值为0.51，采用融合改进YOLO和背景差分的抛洒物检测算法平均精度值为0.78，算法检测精度提高52.9%。改进后算法可适用于没有抛洒物数据或正样本数据稀少的情况。该算法在嵌入式设备Jetson Xavier NX上单帧检测速度达到24.4 ms，可实现抛洒物的实时检测。      

降雨条件对车载激光雷达性能影响的试验研究

激光雷达是自动驾驶车辆最为关键的传感器之一，被广泛用于车辆定位、目标检测与跟踪等任务。然而，激光雷达的点云数据会受到恶劣天气（如雨、雾、雪等）的严重影响，致使自动驾驶全天候行驶仍然面临着巨大挑战。为了量化评估恶劣天气对激光雷达性能的影响，分析了降雨环境下激光雷达的性能，基于构建的场地降雨模拟系统控制降雨量，通过多视角的静、动态试验定性与定量分析激光雷达测距精度、典型目标点密度、有效检测距离等性能参数与降雨量之间的关系。试验结果表明：车辆作为目标物时，目标物上的激光点云受降雨的影响最大，相较于无雨环境，中雨时打在汽车上的激光点数降低幅度超过了60%，检测距离下降了69%，并且随着降雨量的增大激光雷达对目标的有效检测距离持续下降；试验方法和结果对于测试评价自动驾驶性能及提升降雨环境下的激光感知能力具有重要意义。     

基于车辆动力学响应特征的越野地面分类方法

利用车辆动力学响应进行地面分类是越野智能汽车的关键技术之一。本文中提出了结合地面不平整度特征和力学特征进行越野地面分类的方法，对沙地、土路、水泥路和雪地进行分类。本方法中选取等效地面轮廓和车身垂向加速度作为地面不平整度特征，选取行驶阻力和轮速波动作为力学特征，设计了基于LSTM模型的越野地面分类器，对自行采集的车辆越野行驶数据集进行训练与测试，结果表明，分类正确率达到95.5%；最后，使用HMM模型实现了分类后处理，解决了分类结果在连续数据上跳变的问题，使该算法在连续越野数据上的地面分类正确率从88.44%提高到90.13%。     

一种基于TX2平台的改进YOLOv3红绿灯检测算法

针对采用嵌入式平台TX2检测红绿灯时存在存储容量小、算力有限的问题,提出一种改进YOLOv3红绿灯检测算法。从获取最优锚框尺度、裁减网络大尺度检测分支、模型剪枝压缩3个方面对YOLOv3算法进行改进,在自制数据集下进行模型训练,在离线数据测试中,模型的平均精度提高了34%,参数量压缩至11.9%,帧速率可达18帧/s,在实际环境测试中,对不规则摆放的园区红绿灯以及10 km实际路段下红绿灯的正确识别率分别为94.75%、92.7%。     

基于多特征融合的高速路车辆多目标跟踪算法研究

针对高速路车辆移动速度快、检测器易出现漏检和误检、目标相互遮挡等问题,提出一种基于多种特征融合的高速路车辆多目标跟踪算法。检测器获取每帧目标检测框后,采用HSV颜色直方图和HOG直方图建立目标外观模型,通过卡尔曼滤波建立目标位置模型和尺寸模型,融合多种特征模型构建相似性度量矩阵,并利用二分图匹配解决在线数据关联问题。在KITTI车辆数据集和自采的高速车辆数据集上将该算法与若干经典算法进行比较,结果表明,该算法在跟踪正确率和跟踪速度上明显提升。     

基于交叉注意力机制的多模态感知融合方法

针对智能汽车道路目标检测任务中单一传感器感知能力有限、多传感器后融合处理复杂等问题,提出了一种基于Transformer交叉注意力机制的多模态感知融合方法。首先,利用交叉注意力机制能较好地融合多模态信息的优势,搭建了基于深度学习方式的端到端融合感知网络,用以接收视觉与点云检测网络的输出,并进行后融合处理。其次,对点云检测网络的三维目标信息进行高召回处理,与视觉图像检测器输出的道路目标信息一同作为网络的输入。最后,通过网络实现二维目标信息向三维信息的融合,输出对三维目标检测信息的修正,从而得到准确度更高的后融合检测信息。在KITTI公开数据集上的验证指标表明,通过所提融合方法引入二维检测信息后,相比较PointPillars、PointRCNN、PV-RCNN及CenterPoint四种基准方法,对车辆、骑行人、行人3种类别的综合平均提升分别为7.07%、2.82%、2.46%、1.60%。通过与基于规则的后融合方法对比,所提融合网络在行人和骑行人中等、困难样本检测上,分别有平均1.88%与4.90%的提升。进一步表明所提方法具有更强的适应性与泛化能力。最后,进行了实车试验平台的搭建及算...