基于稀疏卷积神经网络的车载激光雷达点云语义分割方法

对车载激光雷达扫描得到的点云进行语义分割是保证行车安全、加强驾驶员对周边环境理解的重要手段之一。因为内存限制和大规模点云场景更加稀疏的特点,将传统神经网络的方法直接沿用到车载激光雷达扫描得到的点云场景中的效果不佳。本文中针对大规模点云的稀疏性,利用稀疏卷积神经网络对体素化点云进行特征提取。考虑到逐点处理分支抑制点云数据的密度不一致性导致的信息损失,另外设计了3D-CA和3D-SA模块,使稀疏卷积神经网络更好地提取特征。实验结果表明,与传统卷积神经网络的方法和将点云投影到平面的方法相比,使用稀疏卷积神经网络对大规模点云进行语义分割,可将平均交并比提升4.1%和3.4%,证明了该方法的有效性。     

基于3D点云语义地图表征的智能车定位

为提高智能车节点定位准确率, 研究了基于3D点云语义地图表征的智能车定位方法。该方法分为3个部分: ①基于三维激光点云的语义分割, 包括地面分割, 交通标志牌分割和杆状语义目标分割; ②面向智能车的点云语义地图表征, 利用分割的语义目标投影, 生成带权有向图, 语义路, 语义编码, 再以语义编码和高精度GPS的全局位置组成语义地图表征模型; ③基于语义表征模型的智能车定位, 包括基于GPS匹配的粗定位和基于语义编码渐进匹配的节点定位。实验在3种长度不同、复杂度不同的道路场景下进行, 节点定位准确率分别为98.5%, 97.6%和97.8%, 结果表明所提出的定位方法节点定位准确率高、鲁棒性强且适用于不同的道路场景。      

基于体素柱形的激光雷达点云车辆目标检测算法

环境车辆是自动驾驶汽车行驶时的主要障碍物之一，对环境车辆的尺寸、位置、朝向等空间信息进行感知对于保障行驶安全具有重要意义。激光雷达点云数据包含了场景中物体表面扫描点的三维坐标，是实现车辆目标检测任务的重要数据来源。结合SECOND与PointPillars方法，提出一种基于体素柱形的三维车辆目标检测模型，利用三维稀疏卷积聚合点云局部特征，在体素特征图上构造柱形并进行特征编码，有效解决点柱形方法缺乏柱形间特征交互问题，增强点云特征的空间语义信息；基于均值池化操作生成锚框点云占据位图并提出一种简单负样本过滤策略，在模型训练阶段筛除预设在无点云覆盖区域的无效锚框，缓解正负样本或难易样本不均衡问题；在目标框回归模块中，使用类别置信度与交并比(IoU)预测值计算混合置信度，改善分类分支与位置回归分支结果不一致问题，并使用KITTI三维目标检测数据集进行模型训练与评估。研究结果表明：在严格判定标准下(IoU阈值设置为0.7),所提算法在简单、中等、困难3种难度级别下分别获得了89.60%、79.17%、77.75%的平均检测精度(AP_3D),与SECOND、PointPill...     

基于自适应阈值的三维激光点云地面分割算法研究

针对自动驾驶汽车感知模块中三维激光点云前后背景分割过程存在的误分割问题,提出了一种基于路面波动幅度的自适应阈值地面分割方法。该方法将原始点云进行栅格划分,依据点云数量信息设计了相应的高度阈值分割算法和地面平面模型分割算法。具体地,地面平面模型分割算法首先选取局部区域点集拟合地面平面模型,然后针对地面点云分割中存在的误分割问题,构建路面波动幅度方程,并采用基于点集分布特征的自适应阈值方法实现初步分割,最后借助分割后的地面点云重新优化平面模型与分割阈值。本文中基于开源语义分割数据集Semantic-KITTI提出了统一的算法评价基准数据集Semantic-Nova与性能评价指标,同时基于自研的自动驾驶汽车平台采集的实际场景进行了性能测试。试验结果表明,本文中提出的自适应阈值地面分割算法不仅在基准数据集上能够达到较高的精度,而且在实际场景中满足鲁棒性和实时性要求,具有较高的工程应用价值。     

三维激光扫描技术在市政道路工程中的应用

在市政道路工程中,传统的地形测量方式工作效率较低,外业测量人员工作强度大。三维激光扫描技术具有扫描速度快、高分辫率、非接触式测量优势,能够快速完整的记录被测物体表面的复杂纹理。将三维激光扫描技术应用于地形测绘可以减轻外业工作量有效提高外业测量的工作效率。结合三维激光扫描系统的组成和工作原理,优化点云数据的处理过程和方法,研究了三维激光扫描技术在市政道路工程测量应用中的技术特性,并结合工程案例析了实现过程和效果。研究表明,利用激光三维扫描技术获取的空间点云数据,可以快速生成满足工程设计所需要的地形图,以及纵横断面等产品,能有效提高外业测量工作效率。     

基于稀疏彩色点云的自动驾驶汽车3D目标检测方法

针对目前在自动驾驶汽车中,目标检测的点云分割与识别算法的准确率低等问题,提出一种稀疏彩色点云结构,该结构由摄像头采集的图像信息与激光雷达采集的点云信息进行空间匹配与特征叠加后生成。通过改进的PointPillars神经网络算法对融合后的彩色稀疏点云进行运算。实验结果表明,本方法在平均精度上比原算法有较大的提升,尤其是对行人和骑单车人的识别平均精度的提升更为明显,在中等难度下的行人和骑单车人3D检测的平均精度值分别提升13.8%和6.6%,显示了本方法的有效性。     

基于交叉注意力机制的多模态感知融合方法

针对智能汽车道路目标检测任务中单一传感器感知能力有限、多传感器后融合处理复杂等问题,提出了一种基于Transformer交叉注意力机制的多模态感知融合方法。首先,利用交叉注意力机制能较好地融合多模态信息的优势,搭建了基于深度学习方式的端到端融合感知网络,用以接收视觉与点云检测网络的输出,并进行后融合处理。其次,对点云检测网络的三维目标信息进行高召回处理,与视觉图像检测器输出的道路目标信息一同作为网络的输入。最后,通过网络实现二维目标信息向三维信息的融合,输出对三维目标检测信息的修正,从而得到准确度更高的后融合检测信息。在KITTI公开数据集上的验证指标表明,通过所提融合方法引入二维检测信息后,相比较PointPillars、PointRCNN、PV-RCNN及CenterPoint四种基准方法,对车辆、骑行人、行人3种类别的综合平均提升分别为7.07%、2.82%、2.46%、1.60%。通过与基于规则的后融合方法对比,所提融合网络在行人和骑行人中等、困难样本检测上,分别有平均1.88%与4.90%的提升。进一步表明所提方法具有更强的适应性与泛化能力。最后,进行了实车试验平台的搭建及算...     

基于三维激光雷达的智能车辆SLAM技术研究

智能车辆实现自主导航的必要条件之一是定位技术,目前基于三维激光雷达的同步定位与建图（SLAM）技术是定位技术的主流方案。文章从三维激光SLAM的算法框架和关键模块进行总结,具体讨论了扫描匹配、后端优化、闭环检测、地图构建等关键模块的常用算法及改进;综述了几种开源的三维激光SLAM,并对比了其优缺点;对在应用中激光雷达局部点云稀疏、Z轴的漂移以及动态对象引发的噪声影响等关键性问题进行了分析阐述;指出了基于三维激光雷达的SLAM与深度学习相结合、多传感器融合是未来三维激光SLAM的发展和研究方向。     

基于实测点云数据的隧道分割及形变检测方法

为了解决隧道形变检测准确性低、分析不全面的问题,对隧道三维点云轴线提取、隧道影像生成及分割、隧道点云数据分割和隧道断面形变检测等方面进行研究。对于三维激光扫描仪获取到的隧道原始点云数据,首先基于设计轴线,对RANSAC算法进行改进,来拟合等间距隧道断面圆心,并采用基于最小二乘优化的3次B样条曲线拟合方法,获取隧道实测轴线;其次,通过从点云数据到影像的数据转换方法,生成隧道反射率影像,并进一步利用点云数据几何特征生成几何权重图,应用边界检测提取隧道影像中的边界线;然后,将边界线像素映射至隧道三维点云数据空间,实现隧道点云数据的分割;最后,设计一种精确的隧道断面形变分析方法,分析断面形变。试验表明:本算法可精确分割隧道点云数据,提高隧道断面形变检测的准确度和可靠性。     

图像处理方法在粗集料形态评价中的应用研究进展

粗集料是沥青混合料的主要成分之一,我国每年公路建设需要消耗几十亿吨的粗集料。粗集料形状、棱角和纹理对沥青混合料高温稳定性、水稳定性和抗疲劳性能具有显著影响。准确评价粗集料的形态特征对于粗集料的质量控制和沥青混合料设计具有重要意义。图像处理方法是研究粗集料形状、棱角和纹理特征的有效手段。系统总结了二维图像处理方法(基于图像尺寸和半径的方法、腐蚀-膨胀法、分形维数法、梯度法和多边形拟合法、霍夫变换法、傅里叶变换法、小波变换法)和三维图像处理方法(球谐变换法、傅里叶变换法、小波变换法、腐蚀-膨胀法)在粗集料形态评价中的应用和取得的研究成果,并针对不同方法的局限性进行了评述。针对二维图像方法的固有缺陷,提出了今后的研究重点是基于粗集料的三维点云数据使用三维图像处理方法构建粗集料形状、棱角和纹理评价指标。最后结合作者现行的研究,介绍了使用激光三维扫描技术采集粗集料三维图像的步骤,并探讨了利用三维点云数据计算粗集料三维尺寸、处理粗集料棱角和平滑粗集料纹理的方法。     

基于实测点云的装配式铺面虚拟装配技术

装配式铺面在施工时可能会由于装配空间不匹配造成装配失败。文中基于三维扫描设备获取实测点云,提出一种装配式铺面虚拟装配技术。基于点云采样、降噪、分割与特征提取等技术,提出装配式铺面板与装配空间的三维重构方法。在CATIA软件中通过虚拟装配实现了装配干涉检测,并在干涉查询表中给出解决方案。     

基于LiDAR场景建模的智能车路径规划

针对智能车路径规划问题,研究了基于激光雷达(LiDAR)数据的智能车驾驶场景建模方法,采集待建模场景的三维激光雷达点云数据,通过点云分割处理,去除车辆行驶道路上的点云,然后将三维点云进行俯视投影,实现二维栅格地图建模;从搜索邻域和搜索方向2个方面对传统A*算法进行改进:根据当前节点附近障碍物的分布情况,自适应地选择4邻域或8邻域搜索策略,在此基础上研究了一种自适应搜索方向A*算法,所提出的算法将搜索方向缩小至3个,根据路径规划终点相对起点的方向,确定算法的搜索方向.仿真实验表明,相较于传统A*算法(4邻域搜索),所提出的算法在规划的路径长度方面降低了约15.5%,在计算时间上降低约38.2%;对比传统A*算法(8邻域搜索),所提出的算法在计算时间上降低约47.2%,在规划路径长度和计算时间上,所提出的算法明显优于传统算法.      

基于级联YOLOv7的自动驾驶三维目标检测

针对图像和原始点云三维目标检测方法中存在特征信息残缺及点云搜索量过大的问题，以截体点网（frustum PointNet, F-PointNet）结构为基础，融合自动驾驶周围场景RGB图像信息与点云信息，提出一种基于级联YOLOv7的三维目标检测算法。首先构建基于YOLOv7的截体估计模型，将RGB图像目标感兴趣区域（region of interest, RoI）纵向扩展到三维空间，然后采用PointNet++对截体内目标点云与背景点云进行分割。最终利用非模态边界估计网络输出目标长宽高、航向等信息，对目标间的自然位置关系进行解释。在KITTI公开数据集上测试结果与消融实验表明，级联YOLOv7模型相较基准网络，推理耗时缩短40 ms/帧，对于在遮挡程度为中等、困难级别的目标检测平均精度值提升了8.77%、9.81%。     

TLS在大型钢梁虚拟预拼和检测应用研究

钢结构桥梁的传统预拼接工作存在数据获取效率低、实地操作困难和成本高等问题,针对上述问题,以长益高速公路扩容工程为例,结合地面固定式三维激光扫描技术,详细阐述了基于三维激光点云数据的多跨π型钢混组合结构桥梁的虚拟预拼和检测方法。主要步骤为扫描设计、点云获取、数据处理及建模、虚拟预拼及误差检测。     

基于激光雷达点云的道路几何信息提取与数字化建模研究

为实现快速、自动化的道路几何信息提取和数字化建模，基于激光雷达点云提出了一套从道路语义分割、几何线形提取到集成化建模的通用框架。首先，基于空间上下文特征基础框架，将局部特征的最大值和邻域均值进行聚合以作为局部特征，使用径向分布参数与三维坐标描述全局上下文特征，构建道路语义分割网络。其次，基于道路场景分割结果，通过体素降采样和半径滤波法减少点云数据量、去除离群点，并利用可变半径Alpha Shapes (VA-Shapes)算法提取道路边线，结合获取的边线横纵坐标，计算路段几何信息(路宽、纵坡、横坡等),使用inshape函数和插值法构建交叉口的数字高程模型。最后，采用Dynamo for Revit将道路几何信息导入并生成道路路线，通过Revit软件设计道路自适应族构件及不同类别基础设施族构件，实现精细化道路数字建模。利用开源数据集Semantic3D进行训练和测试，分析与评价道路几何信息提取效果。研究结果表明：所提出的算法总体准确度为95%,路面的单类交并比为97.9%,能够很好地实现道路点云场景的自动化语义分割；相比于传统的固定半径Alpha Shapes算法，VA-Shapes算...     

基于3D视觉的机械臂无规则零件抓取系统

为解决机械臂抓取零件定位不准或抓取精度不高的问题，提出了一种基于3D视觉机械臂无规则零件抓取方法，该方法主要包括系统空间标定、零件点云定位分割、零件位姿估计算法模块，提出了基于2D图像的点云相机外参标定方法及基于图像语义分割的零件点云分割方法。经试验验证，所提出的标定方法达到1 mm的系统精度误差，而且求解效率高、通用性强；与常用的聚类分割相比，零件点云分割方法精度及效率更高。所设计的二阶段零件空间位姿计算方法能准确估计零件在空间中的6自由度位姿，相比单一阶段匹配方法精度提高约1.8倍。所提出的基于3D视觉的机械臂无规则零件抓取系统精度高、可扩展性强、适应情形广。     

基于三维激光点云的目标识别与跟踪研究

针对无人车环境感知中的障碍物检测问题,设计了一套基于车载激光雷达的目标识别与跟踪方法。为降低计算量,提高处理速度,引入了点云过滤与分割算法对原始激光点云数据进行缩减,有效提高了检测的实时性。使用多特征复合判据,基于SVM分类器改进了Adaboost算法,对三维激光点云进行直接处理,最大限度保留了感知信息,提高了识别准确度。提出基于最大熵模糊聚类的数据关联方法和相应的粒子滤波器,有效提高了复杂交通流中目标跟踪的稳定性和准确性。经百度Apollo平台数据集仿真、自主研发的无人驾驶平台实验验证和针对小目标交叠和遮挡情况的实车验证表明,该套方法具有良好的实时性和鲁棒性。     

三维激光扫描技术在危旧桥梁健康监测中的应用研究

针对现有桥梁健康监测手段主观性强、使用限制大、耗时长和经济性低等缺陷,以大邑县虎跳河大桥为试验对象,采用三维激光扫描技术进行危旧桥梁健康监测研究.通过控制测量、靶标布设、数据预处理、拼接优化等过程控制,使得2次扫描采集点云的拼接精度均优于1.5 mm;通过一定宽度的固定面分割点云数据,采用外侧点绘制桥梁的横断面图和桥墩轮廓线,最低点绘制拱肋拱腹线,复原了桥梁缺失的二维图件,并将拱腹线和轮廓线应用于后续的桥梁变形分析;通过点云结合影像数据制作正射影像图,采用边缘增强和雕刻化的图像处理方法增强病害表征,而后进行裂缝、水迹线、缺陷等的识别、测量和变化对比;利用点云数据制作的桥面模型进行垂向变化对比,结果显示桥墩附近沉降较小,在士1.5 mm内,桥台部分沉降较大,部分区域大于土8.0 mm,-3.0～0.0 mm沉降范围占比最大,达72.03％;通过拱腹线不同跨径位置进行垂向位移分析,结果显示平均沉降为5.08 mm;通过定距等分点的桥墩轮廓线位移分析,结果显示平均水平位移为3.56 mm,位移为0.02～6.24 mm的区间总占比达89.95％;通过桥墩轮廓线计算质心点进行水平位移分析,结果显示桥墩质心向213.81°,即虎跳河下游移动了3.11 mm,位移量结果与轮廓线分析的平均值接近.     

基于三维扫描顶衬与遮阳帘高精度尺寸策略研究

针对传统顶衬与遮阳帘尺寸策略问题,利用三维扫描技术收集物体几何表面的点云创建模型,并提供进行自动化尺寸策略评估的一种数字化工程解决方案,并对比传统意义上的车辆工程开发中顶衬与遮阳帘物理尺寸验证与数据收集工作优势,并以某项目新车型中三维扫描技术的实际案例出发,简述了三维扫描技术如何针对顶衬与遮阳帘尺寸质量优化进行指导,以及顶衬与遮阳帘零件尺寸质量提升工作中的优势。     

基于混凝土组合箱梁残缺三维激光点云的自动逆向建模方法

针对虚拟预拼装过程中,施工现场条件与构件本身性质对混凝土桥梁构件三维激光扫描及其后续逆向建模质量产生不良影响的问题,以混凝土组合箱梁为背景,提出残缺三维激光点云的自动逆向建模方法.该方法利用实测点云与设计数据最佳匹配的数学优化问题提高自动性,并采用k-d tree和最小生成树(MST)等数据结构以及算法提高计算效率和鲁...