特征稀疏场景下基于标签的车辆视觉SLAM

在智能车辆的同时定位与建图中，视觉特征点法通过对特征点的提取和匹配进行车辆位姿估计，但当环境缺少纹理或动态变化时，场景的特征稀疏、稳定性差，基于自然特征定位易导致精度下降甚至定位失败。在环境中加入视觉标签可有效解决特征稀疏问题，但基于视觉标签的定位方法高度依赖人工标定，且常因视角变化出现位姿抖动，影响定位的精度。为此，本文提出了一种基于标签的车辆视觉SLAM方法，充分利用标签信息，引入内外角点约束降低标签位姿抖动，同时借助视觉里程计建立低漂移、全局一致的地图；在定位时基于标签估计车辆位姿，并联合优化标签地图与车辆位姿，从而构建低成本、高鲁棒的视觉SLAM系统。试验结果表明，本文方法使用内外角点约束有效降低了标签的位姿抖动，使标签建图精度的提升率超过60%，定位精度的平均提升率超过30%，显著地提高了基于标签定位的精度与鲁棒性，有利于智能车辆的安全运行。     

动态场景下基于语义分割与运动一致性约束的车辆视觉SLAM

传统的车辆同时定位与建图方法多依赖于静态环境假设,在动态场景下易引起位姿估计精度下降甚至前端视觉里程计跟踪失败。本文结合Fast-SCNN实时语义分割网络与运动一致性约束,提出一种动态场景视觉SLAM方法。首先利用Fast-SCNN获取潜在动态目标的分割掩码并进行特征点去除,以获取相机位姿的初步估计;随后基于运动约束与卡方检验完成潜在动态目标中静态点的重添加,以进一步优化相机位姿。验证集测试表明,所训练的语义分割网络平均像素精度和交并比超过90%,单帧图片处理耗时约14.5 ms,满足SLAM系统的分割精度与实时性要求。慕尼黑大学公开数据集和实车数据集测试表明,融合本文算法的ORB-SLAM3部分指标平均提升率超过80%,显著提升了动态场景下的SLAM运行精度与鲁棒性,有助于保障智能车辆的安全性。     

一种混合视觉的车载激光雷达即时定位与地图构建方法

为提高地图的构建精度,提出一种混合视觉即时定位与地图构建方法.利用相机和激光雷达标定获得具有颜色信息的点云,并对点云数据进行预处理,选取相邻帧点云之间的特征点,制定匹配策略,对匹配点采取未解耦的位姿求解算法,获取两帧间的变换矩阵作为后续帧间匹配的初值.分别利用KITTI数据集和实车试验数据进行验证,结果表明,所提出的方...     

基于卷积神经网络的车辆位姿估计算法

针对基于双目视觉和激光雷达对车辆进行位姿估计时计算量大、成本高等问题,提出一种单目视觉位姿估计算法,设计多任务卷积神经网络作为车辆位置和姿态估计的网络。将目标车辆视为刚体,分别对其尺寸、姿态角、3D中心点建模,以KITTI数据集中相关数据对模型进行训练,并分析训练后的网络,估计模型的计算速度和精度。结果表明,该位姿估计网络实时性良好,帧速率达50帧/s,平均姿态角相似度达86.14%。     

基于双里程计传感器融合的SLAM建图研究

在自动驾驶车辆研究领域中，SLAM车辆感知是热点研究领域之一，SLAM根据里程计类型可分为以视觉为主和以激光为主。两者本质上都以实现位姿估计和地图构建为目的，激光里程计主要是构建点云地图比较直观，视觉里程计构建的是稀疏视觉特征的地图。本文提出紧耦合双里程计传感器融合的SLAM框架，以完成实时状态估计和地图构建，并且具有高精度和鲁棒性。该方法可以有效地解决传统基于视觉或激光算法或者视觉和激光单一松耦合中累积误差的问题，框架融合了视觉与激光惯性的各自优点而形成两个子系统，这两个子系统采用紧密耦合方式进行设计，构成一个完整的系统。实验通过Ouster数据集评估绝对轨迹整体误差，并且该方法在自动驾驶接驳车中的应用表现出较高的精度。     

基于双目立体视觉的月球车三维定位算法

为了满足月球车自主导航的需要,提出了1种基于双目立体视觉的月球车三维定位算法。建立了基于双目立体视觉的月球车三维定位系统框架图,并对框架中主要模块进行了分析;研究了图像预处理、特征点提取、特征点的立体匹配、三维重建和特征点的跟踪匹配算法等图像处理环节,以获得月球车运动前后相匹配的环境特征点,并提出了1种鲁棒的月球车位姿变化估计算法。通过实际场地试验验证了算法的有效性。     

基于实时三线标定的车辆视觉定位方法

车辆在行驶过程中车路状况复杂多变,车载摄像机外参数会发生较大的变化,针对采用传统的基于预先标定外参数的方法进行车辆位姿计算会带来较大误差的问题,研究了一种基于实时三线标定的车辆视觉定位方法.基于三线标定法实时标定车载摄像机外参数,降低了其受到车辆震荡和路面环境的影响.然后利用外参数的实时标定结果,结合射影几何和消失点原理对车辆进行位姿计算,获取车道偏离距离和车辆偏转角度信息,从而实现对车辆的定位.通过在不同的路段架设不同高度的车载摄像机进行真实道路实验,计算车辆的位姿.结果表明,在不同路况下,车辆偏离车道线距离的平均误差为7.3cm,偏转角度平均误差为1.5°.该算法通过实时标定车载摄像机外参数,可以有效提高车辆位姿计算的精准性与适应性,对车载摄像机外参数的标定性能明显优于传统的预先标定法.      

基于3D点云语义地图表征的智能车定位

为提高智能车节点定位准确率, 研究了基于3D点云语义地图表征的智能车定位方法。该方法分为3个部分: ①基于三维激光点云的语义分割, 包括地面分割, 交通标志牌分割和杆状语义目标分割; ②面向智能车的点云语义地图表征, 利用分割的语义目标投影, 生成带权有向图, 语义路, 语义编码, 再以语义编码和高精度GPS的全局位置组成语义地图表征模型; ③基于语义表征模型的智能车定位, 包括基于GPS匹配的粗定位和基于语义编码渐进匹配的节点定位。实验在3种长度不同、复杂度不同的道路场景下进行, 节点定位准确率分别为98.5%, 97.6%和97.8%, 结果表明所提出的定位方法节点定位准确率高、鲁棒性强且适用于不同的道路场景。      

基于激光雷达的远距离运动车辆位姿估计

为了解决激光雷达扫描远距离运动车辆产生的点云稀疏导致位姿特征难以提取的问题,提出了一种远距离运动车辆位姿估计方法。首先利用时空连续性提取远距离运动车辆。然后利用最小二乘拟合得到稀疏点云水平面二维投影近似拟合直线对,依次在不同角度的垂直正交直线对上对稀疏点云的二维投影进行一维向量估计的装箱过程,基于目标车辆与激光雷达间相对位置的观测角函数最大化匹配滤波响应,进而利用全局优化算法对投影点概率分布与匹配滤波运算得到的代价函数作离散卷积,寻优比较得到单帧拟合最优矩形。最后结合连续帧平移约束进行多帧拟合,优化当前帧目标车辆拟合矩形的位姿。利用仿真和真实场景下采集的目标车辆点云数据进行算法验证分析。结果表明:在点云稀疏的情况下,当远距离目标车辆做直线运动时,提出的多帧拟合方法得到的位姿参数均方根误差低于单帧拟合和已有的RANSAC拟合方法;当远距离目标车辆做曲线运动时,提出的单帧拟合和多帧拟合方法得到的位姿估计结果较为接近,且误差明显低于已有的RANSAC拟合方法;对于不同相对距离下采集的目标车辆点云,提出的单帧拟合和多帧拟合位姿估计方法的适应性优于已有的RANSAC拟合方法。     

基于特征几何关系的无人车轨迹回环检测

为了在GPS盲区中利用激光雷达构建地图,提出了一种基于回环检测的高精度2D激光点云地图构建方法。首先,从2D激光雷达观测数据中获得无人车的位姿,在2D高斯概率密度空间中提取每帧数据中的环境特征以及求得高斯映射值累加和。其次,利用粒子滤波对车辆位姿与环境特征进行融合优化得到低精度的点云地图和特征地图。然后,利用数据帧中环境特征的数量、车辆位姿以及高斯映射累加和,计算发生轨迹回环的可能性;遍历所有观测帧后得到无人车轨迹回环帧;利用三角剖分法求解回环帧之间的真实转换关系。最后,利用图优化方法得到全局最优的无人车位姿和高精度点云地图与特征地图。试验结果表明:特征地图中同一特征的多次识别结果之间的标准差小于5mm;利用车辆位姿、环境特征和高斯映射累加和能够有效发现路径回环的可能性,其处理2 499帧耗时1.61s;利用Delaunay三角剖分能够准确计算路径回环点,单次运行用时小于1s。     

基于机器视觉的传送带工件动态抓取应用

为提高机器人对动态工件抓取的成功率,提出了一种基于机器视觉的传送带动态工件抓取方法。首先对系统方案进行设计,阐述了系统设计目标。其次对相机调试与坐标系标定以及抓取点标定进行了说明,概述了相机安装目标,介绍了坐标系标定以及抓取点标定的流程,通过坐标系转换,对抓取点进行重新标定。同时分别对主界面、TCP通讯界面、传送带标定界面和偏置抓取点标定界面进行设计,对像素分辨率标定界面参数、RDE与TPU交互的主要接口变量参数以及Module指令参数进行说明,具有一定的应用价值。     

道路交通事故摄影测量模型的标定点自动提取技术研究

照相机内外参数标定是计算机视觉应用于道路交通事故摄影测量的基础，直接影响着测量精度。标定参考点的准确定位和提取是其中关键的一步。采用平面棋盘模板作为标定物，提出了一种基于Harris算子的角点自动提取方法。实验结果表明，这一方法可以快速、准确实现标定点的提取。     

基于级联YOLOv7的自动驾驶三维目标检测

针对图像和原始点云三维目标检测方法中存在特征信息残缺及点云搜索量过大的问题，以截体点网（frustum PointNet, F-PointNet）结构为基础，融合自动驾驶周围场景RGB图像信息与点云信息，提出一种基于级联YOLOv7的三维目标检测算法。首先构建基于YOLOv7的截体估计模型，将RGB图像目标感兴趣区域（region of interest, RoI）纵向扩展到三维空间，然后采用PointNet++对截体内目标点云与背景点云进行分割。最终利用非模态边界估计网络输出目标长宽高、航向等信息，对目标间的自然位置关系进行解释。在KITTI公开数据集上测试结果与消融实验表明，级联YOLOv7模型相较基准网络，推理耗时缩短40 ms/帧，对于在遮挡程度为中等、困难级别的目标检测平均精度值提升了8.77%、9.81%。     

基于因子图的自动驾驶融合定位研究

在自动驾驶系统的即时定位及地图构建问题中，当行车路况复杂多变时，如何对车辆位姿进行准确实时估计是一个关键问题。就该问题提出基于因子图的多传感器融合方法，在Matlab 软件环境中实现车辆的准确实时定位。根据实际驾驶过程的特性选择试验采用的数据类型并建立相应的数学模型，分别根据GPS 及IMU 数据特征以及VO 和IMU的数据特征建立相应的融合因子图模型，基于KITTI 数据集，对所建立的融合因子图模型进行试验验证。结果表明，通过融合因子图模型可以准确地估计车辆当前时刻的位姿。     

分布式多车协同视觉SLAM系统EI北大核心CSCD

可靠的定位与导航是实现自动驾驶的先决条件。单车视觉同时定位与建图(SLAM)技术能够在GNSS拒止的情况下实现车辆的定位,但累积误差会随运行时间逐渐增加,难以持续准确完成定位任务。通过多车协同视觉SLAM可以提升定位效果。本文提出了一种鲁棒、轻量化的分布式多车协同视觉SLAM系统,该系统以ORBSLAM2作为视觉里程计,利用NetVLAD全局图像描述子实现多车间共视区域识别和数据关联;提出了一种基于数据相似性和结构一致性的方法,实现多车间闭环离群值剔除;提出了一种分布式位姿图优化方法,提高多车协同定位精度。经过自主搭建平台所采集的真实数据以及KITTI数据集测试,该系统相较于已有的主流视觉SLAM算法以及协同SLAM算法均具有更高的定位精度。     

基于点特征的车载LiDAR与GNSS/IMU联合标定方法研究

激光雷达(LiDAR)、全球导航卫星系统(GNSS)与惯性测量单元(IMU)之间的外部参数标定精度是影响多传感器融合及高精度地图的主要因素。基于此，提出一种适用于无人车的LiDAR与GNSS/IMU标定方法，该方法可实时提取标定板点云中心坐标，并利用点特征进行外部参数标定。首先，分析了LiDAR、GNSS、IMU及通用横墨卡托格网系(UTM)坐标系的变换关系；其次，基于IMU安装平面与地面平行的假设，通过车辆前方地面的法向量计算LiDAR俯仰角和滚转角的初值，并利用标定板中心偏移量计算偏航角初值；然后，假设车辆在平面上保持直线运动，采用恒定姿态运动将旋转角度的求解问题转化为最优化问题，并根据标定板UTM坐标不变的约束求解出平移参数；最后，通过分析算法误差、传感器测量误差以及中心点匹配误差验证了方案的可行性，并通过无人矿车采集LiDAR、GNSS和IMU的同步数据，对所提出的外部参数标定方法进行测试。试验结果表明：提出的方法只需要一定范围的平坦区域和标定板就可以解决3自由度运动估计6自由度外部参数的退化问题，且标定后的外部参数可以保证点云地图在20 m内的拼接误差小于20 cm。     

基于激光雷达点法向量的车辆实时位姿估计

为解决复杂交通场景下激光雷达获取运动车辆点云残缺而导致位姿信息难以提取的问题,提出一种基于点法向量特征的动态刚性目标实时位姿估计方法.利用最小二乘拟合算法求解目标表面点法向量,采用自适应聚类算法求解点法向量聚簇中心数量,求取聚类点拟合平面,选择互相垂直的平面代表点法向量分别作为待测目标所属坐标系内X轴和Y轴,通过运动学...     

基于视觉标记板的自动驾驶车辆激光雷达与相机在线标定研究*

针对传统的高清相机和激光雷达外部参数手动或半自动化标定程序繁琐和耗时问题,提出一种适用于地面无人平台车载激光雷达和相机在线自动标定的方法,以安装标记板(Marker)的移动车辆为标定目标,实现车辆的快速识别和位姿估计。同时获取在两种传感器中得到的位姿估计结果,利用经典的定向求解方法计算得到相机与激光雷达之间的刚性转换关系,并在真实城区环境中利用最优评估优化减小标定误差,试验结果证明了所提方法的准确性与可靠性。     

一种利用骨架提取和SVM分类的颗粒表征方法

集料级配是影响沥青路面抗滑和减噪性能的最主要因素,基于机器视觉技术,提出一种集料粒径高精度无损检测方法,结合骨架提取和支持向量机（SVM）算法来实现集料颗粒粒度分布的精确估计,为保证集料级配质量提供了有效手段。集料颗粒图像由数字相机获取,图像标定基于NI视觉助手Vision Assistant软件完成。颗粒骨架图像采用Skeleton-M骨架提取算法提取,针对所出现的骨架断裂情况,使用形态学膨胀和细化算法完成骨架修复;然后基于颗粒骨架图像提出颗粒粒径表征算法,基于骨架端点个数提出颗粒棱角表征方法;最后,通过提取颗粒图像特征参数,使用SVM算法对颗粒粒径分布进行精确估计。在颗粒棱角性表征方面,将所提出的颗粒骨架棱角性表征法与AIMS系统的梯度棱角法、未压实空隙率集料颗粒棱角法进行了比较。结果表明：与目前常见的粒径表征方法相比,所提出的方法可以较好地实现颗粒粒径表征和颗粒棱角性表征,所采用的基于多特征的SVM颗粒分档算法可以有效实现颗粒粒径分档,筛分档间的分档精度最高可达95%以上。     

基于计算机视觉的钢桥面板裂纹识别方法

钢桥面板疲劳开裂为常见的钢桥病害，准确快速地发现并确定钢桥面板裂纹几何特征对降低运维成本、制定运维策略具有重要意义。针对传统人工巡检效率低、检测环境恶劣等问题，提出了基于计算机视觉的钢桥面板裂纹及其特征识别方法。采用目标检测网络YoloV5和图像语义分割网络U-Net++相结合的方法识别裂纹。根据2个网络的结构特性标注图像中的目标后生成数据集，并分别对网络中的参数进行训练。利用训练后的YoloV5与U-Net++分阶段对待测裂纹图像进行检测与分割，并通过阈值分割优化U-Net++分割结果，再通过骨架化后得到裂纹骨架线；在确定裂纹形貌后，采用YoloV5识别出的标定块求解透视变换矩阵与像素尺度系数，然后对裂纹骨架线进行图像矫正并确定裂纹几何特征。研究结果表明：YoloV5可准确检测出裂纹与标定块，且检测稳定性好；通过优化U-Net++训练时输入的像素尺寸，提高了U-Net++训练的收敛速度，网络损失由0.121降至0.096;求解透视变换矩阵时，使用所有角点坐标拟合该矩阵的最小二乘解可提高图像矫正标定的精度；当图像采集距离较远、角度较大时，角点投影误差增大，且该误差对角度更为敏感；不同图...