基于GPS与图像融合的智能车辆高精度定位算法

车辆自定位是实现智能车辆环境感知的核心问题之一.全球定位系统(Global Positioning System,GPS)定位误差通常在10 m左右,不能满足智能车辆的定位需求;惯性导航系统成本较高,不适于智能车辆的推广.本文在视觉地图基础上,提出一种基于GPS与图像融合的智能车辆定位算法.该算法以计算当前位置距离视觉地图中最近一个数据采集点的位姿为目标,首先运用GPS信息进行初定位,在视觉地图中选取若干采集点作为初步候选,其次运用Oriented FAST and Rotated BRIEF(ORB)全局特征进行特征匹配,得到一个候选定位结果,最后通过待检测图像中的局部特征点与候选定位结果中的三维局部特征点建立透视n点模型(Perspective-n-Point,Pn P),得到车辆当前的位姿,并以此对候选定位结果进行修正,得到最终定位结果.实验在长为5 km的路段中进行,并在不同天气及不同智能车辆平台测试.经验证,平均定位精度为11.6 cm,最大定位误差为37 cm,同时对不同天气具有较强鲁棒性.该算法满足了智能车定位需求,且大幅降低了高精度定位成本.     

一种基于地图辅助的自动驾驶视-惯融合定位方法

视觉同步定位与建图(Simultaneous Localization and Mapping, SLAM)方法广泛应用于自动驾驶领域。传统的方法利用车载摄像头表征车辆周围环境，同时估计自身位置，当车辆运动过快时，定位精度和鲁棒性会下降。针对此问题，本文提出一种地图辅助的视-惯融合定位方法。该方法在ORB-SLAM2(Oriented FAST and Rotated BRIEF SLAM2)的基础上拓展地图保存功能，将建图和定位拆分为两个独立模块，车辆首先以较慢的速度构建并保存具有视觉特征的地图，然后，在第2次运行时车载计算机调用预先保存的地图实现精确且稳定的定位性能。由于构建地图阶段采用了图优化算法融合惯性测量单元(Inertial Measurement Unit, IMU)的信息，地图误差得到有效校正。在KITTI数据集场景和实际场景中验证了所提方法的良好性能。实验结果表明，所提方法在4, 8, 16 m·s-1 驾驶速度下的定位精度分别为2.59，2.61，2.73 m，图像失帧率和路径丢失率分别为3.76%和1.38%，3.89%和1.69%，4.27%和1.84%。相比原始的ORB-SLAM2方法，系统定位精度和鲁棒性均得到了提高。     

基于卷积神经网络优化回环检测的视觉SLAM算法

传统视觉即时定位与建图（SLAM）算法若无回环检测可能会存在累积误差无法消除的现象,即使有回环检测,也因准确率和效率比较低而无法应用于轻量级设备上,为此,研究一种回环检测优化的视觉SLAM算法. 前端估计时,对相邻帧图像进行ORB （oriented fast and rotated brief）特征提取与匹配,对匹配成功的特征点进行PnP （perspective-n-point）求解,获得相机运动估计并筛选出关键帧图像;后端优化时,利用SqueezeNet卷积神经网络 （CNN）提取图像的特征向量,计算余弦相似度判断是否出现回环,若出现回环则在位姿图中增加相应约束,利用图优化理论对全局位姿进行整体优化;最后利用项目组制作的数据集和TUM （technical university of munich）公开数据集进行测试与对比. 研究结果表明:相比于无回环检测算法,本文方法可以成功检测到回环并为全局轨迹优化增添约束;相比于传统词袋法,在回环检测准确率相同的情况下,本文方法召回率可提高21%且计算耗时减少74%;与RGB-D （red green blue-depth） SLAM算法相比,本文方法建图误差可降低29%.      

融合PHOG和MSLBP特征的铁路扣件检测算法

为了提高铁路扣件检测的识别率和鲁棒性,以及扣件图像PHOG特征的有效性,提出了简单有效的枕肩定位算法,该算法首先在提取PHOG特征前,根据枕肩、扣件和背景间的位置关系去除冗余背景信息;然后,模拟人眼视觉注意机制,设计MSLBP特征采样方式,提取扣件图像的宏观纹理特征;最后,采用分层次加权融合的方法联立两类特征,并采用SVM分类器进行扣件分类识别,提出一种基于计算机视觉和PHOG-MSLBP融合特征的缺陷识别算法.将该算法应用于实验,结果表明:与使用PHOG、MSLBP单一特征相比,基于PHOG-MSLBP融合特征检测算法的平均识别率分别提高了6.3%、4.5%,且鲁棒性更强,可满足扣件缺陷自动化检测的需要.     

复杂环境基于多信息融合的车辆跟踪方法

平交路口复杂环境下基于视觉的车辆跟踪容易受到如车辆在图像上投影的尺 度变化,车辆的排队与消散过程中邻近车辆间的遮挡及分离等因素的影响.针对该问题, 本文提出了一种利用局部特征增强的Mean-shift 改进算法,利用SIFT 特征点对尺度、旋 转变化鲁棒的特性,将其与基于跟踪区域颜色特征的跟踪方法相融合实现车辆跟踪,较 好地解决了在车辆尺度、运动方向变化,以及遮挡情况下的跟踪问题.同时通过引入跟踪 车辆分离的判定条件,结合特征点聚类算法解决了相邻车辆发生分离时的判断及跟踪问 题.实验结果表明,在多种交通场景的车辆跟踪过程中,本文提出的算法有较好的鲁棒性, 定位结果更加精确.     

低可见度环境下基于同步定位与构图的无人驾驶汽车定位算法

为在大范围低可见度环境下实现无人驾驶汽车的高精度定位，基于VINS-Mono算法的系统框架，在系统的前端与后端分别增添了RFAST弱光图像增强模块与VG融合定位模块，提出了一种融合定位算法LVG_SLAM; RFAST弱光图像增强模块采用小波变换将原始输入图像的细节信息与亮度信息分离，对于包含原始图像噪声的细节信息通过统一阈值和均值滤波2种方式实现噪声抑制，并利用双边纹理滤波算法进行细节增强，在此基础上，根据多尺度Retinex算法增强图像的对比度，提高低可见度环境下角点提取的成功率，从而保证图像跟踪的稳定性，改善定位算法的鲁棒性; 基于无迹卡尔曼滤波算法，VG融合定位模块将GNSS定位信息与惯性导航测量信息进行松耦合，融合定位结果作为约束引入VI-SLAM后端，通过联合非线性优化的方式减少累积误差对算法定位精度的影响。计算结果表明:相较于VINS-Mono算法，改进的LVG_SLAM融合定位算法在EuRoC与Kitti公开数据集上表现更加出色，均方根误差分别降低了38.76%与58.39%，运动轨迹更贴近真实轨迹; 在实际夜晚道路场景下，LVG_SLAM算法将定位误差控制在一定范围内，顺利检测到闭环使得定位表现得到大幅改善，均方根误差、平均误差、最大误差、中位数误差分别降低了79.61%、82.50%、71.31%、83.77%，与VINS-Mono算法相比，在定位精度与鲁棒性方面具有明显的优势。      

基于时序融合的自动驾驶多任务感知算法

采用连续图像帧作为输入,挖掘连续图像帧之间的时序关联信息,构建一种融合时序信息的多任务联合驾驶环境视觉感知算法,通过多任务监督联合优化,实现交通参与目标的快速检测,同时获取可通行区域信息;采用ResNet50作为骨干网络,在骨干网络中构建级联特征融合模块,捕捉不同图像帧之间的非局部远程依赖关系,将高分辨率图像通过卷积下采样处理,加速不同图像帧的特征提取过程,平衡算法的精度和速度;在不同的图像帧中,为了消除由于物体运动产生的空间位移对特征融合的影响,且考虑不同图像帧的非局部关联信息,构建时序特征融合模块分别对不同图像帧对应的特征图进行时序对齐与匹配,形成融合全局特征;基于共享参数的骨干网络,利用生成关键点热图的方法对道路中的行人、车辆和交通信号灯的位置进行检测,并利用语义分割子网络为自动驾驶汽车提供道路可行驶区域信息。研究结果表明:提出的感知算法以多帧图像代替单一帧图像作为输入,利用了多帧图像的序列特性,级联特征融合模块通过下采样使得计算复杂度降低为原来的1/16,与CornerNet、ICNet等其他主流模型相比,算法检测精确率平均提升了6%,分割性能平均提升了5%,并保持了每秒12帧图像的处理速度,在检测与分割速度和精度上具有明显优势。      

非合作目标视觉位姿测量与地面验证方法

针对航天器在轨服务与空间垃圾清理中非合作目标的精准定位与定姿问题,提出了基于显著特征的空间非合作目标双目视觉位姿测量方法.通过地面气浮实验平台实现目标在类太空失重环境下的运动状态,对具有显著特征的航天器局部区域进行位姿测量与地面验证试验.文章具体开展太阳能帆板三角架的视觉显著性特征描述,通过计算机图像学处理手段提取显著特征内外边界信息,并将拟合的直线特征交点重建以获取其三维世界坐标;以双目视觉下显著特征点的空间共线性误差平方和作为误差函数,采用正交迭代方法解算目标位姿;最后给出位姿解算方法与传统三点解算的结果对比分析.该研究重点实现了非合作目标位姿测量与地面验证试验,对空间在轨操控技术具有重要指导意义.     

非合作目标视觉位姿测量与地面验证方法

针对航天器在轨服务与空间垃圾清理中非合作目标的精准定位与定姿问题,提出了基于显著特征的空间非合作目标双目视觉位姿测量方法.通过地面气浮实验平台实现目标在类太空失重环境下的运动状态,对具有显著特征的航天器局部区域进行位姿测量与地面验证试验.文章具体开展太阳能帆板三角架的视觉显著性特征描述,通过计算机图像学处理手段提取显著特征内外边界信息,并将拟合的直线特征交点重建以获取其三维世界坐标;以双目视觉下显著特征点的空间共线性误差平方和作为误差函数,采用正交迭代方法解算目标位姿;最后给出位姿解算方法与传统三点解算的结果对比分析.该研究重点实现了非合作目标位姿测量与地面验证试验,对空间在轨操控技术具有重要指导意义.     

基于路面指纹的高精度车辆定位

车辆定位广泛使用基于视觉的定位方法,针对前视图像或侧视图像易受到周围环境的影响且定位过程中需要遍历匹配地图图像导致耗时较长的问题,本文提出一种基于俯视路面图像的表征模型--路面指纹.路面指纹包含GPS(Global Positioning System),路面特征和图像特征点.该模型通过卷积神经网络(Convolutional Neural Network, CNN)结合连通区域识别待定位图像的路面特征信息,利用路面特征信息对GPS初定位筛选的地图节点进一步筛选从而提高定位效率.分别在路面特征信息密集和稀疏的路段下进行实验,实验结果表明,通过引入路面指纹使定位耗时减少20.3%,平均定位误差为47.4 mm.该方法能提高定位效率并实现高精度车辆定位.     

Simultaneous localization and mapping of autonomous underwater vehicle using looking forward sonar

A method of underwater simultaneous localization and mapping (SLAM) based on on-board looking forward sonar is proposed. The real-time data flow is obtained to form the underwater acoustic images and these images are pre-processed and positions of objects are extracted for SLAM. Extended Kalman filter (EKF) is selected as the kernel approach to enable the underwater vehicle to construct a feature map, and the EKF can locate the underwater vehicle through the map. In order to improve the association efficiency, a novel association method based on ant colony algorithm is introduced. Results obtained on simulation data and real acoustic vision data in tank are displayed and discussed. The proposed method maintains better association efficiency and reduces navigation error, and is effective and feasible.     

基于点特征和边缘特征的无人机影像配准方法

为解决变形较大的无人机影像配准问题,提出了点特征和边缘特征相结合的配准方法.用尺度不变特征变换(SIFT)算法提取点特征,完成影像的初步配准,并通过多项式函数对影像进行粗校正.在此基础上提取影像的边缘特征信息,根据距离相似性对边缘特征信息进行配准;依据色彩能量差筛选点特征信息配准结果和边缘特征信息配准结果,采用小面元微分校正的方法对变形影像进行校正.实验结果表明:提出的配准方法能够弥补点特征配准方法和边缘特征配准方法的不足,其配准的鲁棒性提高10%左右,可以较好地完成变形较大的无人机影像配准.      

基于金字塔特征融合的二阶段三维点云车辆检测

针对三维点云鸟瞰图特征提取不充分导致车辆目标检测性能欠佳问题,本文提出一种基于金字塔特征融合的二阶段三维点云车辆目标检测算法。首先通过降维处理并利用体素占用编码原始三维点云,得到二维特征图输入;然后,利用上采样网络传递高层语义特征,下采样网络传递低层位置特征,构建一阶段金字塔网络结构提取车辆目标特征;最后,通过候选区域提取层得 到不同尺度的候选区域,利用兴趣区域池化层对齐各候选区域尺度,并采用全连接层融合多尺度特征,提取不同感受野下车辆目标特征;此外,在损失函数方面,补充正余弦角度损失并加权到总损失函数中,优化车辆目标航向角预测。基于KITTI公开数据集的实验分析表明,本文算法相较基准网络能够有效补充三维点云鸟瞰图特征提取,在不同难度的检测任务中平均检测精度提高 了5.07%~8.59%。     

具有亚像素精度的冗余特征机器人视觉伺服控制

为克服机器人视觉伺服系统对位姿估算及标定精度的依赖性,结合前期特征识别和后期视觉伺服控制,提出基于冗余特征的机器人视觉伺服控制方法.首先,针对图像处理计算密集的问题,从加快特征提取运算速度考虑,研究了矢量数据的递归贪婪压缩算法;其次,从提高图像空间测量精度考虑,研究了基于向量正交性的亚像素特征提取方法,并结合合作目标形状,给出基于多边形形状拟合的目标识别实验性准则;最后,基于图像视觉伺服理论和任务函数方法,直接以具有亚像素级的冗余图像特征作为反馈信息,建立了机器人视觉伺服控制模型,并进行了视觉伺服验证试验.理论分析和实验结果表明,本文提出的视觉伺服控制方法能够在复杂的环境下快速稳定地提取伺服特征,并对标定误差和深度估计误差具有一定的鲁棒性.      

Research on visual autonomous navigation indoor for unmanned aerial vehicle

The aim of this paper is to study visual autonomous navigation of unmanned aerial vehicle (UAV) in indoor global positioning system (GPS) denied environment. The UAV platform of the autonomous navigation flight control system is designed and built. The principle of visual localization and mapping algorithm is studied. According to the characteristics of UAV platform, the visual localization is designed and improved. Experimental results demonstrate that the UAV platform can realize the tasks of autonomous localization, navigation and mapping based on visual in unknown environments.     

Constrained submap algorithm for simultaneous localization and mapping

When solving the problem of simultaneous localization and mapping (SLAM), a standard extended Kalman filter (EKF) is subject to linearization errors and causes optimistic estimation. This paper proposes a submap algorithm, which builds a weighted least squares (WLS) constraint between two adjacent submaps according to the different estimations of the common features and the relationship between the vehicle poses in the corresponding submaps. By establishing the constraint equation after loop closing, re-linearization is implemented and each submap’s reference frame tends to its equilibrium position quickly. Experimental results demonstrate that the algorithm could get a globally consistent map and linearization errors are limited in local regions.