基于激光与视觉融合的车辆自主定位与建图算法

定位与建图是车辆未知环境自主驾驶的基础,激光雷达依赖于场景几何特征而视觉图像 易受光线干扰,依靠单一激光点云或视觉图像的定位与建图算法存在一定局限性。本文提出一 种激光与视觉融合SLAM(Simultaneous Localization And Mapping)的车辆自主定位算法,通过融 合互补的激光与视觉各自优势提升定位算法的整体性能。为发挥多源融合优势,本文在算法前 端利用激光点云获取视觉特征的深度信息,将激光-视觉特征以松耦合的方式输入位姿估计模块 提升算法的鲁棒性。针对算法后端位姿和特征点大范围优化过程中计算量过大的问题,提出基 于关键帧和滑动窗口的平衡选取策略,以及基于特征点和位姿的分类优化策略减少计算量。实 验结果表明：本文算法的平均定位相对误差为 0.11 m 和 0.002 rad,平均资源占用率为 22.18% (CPU)和 21.50%(内存),与经典的 A-LOAM(Advanced implementation of LOAM)和 ORB-SLAM2 (Oriented FAST and Rotated BRIEF SLAM2)算法相比在精确性和鲁棒性上均有良好表现。     

基于双路神经网络融合模型的高速公路雾天检测

高速公路天气状况实时监察对于高速行车安全具备重要意义,然而气象检测只能对大范围区域的气象情况进行预报,不能满足高速行车各个路段气象情况实时检测的需求. 为此,提出一种基于双路神经网络融合模型的高速公路雾天检测算法. 该算法基于双路深度神经网络融合模型,提取雾天图像的可视深度图以及暗通道图像两种视觉特征,并利用深度神经网络进行建模,获得初步分类结果;然后,再利用均值融合层进行分数融合. 为了全面评测该算法的性能,构建了一个覆盖多个省份高速公路的视频监控雾天数据集（express way fog detection dataset,EWFD）,该数据集能够全面涵盖国内高速公路的天气情况,并在该数据集上做了全面的分析对比实验. 实验结果显示,本文所提出的双路神经网络融合模型的雾天监测算法取得了93.7%的准确率,与国际前沿的检测分类算法101层残差网络（ResNet-101）相比,本文提出的算法准确率提高了10%以上.      

一种基于地图辅助的自动驾驶视-惯融合定位方法

视觉同步定位与建图(Simultaneous Localization and Mapping, SLAM)方法广泛应用于自动驾驶领域。传统的方法利用车载摄像头表征车辆周围环境，同时估计自身位置，当车辆运动过快时，定位精度和鲁棒性会下降。针对此问题，本文提出一种地图辅助的视-惯融合定位方法。该方法在ORB-SLAM2(Oriented FAST and Rotated BRIEF SLAM2)的基础上拓展地图保存功能，将建图和定位拆分为两个独立模块，车辆首先以较慢的速度构建并保存具有视觉特征的地图，然后，在第2次运行时车载计算机调用预先保存的地图实现精确且稳定的定位性能。由于构建地图阶段采用了图优化算法融合惯性测量单元(Inertial Measurement Unit, IMU)的信息，地图误差得到有效校正。在KITTI数据集场景和实际场景中验证了所提方法的良好性能。实验结果表明，所提方法在4, 8, 16 m·s-1 驾驶速度下的定位精度分别为2.59，2.61，2.73 m，图像失帧率和路径丢失率分别为3.76%和1.38%，3.89%和1.69%，4.27%和1.84%。相比原始的ORB-SLAM2方法，系统定位精度和鲁棒性均得到了提高。     

基于深度图像的机场道面裂缝自动检测算法

为了实现强噪声、弱光照、低对比度条件下的机场道面细小裂缝检测, 设计了基于深度图像的机场道面裂缝检测算法; 将采集到的深度图像划分成多个网格, 并对每个网格进行扩充, 获得了局部道面区域; 针对每个网格区域, 基于随机抽样一致算法进行局部三次曲面构建和优化估计; 在此基础上, 在全局尺度下融合全部网格区域的曲面模型, 生成整个图像采集区域道面的全局曲面模型; 利用全局曲面模型与原始深度图像之间的差值图像, 采用自适应阈值方法分割出候选裂缝像素, 并利用裂缝的像素总数、长度以及长宽比等多种形态学约束筛选候选裂缝像素, 去除错误的候选裂缝像素, 从而获得了最终的裂缝检测结果; 在机场道面深度图像数据集上进行了试验, 以人工标注结果作为真实值, 以准确率、召回率以及F值作为量化评估指标, 将提出的算法分别与4种有代表性的传统算法进行了对比。试验结果表明: 传统算法能够取得的最高准确率、召回率以及F值分别为77.05%、41.02%和50.02%, 提出的算法在准确率、召回率和F值3个指标上均有明显优势, 其均值分别为91.20%、97.99%和94.12%;提出的算法能够在分辨率为1 984像素×2 000像素的深度图像上检测出最小宽度为3 mm、最小长度为10 cm的裂缝, 实现了在复杂机场道面场景中识别细小裂缝的目标。      

基于时序融合的自动驾驶多任务感知算法

采用连续图像帧作为输入,挖掘连续图像帧之间的时序关联信息,构建一种融合时序信息的多任务联合驾驶环境视觉感知算法,通过多任务监督联合优化,实现交通参与目标的快速检测,同时获取可通行区域信息;采用ResNet50作为骨干网络,在骨干网络中构建级联特征融合模块,捕捉不同图像帧之间的非局部远程依赖关系,将高分辨率图像通过卷积下采样处理,加速不同图像帧的特征提取过程,平衡算法的精度和速度;在不同的图像帧中,为了消除由于物体运动产生的空间位移对特征融合的影响,且考虑不同图像帧的非局部关联信息,构建时序特征融合模块分别对不同图像帧对应的特征图进行时序对齐与匹配,形成融合全局特征;基于共享参数的骨干网络,利用生成关键点热图的方法对道路中的行人、车辆和交通信号灯的位置进行检测,并利用语义分割子网络为自动驾驶汽车提供道路可行驶区域信息。研究结果表明:提出的感知算法以多帧图像代替单一帧图像作为输入,利用了多帧图像的序列特性,级联特征融合模块通过下采样使得计算复杂度降低为原来的1/16,与CornerNet、ICNet等其他主流模型相比,算法检测精确率平均提升了6%,分割性能平均提升了5%,并保持了每秒12帧图像的处理速度,在检测与分割速度和精度上具有明显优势。      

基于几何约束的倾斜影像特征匹配方法

针对倾斜影像视角变换较大、重复纹理导致匹配数量少、匹配精度不高的问题,提出一种适用于倾斜影像的特征点、线分级匹配方法.首先,用直线提取（检测）算法（LSD）获取影像直线特征,并将直线特征以一定约束进行直线组对,构建直线对区域与改进的SIFT (scale-invariant feature transform)特征描述符进行匹配,使用RANSAC算法剔除误匹配,获得初始匹配结果后再进行核线约束;然后,利用已获得直线对区域进行影像局部纠正,在纠正后的局部影像上采用SIFT匹配并反算回原始影像,利用得到的同名点全局纠正倾斜影像,并进行特征点匹配与采用基于方格的运动统计算法（GMS）剔除误匹配,仍将匹配结果反算回原始影像上;最后,将仿射尺度不变特征变化结果与点拓展匹配结果进行合并,得到最终匹配结果.试验结果表明：本文方法匹配正确率与经典的仿射不变匹算法（ASIFT）的正确率相差不大,但匹配数量却是ASIFT算法的1倍～3倍.     

顾及小目标特征的视频人流量智能统计方法

人流量统计对智能安防等领域具有重要研究价值. 针对视频监控系统中人流量统计准确率较低的问题,提出一种顾及小目标特征的视频人流量智能统计方法,重点研究用于小目标检测的Faster R-CNN （Faster region-convolutional neural network）改进算法、运动目标关联匹配以及双向人流量智能统计等关键技术,根据人头目标的小尺度特点对Faster R-CNN网络结构进行适应性改进,利用图像浅层特征提高网络对于小目标的特征提取能力,通过基于轨迹预测的跟踪算法实现运动目标的实时追踪,同时设计双向人流量智能统计算法,以实现人流量高准确率统计;为证明方法的有效性,在密集程度不同的场景中进行了测试. 测试结果表明:改进的目标检测算法相较于原始算法,在Brainwash测试集和Pets2009基准数据集上的平均准确率分别提高了7.31%、10.71%,视频人流量智能统计方法在多种场景下的综合评价指标F值均能达到90.00%以上,相较于SSD-Sort算法和Yolov3-DeepSort算法,其F值提高了1.14% ~ 3.04%.      

基于GPS与图像融合的智能车辆高精度定位算法

车辆自定位是实现智能车辆环境感知的核心问题之一.全球定位系统(Global Positioning System,GPS)定位误差通常在10 m左右,不能满足智能车辆的定位需求;惯性导航系统成本较高,不适于智能车辆的推广.本文在视觉地图基础上,提出一种基于GPS与图像融合的智能车辆定位算法.该算法以计算当前位置距离视觉地图中最近一个数据采集点的位姿为目标,首先运用GPS信息进行初定位,在视觉地图中选取若干采集点作为初步候选,其次运用Oriented FAST and Rotated BRIEF(ORB)全局特征进行特征匹配,得到一个候选定位结果,最后通过待检测图像中的局部特征点与候选定位结果中的三维局部特征点建立透视n点模型(Perspective-n-Point,Pn P),得到车辆当前的位姿,并以此对候选定位结果进行修正,得到最终定位结果.实验在长为5 km的路段中进行,并在不同天气及不同智能车辆平台测试.经验证,平均定位精度为11.6 cm,最大定位误差为37 cm,同时对不同天气具有较强鲁棒性.该算法满足了智能车定位需求,且大幅降低了高精度定位成本.     

基于混沌变异粒子群优化算法的图像稀疏分解

提出了基于改进的粒子群优化（PSO）算法的匹配追踪算法,用于快速图像稀疏分解．改进的PSO算法利用尺度收缩混沌变异的精细局部搜索性能,使稀疏分解的匹配追踪算法具有良好的全局寻优能力,提高了稀疏分解在冗余字典中原子匹配的速度和准确度．用二维墨西哥草帽函数作为冗余字典的生成函数,以增强对图像边缘和轮廓的表达能力．仿真结果表明,用提出的算法实现图像稀疏分解比用遗传算法和PSO更快更有效,重建图像的视觉效果好．     

低可见度环境下基于同步定位与构图的无人驾驶汽车定位算法

为在大范围低可见度环境下实现无人驾驶汽车的高精度定位，基于VINS-Mono算法的系统框架，在系统的前端与后端分别增添了RFAST弱光图像增强模块与VG融合定位模块，提出了一种融合定位算法LVG_SLAM; RFAST弱光图像增强模块采用小波变换将原始输入图像的细节信息与亮度信息分离，对于包含原始图像噪声的细节信息通过统一阈值和均值滤波2种方式实现噪声抑制，并利用双边纹理滤波算法进行细节增强，在此基础上，根据多尺度Retinex算法增强图像的对比度，提高低可见度环境下角点提取的成功率，从而保证图像跟踪的稳定性，改善定位算法的鲁棒性; 基于无迹卡尔曼滤波算法，VG融合定位模块将GNSS定位信息与惯性导航测量信息进行松耦合，融合定位结果作为约束引入VI-SLAM后端，通过联合非线性优化的方式减少累积误差对算法定位精度的影响。计算结果表明:相较于VINS-Mono算法，改进的LVG_SLAM融合定位算法在EuRoC与Kitti公开数据集上表现更加出色，均方根误差分别降低了38.76%与58.39%，运动轨迹更贴近真实轨迹; 在实际夜晚道路场景下，LVG_SLAM算法将定位误差控制在一定范围内，顺利检测到闭环使得定位表现得到大幅改善，均方根误差、平均误差、最大误差、中位数误差分别降低了79.61%、82.50%、71.31%、83.77%，与VINS-Mono算法相比，在定位精度与鲁棒性方面具有明显的优势。      

Mobile Robot Hierarchical Simultaneous Localization and Mapping Using Monocular Vision

A hierarchical mobile robot simultaneous localization and mapping (SLAM) method that allows us to obtain accurate maps was presented. The local map level is composed of a set of local metric feature maps that are guaranteed to be statistically independent. The global level is a topological graph whose arcs are labeled with the relative location between local maps. An estimation of these relative locations is maintained with local map alignment algorithm, and more accurate estimation is calculated through a global minimization procedure using the loop closure constraint. The local map is built with Rao-Blackwellised particle filter (RBPF), where the particle filter is used to extending the path posterior by sampling new poses. The landmark position estimation and update is implemented through extended Kalman filter (EKF). Monocular vision mounted on the robot tracks the 3D natural point landmarks, which are structured with matching scale invariant feature transform (SIFT) feature pairs. The matching for multi-dimension SIFT features is implemented with a KD-tree in the time cost of O(lbN). Experiment results on Pioneer mobile robot in a real indoor environment show the superior performance of our proposed method.     

卷积神经网络及其在智能交通系统中的应用综述

从特征传输方式、空间维度、特征维度3个角度,论述了近年来卷积神经网络结构的改进方向,介绍了卷积层、池化层、激活函数、优化算法的工作原理,从基于值、等级、概率和转换域四大类总结了近年来池化方法的发展,给出了部分具有代表性的激活函数对比、梯度下降算法及其改进型和自适应优化算法的工作原理和特点;梳理了卷积神经网络在车牌识别、车型识别、交通标志识别、短时交通流预测等智能交通领域中的应用和国内外研究现状,并将卷积神经网络算法与支持向量机、差分整合移动平均回归模型、卡尔曼滤波、误差反向传播神经网络、长短时记忆网络算法从优势、劣势和在智能交通领域的主要应用场景三方面进行了对比;分析了卷积神经网络在智能交通领域面临的鲁棒性不佳和实时性较差等问题,并从算法优化、并行计算层面和有监督学习到无监督学习方向研判了卷积神经网络的发展趋势。研究结果表明:卷积神经网络在视觉领域具有较强优势,在智能交通系统中主要应用于交通标志、车牌、车型识别、交通事件检测、交通状态预测;相比其他算法,卷积神经网络所提取的特征更加全面,有效地提高了识别准确度与速度,具有较大的应用价值;卷积神经网络未来将通过网络结构的优化、算法的改进、算力的提升以及基准数据集的增强,为智能交通带来新的突破。      

Exploiting Local and Global Characteristics for Contrast Based Visual Saliency Detection

Visual saliency is an important cue in human visual system to identify salient region in the image;it can be useful in many applications including image retrieval,object recognition,image segmentation,etc.Image contrast has been used as an effective feature to detect visual salient region.However,the conventional contrast measures either in spectral domain or in spatial domain fail to give sufficient consideration towards the local and global characteristics of the image.This paper presents a visual saliency detection algorithm based on a novel contrast measurement.This measurement extracts the spectral information of image block using the 2D discrete Fourier transform(DFT),and combines with the total variation(TV)of image block in spatial domain.The proposed algorithm is used to perform salient region detection in the image,and compared with state-of-the-art algorithms.The experimental results from the MSRA dataset validate the effectiveness of the proposed algorithm.     

人物交互检测研究进展综述

作为目标检测、行为识别、视觉关系检测的交叉学科，人物交互（human-object?interaction，HOI）检测旨在识别特定应用场景下人与物体的相互关系. 本文对基于图像的人物交互检测研究成果进行了系统总结及论述. 首先，从交互关系建模的原理出发，把人物交互检测方法分为基于全局实例和基于局部实例两类，并对代表性方法进行了详细阐述和分析；进而，根据所采用视觉特征的差异将基于全局实例的方法进行细分，包括融合空间位置信息、融合外观信息与融合人体姿态信息；然后，讨论了零样本学习、弱监督学习以及Transformer模型在人物交互检测中的应用；最后，从交互类别、视觉干扰以及运动视角三方面出发，总结了人物交互检测面临的挑战，并指出领域泛化、实时检测和端到端网络是未来发展的趋势.      

Simultaneous localization and mapping of autonomous underwater vehicle using looking forward sonar

A method of underwater simultaneous localization and mapping (SLAM) based on on-board looking forward sonar is proposed. The real-time data flow is obtained to form the underwater acoustic images and these images are pre-processed and positions of objects are extracted for SLAM. Extended Kalman filter (EKF) is selected as the kernel approach to enable the underwater vehicle to construct a feature map, and the EKF can locate the underwater vehicle through the map. In order to improve the association efficiency, a novel association method based on ant colony algorithm is introduced. Results obtained on simulation data and real acoustic vision data in tank are displayed and discussed. The proposed method maintains better association efficiency and reduces navigation error, and is effective and feasible.     

应急车辆动态路径选择的两阶段优化模型

为研究突发事件情境下交通路网动态变化时的应急车辆路径选择问题，提出应急车辆动态路径选择的两阶段调度优化模型。通过结合路网动态状况和应急救援特征，建立基于最大路径可靠度和最短行程时间的两阶段优化模型；通过混沌搜索改进布谷鸟算法初始种群，并加入蛙跳算法改进局部搜索操作，设计混合布谷鸟算法，改善全局寻优能力；以某市某区部分区域路网为例，将该区域路网实时交通数据应用于模型和求解算法中。实验表明，利用两阶段优化模型和算法编码方案能成功获得出发点到救援点的动态可靠路径，相同行驶路径情况下模型与算法求解的最短行程时间与实地驾车获得的最短行程时间最大误差不超过8%，说明优化模型可行。3 种不同算法求解K最短路径的结果发现，混合布谷鸟算法得到的最短行程时间比粒子群算法和 经典布谷鸟算法得到的结果都要小，且计算时间最短，表明混合布谷鸟算法求解的结果最优，性能最好。