动态场景下基于语义分割与运动一致性约束的车辆视觉SLAM

传统的车辆同时定位与建图方法多依赖于静态环境假设,在动态场景下易引起位姿估计精度下降甚至前端视觉里程计跟踪失败。本文结合Fast-SCNN实时语义分割网络与运动一致性约束,提出一种动态场景视觉SLAM方法。首先利用Fast-SCNN获取潜在动态目标的分割掩码并进行特征点去除,以获取相机位姿的初步估计;随后基于运动约束与卡方检验完成潜在动态目标中静态点的重添加,以进一步优化相机位姿。验证集测试表明,所训练的语义分割网络平均像素精度和交并比超过90%,单帧图片处理耗时约14.5 ms,满足SLAM系统的分割精度与实时性要求。慕尼黑大学公开数据集和实车数据集测试表明,融合本文算法的ORB-SLAM3部分指标平均提升率超过80%,显著提升了动态场景下的SLAM运行精度与鲁棒性,有助于保障智能车辆的安全性。     

混合交通中的车辆与行人检测

混合交通中车辆和行人的检测识别是研究如何让计算机以人的思维方式从视频或图像中将车辆和行人从背景中区分出来。车辆检测与行人检测作为智能交通系统的核心组成部分,具有重大的研究价值与现实意义。本文基于候选区域和深度网络的深度特征提取方法,通过获取场景中的大量实时图像数据进行多任务深度模型训练,实现复杂交通场景中的车辆检测和行人检测的任务。相比于传统的车辆检测算法和行人检测算法,基于候选区域和深度网络的深度特征提取方法具有独特的优势:检测的准确性、鲁棒性、实时性可以在一定的条件下达到比较满意的程度。而传统车辆与行人的检测算法,并不能同时在3项指标上达到较好的状态。此外,候选区域的确定避免了穷举式搜索目标,从而节省了大量时间开销。     

基于深度学习的土木基础设施裂缝检测综述

基于深度学习的裂缝检测对于降低基础设施运营风险、节约运维成本并推进中国土木工程行业智能化转型具有重要意义。算法、数据集和评价指标是构建深度学习裂缝检测模型的关键要素；裂缝检测模型集成于机器人平台，从而实现对土木基础设施的全自动裂缝检测。为此，从以上4个方面对当前研究进行了系统梳理。首先，回顾了深度学习的发展历程，重点介绍了深度卷积神经网络在计算机视觉领域的应用及其在图像处理方面较传统算法所具有的显著优势。接着，详细介绍了3类基于深度学习的裂缝检测主流算法，包括分类算法、目标检测算法和语义分割算法。然后，对现有裂缝图像数据集以及模型性能评价指标进行了归纳。最后，总结了土木基础设施的各类裂缝检测机器人平台。综合分析表明：基于卷积神经网络主干结构的深度学习算法已被广泛用于土木基础设施表面裂缝的精准定位与分类，而裂缝的尺寸信息仍需依靠传统图像处理技术进行提取；由于像素级标注的成本和专业性高，大型的裂缝语义分割数据集相对缺乏，致使当前基于语义分割算法的裂缝检测模型鲁棒性较差；目前多数研究人员采用个人建立的裂缝数据集进行模型训练且采用不同的指标进行模型性能评价，缺乏统一的基准测试数据集和评价指标体系，无法对不同模型的性能进行平行比较；目前针对不同基础设施已相应开发了一些裂缝检测机器人，提高裂缝检测机器人的多场景适应性，并降低其应用成本是未来的发展方向。     

特征稀疏场景下基于标签的车辆视觉SLAM

在智能车辆的同时定位与建图中，视觉特征点法通过对特征点的提取和匹配进行车辆位姿估计，但当环境缺少纹理或动态变化时，场景的特征稀疏、稳定性差，基于自然特征定位易导致精度下降甚至定位失败。在环境中加入视觉标签可有效解决特征稀疏问题，但基于视觉标签的定位方法高度依赖人工标定，且常因视角变化出现位姿抖动，影响定位的精度。为此，本文提出了一种基于标签的车辆视觉SLAM方法，充分利用标签信息，引入内外角点约束降低标签位姿抖动，同时借助视觉里程计建立低漂移、全局一致的地图；在定位时基于标签估计车辆位姿，并联合优化标签地图与车辆位姿，从而构建低成本、高鲁棒的视觉SLAM系统。试验结果表明，本文方法使用内外角点约束有效降低了标签的位姿抖动，使标签建图精度的提升率超过60%，定位精度的平均提升率超过30%，显著地提高了基于标签定位的精度与鲁棒性，有利于智能车辆的安全运行。     

面向自动驾驶汽车测试的交通车辆交互过程建模

为满足自动驾驶汽车测试对场景真实度的要求,提出一种针对交通车辆交互关系的耦合特征建模方法。结合基于机理模型构建的虚拟数据和采集的真实场景数据建立交通车辆行为数据集;采用深度学习建立局部信息响应的交通车辆行为决策模型、跟驰模型和换道模型,结构相对简单的单体模型能提升场景模拟的可扩展性;针对自动驾驶汽车测试对模型鲁棒性要求高的问题,建立分布执行-集中对抗训练的架构进行交通车辆模型优化,提高模型对输入扰动的鲁棒性。构建交通车辆交互仿真环境对模型进行仿真,通过仿真数据与真实数据分布之间的对比和量化评价指标验证模型的有效性。     

基于深度学习的车辆检测及车型识别研究

正当前,在新一代信息技术引领下,数据快速积累、运算能力持续提升、算法模型不断优化、多场景应用快速兴起,人工智能发展环境发生了深刻变化。车辆检测及车型识别作为深度学习目标检测领域在智能交通的重要应用,也是近年来国内外学者的研究热点。本文针对已有的车辆检测方法缺乏车型识别问题,利用深度学习图像识别技术,提出了基于Faster R-CNN的车辆检测及车型识别方法。通过将Faster R-CNN深度学习模型应用     

基于双里程计传感器融合的SLAM建图研究

在自动驾驶车辆研究领域中，SLAM车辆感知是热点研究领域之一，SLAM根据里程计类型可分为以视觉为主和以激光为主。两者本质上都以实现位姿估计和地图构建为目的，激光里程计主要是构建点云地图比较直观，视觉里程计构建的是稀疏视觉特征的地图。本文提出紧耦合双里程计传感器融合的SLAM框架，以完成实时状态估计和地图构建，并且具有高精度和鲁棒性。该方法可以有效地解决传统基于视觉或激光算法或者视觉和激光单一松耦合中累积误差的问题，框架融合了视觉与激光惯性的各自优点而形成两个子系统，这两个子系统采用紧密耦合方式进行设计，构成一个完整的系统。实验通过Ouster数据集评估绝对轨迹整体误差，并且该方法在自动驾驶接驳车中的应用表现出较高的精度。     

基于机器视觉的车辆检测与参数识别研究进展

近年来公路交通运输快速增长,交通车辆的快速准确检测与识别对智能交通系统和交通基础设施运维具有重要意义.随着机器视觉和深度学习技术的迅速发展及其在目标检测领域的广泛应用,车辆目标检测和参数识别也取得新的突破.该文从车辆参数的识别方法和应用研究两方面梳理了机器视觉和深度学习在车辆检测与参数识别领域的研究现状、最新研究成果和...     

基于近邻目标区域表征与CVAE的智能汽车测试场景生成方法

基于场景的虚拟测试是研发高安全、高可靠智能汽车的必要手段,场景自动生成技术对于智能汽车测试场景库的构建具有重要意义。为此,针对多车动态测试场景,提出一种基于近邻目标区域表征(NORR)和条件变分自编码器(CVAE)的场景生成方法,实现复杂测试场景的快速生成以及对生成场景类型的控制。首先,针对高速公路场景特征,提出应用NORR方法对场景情境进行描述,将测试场景中关键车辆目标信息转化为尺度统一的灰度图像。接着,利用HighD自然车辆轨迹数据集提取大量场景片段,经过数据规范化处理后构建出真实场景库。在此基础上,以场景中车辆目标数量为条件参数,训练基于条件变分自编码器的生成模型,能够生成包含8条车辆轨迹的动态测试场景。通过计算生成样本集的匹配误差、覆盖度和不合理性3个指标,检验生成模型在样本真实性、多样性和合理性方面的表现。验证结果显示：(1)相比随机轨迹采样方法和基于GAN的生成模型,VAE模型生成的样本质量最好,其生成样本集的平均匹配误差小于5.22,覆盖度能达到57.2%,不合理样本比例仅为1.7%;(2)所提出的NORR方法有助于提高生成模型的场景生成效果;(3)CVAE模型能够在条件...     

基于改进深度卷积神经网络的车辆检测方法研究

基于视觉的车辆检测作为辅助驾驶系统的输入,对智能车辆预警和决策起着重要的作用。针对目前传统深度卷积神经网络在基础网络设计和物体检测网络构建的不足,提出一种对经典的深度残差网络进行改进方法,提出带局部连接的残差单元,并以此构建带局部连接的残差网络;同时,提出基于共享参数的多分支网络和双金字塔语义传递网络形式,提升不同语义级别特征融合前的语义级别,以及实现深度融合不同分辨率特征图的语义。经过测试,车辆的检测准确率最高达到95.3%,且具备较高的实时性和环境适应性。     

基于强化学习DDPG的智能车辆轨迹跟踪控制

针对智能车辆在轨迹跟踪过程中的横向控制问题，提出一种基于强化学习中深度确定性策略梯度算法（Deep Deterministic Policy Gradient，DDPG）的智能车辆轨迹跟踪控制方法。首先，将智能车辆的跟踪控制描述为一个基于马尔可夫决策过程（MDP）的强化学习过程，强化学习的主体是由Actor神经网络和Critic神经网络构成的Actor-Critic框架；强化学习的环境包括车辆模型、跟踪模型、道路模型和回报函数。其次，所提出方法的学习主体以DDPG方法更新，其中采用回忆缓冲区解决样本相关性的问题，复制结构相同的神经网络解决更新发散问题。最后，将所提出的方法在不同场景中进行训练验证，并与深度Q学习方法（Deep Q-Learning，DQN）和模型预测控制（Model Predictive Control，MPC）方法进行比较。研究结果表明：基于DDPG的强化学习方法所用学习时间短，轨迹跟踪控制过程中横向偏差和角偏差小，且能满足不同车速下的跟踪要求；采用DDPG和DQN强化学习方法在不同场景下均能达到训练片段的最大累计回报；在2种仿真场景中，基于DDPG的学习总时长分别为DQN的9.53%和44.19%，单个片段的学习时长仅为DQN的20.28%和22.09%；以DDPG、DQN和MPC控制方法进行控制时，在场景1中，基于DDPG方法的最大横向偏差分别为DQN和MPC的87.5%和50%，仿真时间分别为DQN和MPC的12.88%和53.45%；在场景2中，基于DDPG方法的最大横向偏差分别为DQN和MPC的75%和21.34%，仿真时间分别为DQN和MPC的20.64%和58.60%。     

基于竞争循环双Q网络的自适应交通信号控制

为了更加有效且可靠地自适应协调交通流量,以减少车辆的停车等待时间为目标,提出了3DRQN(Dueling Double Deep Recurrent Q Network)算法对交通信号进行控制。算法基于深度Q网络,利用竞争架构、双Q网络和目标网络提高算法的学习性能;引入了LSTM网络编码历史状态信息,减少算法对当前时刻状态信息的依赖,使算法具有更强的鲁棒性。同时,针对实际应用中定位精度不高、车辆等待时间难以获取等问题,设计了低分辨率的状态空间和基于车流压力的奖励函数。基于SUMO建立交叉口的交通流模型,使用湖北省赤壁市交叉口收集的车流数据进行测试,并与韦伯斯特固定配时的策略、全感应式的信号控制策略和基于3DQN(Dueling Double Deep Q Network)的自适应控制策略进行比较。结果表明:所提出的3DRQN算法相较上述3种方法的车辆平均等待时间减少了25%以上。同时,在不同车流量及左转比例的场景中,随着左转比例和车流量的增大,3DRQN算法的车辆平均等待时间会有明显上升,但仍能保持较好效果,在车流量为1 800 pcu·h^-1、左转比例为50%的场景下,3DRQN算法的车辆平均等待时间相比3DQN算法减少约15%,相比感应式方法减少约24%,相比固定时长的方法减少约33%。在车流激增、道路通行受限、传感器失效等特殊场景下,该算法具有良好的适应性,即使在传感器50%失效的极端场景下,也优于固定时长的策略10%以上。表明3DRQN算法具有良好的控制效果,能有效减少车辆的停车等待时间,且具有较好的鲁棒性。     

基于深度学习的混合动力汽车预测能量管理

为了优化混合动力汽车的能量动态分配过程,提升混合动力汽车的燃油经济性和动力电池荷电状态（SOC）平衡性,提高混合动力汽车能量管理策略的鲁棒性,以等效燃油消耗最小化策略为基础,结合对车辆未来行驶工况的预测研究,分析车辆未来行驶需求能量的变化,制定相应的动态调整策略。基于车联网通信技术,实时采集车辆的运行状态信息和交通信息,作为车辆未来工况预测模型的输入变量。以数据驱动为特征,基于混合深度学习建立工况预测模型。利用STL分解算法对各输入变量进行周期性、趋势性等特征分解,并对各输入变量的特征分量,使用混合深度学习网络从数据局部特征及时间维度依赖特征来深度挖掘目标车辆车速与外部信息及历史数据的关系,进而对车辆未来的行驶工况进行预测。利用预测的工况信息,分析车辆未来行驶需求能量的变化,应用于自适应等效消耗最小化策略等效因子的实时动态调整,从而实现对车辆的优化控制,并通过与传统自适应等效消耗最小化策略进行对比,验证该方法的有效性。研究结果表明：基于混合深度学习的工况预测模型预测精度比BP网络预测模型高44.72%;利用精确的预测工况信息预测能量管理,可以实时动态调整发动机和电机的功率输出,降低油耗并维持电池SOC平衡。     

基于深度学习网络模型的车辆类型识别方法研究

为了将有效地识别车辆类型用于智慧交通系统,本文在分析Inception V3模型的基础上,提出了一种基于迁移学习理论的车型分类深度学习模型。该模型首先在Inception V3模型的基础上去除最后的全连接层,并加入参数优化层,然后采用Dropout和全局平均池化层。理论分析和试验结果表明,该模型的性能优于基于VGG-16的车型分类模型、基于Xception的车型分类模型和基于Resnet50的车型分类模型,其训练精度优于96.48%、测试精度优于83.86%。     

面向智能车定位的道路环境视觉地图构建

为实现智能车视觉定位,提出了一种基于多视角、多维度道路环境表征的高精度视觉地图构建方法,该方法明确了视觉地图的表征模型,包括视觉特征、场景结构信息以及轨迹信息等。在视觉特征中,运用前视场景全局特征描述道路环境,视觉特征不局限于某一种特征描述子;在场景结构信息中,运用俯视路面的2D结构信息进行描述,该特征与前视视觉特征构成多视角;轨迹信息则通过视觉维度以及地理维度的多维度方式完成计算,在视觉维度中,通过平面单应性计算节点间的轨迹;地理维度中,通过高精度经纬度信息消除累积误差问题。试验选取武汉理工大学内长约700 m的半开放式环形路段进行试验。试验结果表明：制图的单节点平均误差为3.1 cm,标准差为2.3 cm,最大节点误差为9.3 cm,累积误差率为0.5%。运用所制地图进行定位检测,平均定位误差约为11.8 cm,因此,研究所提出的方法可应用于半开放式路段或固定场景的视觉地图构建,为实现智能车在上述场景的定位打下基础。同时,研究提出的制图方法不需使用双目摄像机,在降低数据存储量以及制图成本的前提下,实现了对道路环境的充分表征;此外,运用路面2D特征结构信息计算轨迹,解决了视觉3D重建精度不稳定的问题,为视觉地图构建提供了新的构建思路。     

智能网联汽车测试场景三维评价模型研究

测试驱动型开发是智能网联汽车技术发展的重要路径,而测试场景作为测试驱动型开发过程的核心要素,需要建立科学合理的建模和分类方法。首先,从应用层面定义了智能网联汽车测试场景的三个评价指标;其次,提出了测试场景评价的三维建模与评价方法;最后,结合具体应用案例分析了测试场景三维评价模型的应用场景。提出的测试场景三维评价模型对智能网联汽车的测试与评价具有重要指导作用。     

基于激光雷达的纵向坡路动态可行驶性预测（双语出版）

为解决智能汽车在含有纵向坡路的环境中行驶时所涉及的环境感知与路面可行驶性理解问题,提出了一种基于激光雷达的动态、不确定性路面可行驶性预测方法。首先,利用PreScan,CarSim与MATLAB软件搭建虚拟行驶环境,并建立激光雷达物理模型提高虚拟点云的保真度。其次,进行基于激光雷达的动态可行驶性研究,利用路面激光雷达点云数据基于车辆未来行驶方向建立笛卡尔坐标系下的间隔栅格地图;在间隔内进行平面拟合得到路面的法向量,利用平面法向量计算路面纵向坡角并利用车辆姿态补偿得到大地坐标系下的间隔坡角和道路轮廓信息,并探讨天气对道路轮廓估计结果的影响;基于车辆纵向动力学特性和道路参数估计结果,计算可行驶性概率并预测可行驶性。为了快速仿真验证所提出的可行驶性预测方法,搭建相应的自动测试环境并设计测试方法。首先分析并测试车辆行驶过程中容易因失效造成预测失败的临界关键工况,接着在虚拟行驶环境中建立自动化测试流程,加强对关键工况区的采样,总计通过402组测试工况验证可行驶性预测算法,预测准确率达到87.81%。最后,在实车平台和真实测试道路上对算法流程进行验证。研究结果表明：该方法能够很好地对车辆在纵向坡路上的可行驶性进行动态的、基于概率性指标的预测。     

基于卷积神经网络的道路多目标检测方法

得益于数字图像处理技术快速的发展和计算机硬件性能的提高,基于机器学习和深度学习的图像处理技术,成为智能驾驶视觉感知的重要支撑。为了在实际道路环境中持续高效的检测道路目标,文章利用了YOLO神经网络作为主要检测框架。使用卷积神经网络可以同时捕捉到目标的底层和高层特征。物体的底层特征可以符合人的视觉感知特征和主观感受,确定物体的所属种类和外观形状,将底层特征与高层语义特征结合进一步增强神经网络识别的准确度和鲁棒性。     

基于整车在环仿真的自动驾驶汽车室内快速测试平台

整车在环仿真测试方法可以安全、高效地验证复杂环境和极端工况等场景下自动驾驶汽车性能的有效性,基于此研发一种基于整车在环仿真的自动驾驶汽车室内快速测试平台,该平台由前轴可旋转式转鼓试验台、试验台测控子系统、虚拟场景自动生成子系统、虚拟传感器模拟子系统、驾驶模拟器、自动驾驶汽车和测试结果自动分析评价子系统组成。通过在试验台滚筒上独立加载转矩模拟车辆行驶阻力,可动态模拟不同的路面附着系数,同时利用坡度、侧倾和转向随动机构可模拟车辆俯仰角、侧倾角和航向角3个自由度;采用虚拟现实技术柔性集成车辆动力学模型、传感器仿真、复杂道路交通环境及测试用例仿真,模拟多种道路交通场景,并通过传感器仿真及数据融合等技术快速测试自动驾驶汽车智能感知与行为决策等性能指标。将自动驾驶汽车、虚拟仿真场景和试验台耦合构建一个闭环系统,完成了多项关键技术研发,包括：多自由度高动态试验台结构设计、虚拟测试场景自动重构方法和传感器数据模拟及注入方法,可满足在各种场景下测试自动驾驶汽车整车性能的需求。此外,为验证快速测试平台的有效性,以U-turn轨迹跟踪控制为研究实例,基于简化的车辆运动学模型和模型预测控制算法,在平台上搭建U-turn场景并对自动驾驶汽车的轨迹跟踪控制算法性能进行大量测试。结果表明：自动驾驶汽车室内快速测试平台可以真实地模拟汽车在道路上的运行工况,自动驾驶汽车在虚拟场景中的轨迹跟踪效果良好,与参考轨迹的偏差小于8%,证明了该测试平台检测方法的有效性。