基于分布式强化学习的车辆控制算法研究

端到端自动驾驶算法的开发现已成为当前自动驾驶技术研发的热点。经典的强化学习算法利用车辆状态、环境反馈等信息训练车辆行驶，通过试错学习获得最佳策略，实现了端到端的自动驾驶算法开发，但仍存在开发效率低下的问题。为解决虚拟仿真环境下训练强化学习算法的低效性和高复杂度问题，本文提出了一种异步分布式强化学习框架，并建立了进程间和进程内的多智能体并行柔性动作-评价（soft actor-critic, SAC）分布式训练框架，加速了Carla模拟器上的在线强化学习训练。同时，为进一步实现模型的快速训练和部署，本文提出了一种基于Cloud-OTA的分布式模型快速训练和部署系统架构，系统框架主要由空中下载技术（over-the-air technology, OTA）平台、云分布式训练平台和车端计算平台组成。在此基础上，本文为了提高模型的可复用性并降低迁移部署成本，搭建了基于ROS的Autoware-Carla集成验证框架。实验结果表明，本文方法与多种主流自动驾驶方法定性相比训练速度更快，能有效地应对密集交通流道路工况，提高了端到端自动驾驶策略对未知场景的适应性，减少在实际环境中进行实验所需的时间和资...     

基于融合离散动作的双延迟深度确定性策略梯度算法的自动驾驶端到端行为决策方法

针对基于强化学习的车辆驾驶行为决策方法存在的学习效率低、动作变化不平滑等问题，研究了1种融合不同动作空间网络的端到端自动驾驶决策方法，即融合离散动作的双延迟深度确定性策略梯度算法（TD3WD）。在基础双延迟深度确定性策略梯度算法（TD3）的网络模型中加入1个输出离散动作的附加Q网络辅助进行网络探索训练，将TD3网络与附加Q网络的输出动作进行加权融合，利用融合后动作与环境进行交互，对环境进行充分探索，以提高对环境的探索效率；更新Critic网络时，将附加网络输出作为噪声融合到目标动作中，鼓励智能体探索环境，使动作值预估更加准确；利用预训练的网络获取图像特征信息代替图像作为状态输入，降低训练过程中的计算成本。利用Carla仿真平台模拟自动驾驶场景对所提方法进行验证，结果表明:在训练场景中，所提方法的学习效率更高, 比TD3和深度确定性策略梯度算法（DDPG）等基础算法收敛速度提升约30%；在测试场景中，所提出的算法的收敛后性能更好，平均压线率和转向盘转角变化分别降低74.4%和56.4%。      

基于强化学习的自动驾驶决策研究综述

强化学习的发展推动了自动驾驶决策技术的进步，智能决策技术已成为自动驾驶领域高度关注的要点问题。本文以强化学习算法发展为主线，综述该算法在单车自动驾驶决策领域的深入应用。对强化学习传统算法、经典算法和前沿算法从基本原理和理论建模等方面进行归纳总结与对比分析。针对不同场景的自动驾驶决策方法分类，分析环境状态可观测性对建模的影响，重点阐述了不同层次强化学习典型算法的应用技术路线，并对自动驾驶决策方法提出研究展望，以期为自动驾驶决策方案研究提供有益参考。     

基于TD3算法的人机混驾交通环境自动驾驶汽车换道研究

提高人类驾驶人的接受度是自动驾驶汽车未来的重要方向,而深度强化学习是其发展的一项关键技术。为了解决人机混驾混合交通流下的换道决策问题,利用深度强化学习算法TD3（Twin Delayed Deep Deterministic Policy Gradient）实现自动驾驶汽车的自主换道行为。首先介绍基于马尔科夫决策过程的强化学习的理论框架,其次基于来自真实工况的NGSIM数据集中的驾驶数据,通过自动驾驶模拟器NGSIM-ENV搭建单向6车道、交通拥挤程度适中的仿真场景,非自动驾驶车辆按照数据集中驾驶人行车数据行驶。针对连续动作空间下的自动驾驶换道决策,采用改进的深度强化学习算法TD3构建换道模型控制自动驾驶汽车的换道驾驶行为。在所提出的TD3换道模型中,构建决策所需周围环境及自车信息的状态空间、包含受控汽车加速度和航向角的动作空间,同时综合考虑安全性、行车效率和舒适性等因素设计强化学习的奖励函数。最终在NGSIM-ENV仿真平台上,将基于TD3算法控制的自动驾驶汽车换道行为与人类驾驶人行车数据进行比较。研究结果表明：基于TD3算法控制的车辆其平均行驶速度比人类驾驶人的平均行车速度高4.8%,在安全性以及舒适性上也有一定的提升;试验结果验证了训练完成后TD3换道模型的有效性,其能够在复杂交通环境下自主实现安全、舒适、流畅的换道行为。     

基于双估计强化学习结合前向预测控制的自动驾驶运动控制研究

运动控制研究是实现自动驾驶目标的重要组成部分,针对传统强化学习算法在求解中因单步决策局限而导致控制序列次优的问题,提出了一种基于双估计强化学习算法及前向预测控制方法结合的运动控制框架（DEQL-FPC）。在该框架中引入双估计器以解决传统强化学习方法动作值过估计问题并提高训练优化的速度,设计前向预测多步决策方法替代传统强化学习的单步决策,以有效提高全局控制策略的性能。通过虚拟驾驶环境仿真,证明了该控制框架应用在自动驾驶汽车的路径跟踪以及安全避障的优越性,保证了运动控制中的精确性、安全性、快速性以及舒适性。     

人机混驾环境下无信号交叉口自动驾驶汽车左转运动规划研究

为了使自动驾驶汽车在人机混驾环境下能安全、高效地左转通过无信号交叉口，在借鉴人类驾驶人左转时会对周围车辆驾驶意图进行提前预判的基础上，提出了一种基于周围车辆驾驶意图预测的自动驾驶汽车左转运动规划模型。首先将无信号交叉口处周围车辆的驾驶意图分为左转、右转、直行3种类型，利用相关向量机预测周围车辆驾驶意图，以概率形式输出意图预测结果并实时更新，进一步界定自动驾驶汽车与周围车辆的潜在冲突区域并判断是否存在时空冲突；接着，在充分考虑他车速度、航向及车辆到达冲突区域边界距离的基础上建立基于部分可观测马尔可夫决策过程的自动驾驶汽车左转运动规划模型，生成一系列期望加速度；最后，基于Prescan-Simulink联合仿真平台搭建无信号交叉口仿真场景，对所提左转运动规划方法进行仿真验证，将基于博弈论的运动规划方法、基于人工势场理论的运动规划方法与所提出的方法进行比较，并选取行进比例达到1所用的时间和碰撞次数作为评价指标。研究结果表明：基于相关向量机的驾驶意图预测方法可在自动驾驶汽车到达交叉口之前准确预测出他车驾驶意图；基于部分可观测马尔可夫决策过程的左转运动规划方法能够通过速度调整策略实现人机混驾环境下自动驾驶汽车与周围车辆在无信号交叉口处的交互；不同算法对比效果表明，所提左转运动规划方法在自动驾驶汽车与不同数量周围车辆交互的仿真场景下均可有效避免碰撞事故发生并提高自动驾驶汽车左转通过无信号交叉口的效率。     

基于改进RRT*算法的自动驾驶车辆路径规划研究

针对自动驾驶车辆,文章在交叉路口环境下提出了一种改进的快速搜索随机树(RRT*)路径规划算法。首先,对自动驾驶车辆的驾驶行为环境予以描述;其次,针对原始RRT*算法提出改进的目标偏向策略予以改善;进一步,对原始RRT*算法在交叉路口无效采样的问题,提出一种概率采样策略。基于Matlab/Simulink联合仿真平台构建相应环境使进行车辆直行驾驶,所规划路径长度为100.35m,仿真时长为5.71s。     

持续学习算法在车辆目标识别上的应用

自动驾驶汽车技术的日新月异,主要得益于深度学习和人工智能的进步。然而深度学习模型大多是在静态同分布数据集上进行训练,无法随着时间而适应或扩展其行为。针对这一问题,论文将持续学习模型运用于车辆目标识别领域进行研究。首先搭建可以使得算法流畅运行的环境,选定目标识别的原始图像数据集;在分析现有评估指标的基础上,选取适合于本次实验的评估指标,并采用卷积神经网络（CNN）、最接近类均值（NCM）、增量分类器与特征表示（iCaRL）三种持续学习算法对原始图像数据集进行学习训练与对比验证,通过实验验证了应用iCaRL算法使机器进行持续学习训练时,其精度和效率均优于其他两种方法。针对智能驾驶目标识别图像数据集不完善这一问题,构建了一个新的图像数据集,包含车辆、行人、交通标志及信号灯,将iCaRL算法应用于新建图像数据集进行研究,并在新建智能驾驶图像数据集上进行了训练与测试。结果表明,采用iCaRL算法能够较好地学习新建图像数据集,不会因为环境的改变而使得其性能发生大幅变化,测试结果良好,证明该方法可以在智能驾驶领域进行目标识别。     

基于分段学习模型的自动驾驶行为决策算法研究

在具有车道线的特定自动驾驶场景中,针对目前端到端的行为决策算法直接输入原始图像进行决策导致的网络模型迁移性差、预测精度欠佳、泛化能力不足等问题,提出一种基于分段学习模型的车辆自动驾驶行为决策算法。首先,基于GoogLeNet建立一种端到端的车道线检测网络模型,并引入车道中心线作为决策的重要线索提高算法的迁移能力,同时利用YOLOv3目标检测模型对本车道内前方最近障碍物进行位置检测;而后,经几何测量模型将两者检测结果转换成环境状态信息向量为决策做支撑;最后,构建基于长短期记忆(LSTM)网络的驾驶行为决策模型,根据编码的历史状态信息刻画出动态环境中车辆的运动模式,并结合当前时刻的状态推理得到驾驶行为参量。使用建立的真实驾驶场景数据集对模型分别进行训练、验证与测试,离线测试结果显示车道线检测模型的检测位置误差小于1.3%,车道内前方障碍物检测模型的检测精度达98%以上,驾驶行为决策网络模型表征预测优度的决定系数 大于0.7。为进一步验证算法的有效性,搭建了Simulink/PreScan联合仿真平台,多种工况下的仿真验证试验中多个评价指标均达到工程精度要求,实车测试的试验结果也表明该算法可实现复杂驾驶场景下平稳、准确无偏航的预测效果并满足实时性要求,且与传统端到端模式的算法相比,具有更好的迁移性和泛化能力。     

考虑驾驶风格的智能车自主驾驶决策方法

为了提升智能车类人驾驶水平,提供符合驾乘者驾驶习惯的个性化驾驶服务,改进了DDPG算法并设计智能车驾驶决策系统,学习不同风格的个性化驾驶策略.招募20位驾驶人参加基于仿真平台的模拟驾驶实验,采集驾驶数据.运用相关性检验方法选择个性化驾驶评价指标,使用K-means聚类方法将驾驶风格进行分类.在基础DDPG算法的输出部分加入线性变换过程,形成改进的个性化驾驶决策学习算法,进而构建个性化自主驾驶系统,以3种驾驶风格作为学习目标,调节线性变换参数,在线训练并测试算法.结果表明,提出的方法比基础算法收敛速度提升21.3%.算法在测试场景中,保持了高于驾驶人的横向控制水平,车道偏移量下降73.0%,且驾驶的车辆未与道路外侧护栏发生碰撞.聚类结果显示,算法通过调节线性变换参数,能够有效学习不同的驾驶风格.      

基于整车在环仿真的自动驾驶汽车室内快速测试平台

整车在环仿真测试方法可以安全、高效地验证复杂环境和极端工况等场景下自动驾驶汽车性能的有效性，基于此研发一种基于整车在环仿真的自动驾驶汽车室内快速测试平台，该平台由前轴可旋转式转鼓试验台、试验台测控子系统、虚拟场景自动生成子系统、虚拟传感器模拟子系统、驾驶模拟器、自动驾驶汽车和测试结果自动分析评价子系统组成。通过在试验台滚筒上独立加载转矩模拟车辆行驶阻力，可动态模拟不同的路面附着系数，同时利用坡度、侧倾和转向随动机构可模拟车辆俯仰角、侧倾角和航向角3个自由度；采用虚拟现实技术柔性集成车辆动力学模型、传感器仿真、复杂道路交通环境及测试用例仿真，模拟多种道路交通场景，并通过传感器仿真及数据融合等技术快速测试自动驾驶汽车智能感知与行为决策等性能指标。将自动驾驶汽车、虚拟仿真场景和试验台耦合构建一个闭环系统，完成了多项关键技术研发，包括：多自由度高动态试验台结构设计、虚拟测试场景自动重构方法和传感器数据模拟及注入方法，可满足在各种场景下测试自动驾驶汽车整车性能的需求。此外，为验证快速测试平台的有效性，以U-turn轨迹跟踪控制为研究实例，基于简化的车辆运动学模型和模型预测控制算法，在平台上搭建U-turn场景并对自动驾驶汽车的轨迹跟踪控制算法性能进行大量测试。结果表明：自动驾驶汽车室内快速测试平台可以真实地模拟汽车在道路上的运行工况，自动驾驶汽车在虚拟场景中的轨迹跟踪效果良好，与参考轨迹的偏差小于8%，证明了该测试平台检测方法的有效性。     

面向多元场景结合GLNet的车道线检测算法

各种复杂环境下路面车道线的高效精确检测是自动驾驶领域中车道偏离预警系统的关键性技术之一。由于车辆实际运行环境的复杂性和路面车道线的多样性，现有方法在车道线检测的准确性和鲁棒性上仍需不断增强。提出一种面向多元场景结合GLNet的车道线检测算法。首先采用改进Gamma校正对待检测路面图像预处理，消减光照不均匀、夜晚等环境干扰，增强车道线纹理。然后为增强数据集的多样性，在LaneNet网络的基础上引入对抗生成网络DCGAN，构建GLNet网络模型。该模型采用编码-解码的网络结构提取车道线特征（车道蒙板和像素点），通过DBSCAN聚类算法将不同车道线划分为不同的实体，使用H-Net网络学习的视觉转换矩阵优化并拟合输出车道线。最后基于已训练好的GLNet权重模型对车道线进行精确提取，并在Tusimple数据集和自制数据集上测试验证。试验结果表明：该方法的检测准确率可达97.4%，相较于基于LaneNet网络的车道线检测算法明显提高；DCGAN网络的加入丰富了数据集类型，并提高了该模型的表征及分类能力；DBSCAN聚类算法的平均聚类时间约为0.016 s，相较于Meanshift算法运行效率更高。所提出的方法考虑了不规范、环境复杂等多种道路类型的车道线检测任务，提升了对复杂噪声与多元场景的处理能力，在车辆辅助驾驶领域具有较好的鲁棒性和适用性。     

基于自然驾驶数据的分心驾驶行为识别方法

大量证据表明，驾驶人分心是导致交通事故的主要原因之一。当前基于侵入式（如脑电波等）或半侵入式（如视频等）检测驾驶人分心的方法，不仅对驾驶任务造成一定干扰，且受多种环境因素的制约，误报率较高。基于此，只考虑非侵入式车辆运动特征，提出一种基于深度学习的驾驶人分心状态识别方法：首先，从自然驾驶数据集中获得大量的跟驰片段，采用态势感知方法，提取典型的分心驾驶片段，并建立仅包含车辆运动学特征的分心判别指标集；其次，利用梯度提升决策树-递归特征消除算法（GBDT-RFE）和随机森林-递归特征消除算法（RF-RFE）对特征进行重要度排序，得到重要度较高的分心监测指标；最后，采用长短时记忆神经网络（LSTM-NN）实现分心驾驶的分类识别，并与支持向量机和AdaBoost的模型结果进行对比。研究结果表明：LSTM-NN在判别分心或正常状态时F₁分别为89%、91%，高于SVM和AdaBoost对应二分类结果；进行多分类任务时，判别分心情景的平均F₁较SVM和AdaBoost分别提升了12%和7%，不同类别分心识别的误报率在15%以下，说明LSTM-NN能够有效学习分心序列的前后信息，有利于准确估计驾驶人的状态。研究结果可为车辆分心预警系统和驾驶风险倾向性评估提供方法基础。     

一种自动驾驶整车在环虚拟仿真测试平台设计

围绕自动驾驶整车在环虚拟仿真测试需求，提出了一种基于多自由度转鼓平台的自动驾驶整车在环虚拟仿真测试平台设计方案。首先阐述了仿真测试平台整体结构与各组成部分的具体功能；然后详细分析了道路模拟子系统与传感器模拟仿真子系统的设计原理、组成模块及功能支撑，并完成了仿真平台的开发及测试流程设计；最后，以自动驾驶汽车自适应跟驰及避撞场景测试为典型应用案例对设计的仿真测试平台进行验证。结果表明，提出的仿真测试平台能够满足自动驾驶研发测试的需求。     

基于随机森林的驾驶人驾驶习性辨识策略

深入理解驾驶人驾驶习性及其表征方法,对于实现在汽车自动驾驶、辅助驾驶等不同控制系统下的人机和谐交互具有重要意义。为此,本文中提出了一种基于随机森林模型的驾驶人驾驶习性辨识策略。搭建了驾驶人驾驶数据实车采集系统,在典型跟车驾驶工况下对驾驶人驾驶习性数据进行了实时采集;根据层次聚类理论,对驾驶人驾驶习性进行了标定;在此基础上,引入随机森林模型建立了驾驶人驾驶习性辨识策略,并进行了重要性分析、模型训练和测试分析。测试结果表明,本文提出的基于随机森林模型的驾驶人驾驶习性辨识策略能有效辨识驾驶人驾驶习性,模型整体精准度可达97.1%。     

数字孪生技术在自动驾驶测试领域的应用研究概述

研究数字孪生技术在自动驾驶测试领域的应用。旨在构建高度开放的数字孪生自动驾驶测试平台,结合仿真测试工具、通信设备、真实测试车辆等功能单元,形成丰富的测试验证环境,支持各类自动驾驶解决方案和算法验证测试,具备在有限资源条件下开展虚拟复杂场景的自动驾驶实车测试验证能力。提供一种全新的自动驾驶整车测试方法。     

基于多通道态势图的自动驾驶场景表征方法

开展自动驾驶测试场景研究能够大幅减少自动驾驶汽车的测试周期与开发成本，是未来评价和提升自动驾驶技术的重要基础。为此，联合基于本体论的场景解构方法，提出了一种基于多通道态势图的自动驾驶场景表征方法，并对多通道态势图的场景聚类与场景复杂度进行研究。首先，对目前的自动驾驶测试方法进行分析，论述道路测试的不足之处以及基于场景的自动驾驶虚拟测试的优点，并对当前的场景解构与表征方法进行了总结；然后，运用本体论解构场景中的信息，并建立场景的本体模型，对模型中的数据属性进行参数化；接着，对真实场景、场景中的语义信息和多通道态势图场景进行对比分析，定义表征场景的多通道态势图的数据格式，将解构出的场景信息重组到多通道态势图的不同层中；之后，以汉明距离为基础设计了多通道态势图的对象层相似度计算方法，采用K均值聚类算法对驾驶场景对象层进行聚类分析，并借助层次分析法对基于多通道态势图的驾驶场景复杂度计算进行研究；最后，以KITTI数据集的一些真实场景为例，绘制场景开始时刻的多通道态势图，分析聚类出的9种对象分布类型。研究结果验证了多通道态势图场景复杂度计算方法的有效性。     

基于自动驾驶汽车稳定性的聚类辨识模型设计

在自动驾驶汽车中高级辅助驾驶系统（ADAS）的设计过程中，车辆稳定性控制目标并没有考虑驾驶员个性化特质需求，尤其在一些极端行驶条件下控制效果会适得其反。鉴于此，在传统汽车稳定性评价标准的基础上融合了隐马尔科夫理论（HMM）和K-means聚类算法，采用无迹卡尔曼滤波和因子加权分析的参数处理方法，设计了一种自动驾驶汽车稳定性辨识模型。模型通过Carsim/Simulink和基于DSPACE驾驶模拟器的硬件在环仿真方法进行了验证。结果表明：该模型能够实现自动驾驶汽车稳定性的合理分类和在线辨识，同时能为今后进一步优化自动驾驶汽车轨迹规划方法提供理论依据。     

考虑前车制动意图的自动紧急制动策略及其测试评价方法

为提高车辆自动紧急制动（AEB）系统的避撞性能,提出了一种考虑前车制动意图的AEB策略及其测试评价方法。通过搭建“PreScan+Simulink+驾驶模拟器”联合仿真平台采集驾驶人制动数据,基于K-均值（K-Means）聚类方法对制动意图进行分类,采用滑动时间窗口提取了意图识别模型训练数据集;通过双层隐马尔可夫模型识别前车制动意图,主车根据不同制动意图计算临界安全距离阈值并制定避撞控制策略;建立PreScan+Simulink虚拟仿真测试环境,提出了基于层次分析法的AEB策略综合评价方法,通过与4种典型AEB控制模型进行对比,验证了所提出方法在不同制动程度场景下均可及时触发制动以避免碰撞,同时可减少过早制动造成的驾驶不适感。     

基于V2X和自动驾驶HIL联调的仿真系统开发

随着智能网联汽车的快速发展,车用无线通信（V2X）技术在智能交通领域发挥着越来越重要的作用,因此行业内对 V2X 和自动驾驶相关的硬件在环（HIL）融合测试需求也越来越高。由于 V2X HIL 系统与自动驾驶 HIL 系统两者相互独立,在实际应用中尚缺少对两者相关应用场景及功能进行全链路的闭环仿真测试系统。基于 dSPACE 平台 HIL 仿真系统及V2X HIL 系统的联调过程,搭建了一套能够同时验证蜂窝车联网（C-V2X）通信功能和单车智能感知功能的 HIL 联调仿真测试系统。测试结果表明：通过对 V2X 应用场景的仿真,该系统能够正确实现对单车智能驾驶功能测试、V2X 被测算法的验证及预警功能显示,由此验证了联合仿真平台的有效性。