类脑学习型自动驾驶决控系统的关键技术

作为高级别自动驾驶的下一代技术方向，类脑学习以深度神经网络为策略载体，以强化学习为训练手段，通过与环境的交互探索实现策略的自我进化，最终获得从环境状态到执行动作的最优映射。目前，类脑学习方法主要用于自动驾驶的决策与控制功能设计，它的关键技术包括：界定策略设计的系统框架、支持交互训练的仿真平台、决定策略输入的状态表征、定义策略目标的评价指标以及驱动策略更新的训练算法。本文重点梳理了自动驾驶决策控制的发展脉络，包括两类模块化架构（分层式和集成式）和3种技术方案（专家规则型、监督学习型和类脑学习型）；概述了当前主流的自动驾驶仿真平台；分析了类脑决控的3类环境状态表征方法（目标式、特征式和组合式）；同时介绍了自动驾驶汽车的五维度性能评价指标（安全性、合规性、舒适性、通畅性与经济性）；然后详述了用于车云协同训练的典型强化学习算法及其应用现状；最后总结了类脑自动驾驶技术的问题挑战与发展趋势。     

轻量化车位识别网络与流畅泊车路径规划设计

深度学习在自动驾驶开发中得到广泛应用，而在低算力嵌入式平台上部署高算力需求的车位识别网络及复杂的路径规划算法成为行业挑战，因此本文首先设计了轻量化车位识别网络结构，对不同场景下的车位关键点进行检测，其次基于深度搜索设计了快速泊车路径规划算法，然后基于OpenVX的框架将模型和算法部署在多核异构平台上，最终在实车平台上进行自动泊车功能验证。试验结果表明车位检出率大于98%，泊入成功率大于96%，泊车系统运行时间小于40ms，满足实时性要求。     

基于融合离散动作的双延迟深度确定性策略梯度算法的自动驾驶端到端行为决策方法

针对基于强化学习的车辆驾驶行为决策方法存在的学习效率低、动作变化不平滑等问题，研究了1种融合不同动作空间网络的端到端自动驾驶决策方法，即融合离散动作的双延迟深度确定性策略梯度算法（TD3WD）。在基础双延迟深度确定性策略梯度算法（TD3）的网络模型中加入1个输出离散动作的附加Q网络辅助进行网络探索训练，将TD3网络与附加Q网络的输出动作进行加权融合，利用融合后动作与环境进行交互，对环境进行充分探索，以提高对环境的探索效率；更新Critic网络时，将附加网络输出作为噪声融合到目标动作中，鼓励智能体探索环境，使动作值预估更加准确；利用预训练的网络获取图像特征信息代替图像作为状态输入，降低训练过程中的计算成本。利用Carla仿真平台模拟自动驾驶场景对所提方法进行验证，结果表明:在训练场景中，所提方法的学习效率更高, 比TD3和深度确定性策略梯度算法（DDPG）等基础算法收敛速度提升约30%；在测试场景中，所提出的算法的收敛后性能更好，平均压线率和转向盘转角变化分别降低74.4%和56.4%。      

基于TD3算法的人机混驾交通环境自动驾驶汽车换道研究

提高人类驾驶人的接受度是自动驾驶汽车未来的重要方向,而深度强化学习是其发展的一项关键技术。为了解决人机混驾混合交通流下的换道决策问题,利用深度强化学习算法TD3（Twin Delayed Deep Deterministic Policy Gradient）实现自动驾驶汽车的自主换道行为。首先介绍基于马尔科夫决策过程的强化学习的理论框架,其次基于来自真实工况的NGSIM数据集中的驾驶数据,通过自动驾驶模拟器NGSIM-ENV搭建单向6车道、交通拥挤程度适中的仿真场景,非自动驾驶车辆按照数据集中驾驶人行车数据行驶。针对连续动作空间下的自动驾驶换道决策,采用改进的深度强化学习算法TD3构建换道模型控制自动驾驶汽车的换道驾驶行为。在所提出的TD3换道模型中,构建决策所需周围环境及自车信息的状态空间、包含受控汽车加速度和航向角的动作空间,同时综合考虑安全性、行车效率和舒适性等因素设计强化学习的奖励函数。最终在NGSIM-ENV仿真平台上,将基于TD3算法控制的自动驾驶汽车换道行为与人类驾驶人行车数据进行比较。研究结果表明：基于TD3算法控制的车辆其平均行驶速度比人类驾驶人的平均行车速度高4.8%,在安全性以及舒适性上也有一定的提升;试验结果验证了训练完成后TD3换道模型的有效性,其能够在复杂交通环境下自主实现安全、舒适、流畅的换道行为。     

基于分段学习模型的自动驾驶行为决策算法研究

在具有车道线的特定自动驾驶场景中,针对目前端到端的行为决策算法直接输入原始图像进行决策导致的网络模型迁移性差、预测精度欠佳、泛化能力不足等问题,提出一种基于分段学习模型的车辆自动驾驶行为决策算法。首先,基于GoogLeNet建立一种端到端的车道线检测网络模型,并引入车道中心线作为决策的重要线索提高算法的迁移能力,同时利用YOLOv3目标检测模型对本车道内前方最近障碍物进行位置检测;而后,经几何测量模型将两者检测结果转换成环境状态信息向量为决策做支撑;最后,构建基于长短期记忆(LSTM)网络的驾驶行为决策模型,根据编码的历史状态信息刻画出动态环境中车辆的运动模式,并结合当前时刻的状态推理得到驾驶行为参量。使用建立的真实驾驶场景数据集对模型分别进行训练、验证与测试,离线测试结果显示车道线检测模型的检测位置误差小于1.3%,车道内前方障碍物检测模型的检测精度达98%以上,驾驶行为决策网络模型表征预测优度的决定系数 大于0.7。为进一步验证算法的有效性,搭建了Simulink/PreScan联合仿真平台,多种工况下的仿真验证试验中多个评价指标均达到工程精度要求,实车测试的试验结果也表明该算法可实现复杂驾驶场景下平稳、准确无偏航的预测效果并满足实时性要求,且与传统端到端模式的算法相比,具有更好的迁移性和泛化能力。     

基于改进RRT*算法的自动驾驶车辆路径规划研究

针对自动驾驶车辆,文章在交叉路口环境下提出了一种改进的快速搜索随机树(RRT*)路径规划算法.首先,对自动驾驶车辆的驾驶行为环境予以描述;其次,针对原始RRT*算法提出改进的目标偏向策略予以改善;进一步,对原始RRT*算法在交叉路口无效采样的问题,提出一种概率采样策略.基于Matlab/Simulink联合仿真平台构建...     

基于数字孪生技术的智能汽车测试方法研究

为加快自动驾驶功能的开发与验证，提出了一种基于数字孪生的智能汽车测试与评价方法。通过数字孪生测试技术，即真实车辆行驶在真实测试场地中，同时与虚拟的测试环境进行有效映射与结合，从而大大丰富智能汽车的测试验证环境、提高测试效率和减小测试成本。本文将真实测试车辆和仿真测试工具相结合，搭建起数字孪生自动驾驶测试平台，实现算法的验证测试与评价，并给出了相应的案例分析。智能汽车数字孪生测试与评价技术的快速应用，对于加快自动驾驶车辆开发和推广有着积极的推动作用。     

基于深度强化学习的分布式电驱动车辆扭矩分配策略

为在保证分布式电驱动车辆制动稳定性的前提下实现经济性的提升,提出了基于深度强化学习的分布式驱动前、后轴扭矩分配策略.在建立分布式电驱动车辆关键部件物理模型的基础上,基于车辆模型及制动稳定性约束,建立了基于深度强化学习的扭矩最优分配控制模型,并对传统固定比值的扭矩分配策略和所提出的策略进行了对比,结果表明:在新欧洲驾驶循...     

基于强化学习的自动驾驶决策研究综述

强化学习的发展推动了自动驾驶决策技术的进步，智能决策技术已成为自动驾驶领域高度关注的要点问题。本文以强化学习算法发展为主线，综述该算法在单车自动驾驶决策领域的深入应用。对强化学习传统算法、经典算法和前沿算法从基本原理和理论建模等方面进行归纳总结与对比分析。针对不同场景的自动驾驶决策方法分类，分析环境状态可观测性对建模的影响，重点阐述了不同层次强化学习典型算法的应用技术路线，并对自动驾驶决策方法提出研究展望，以期为自动驾驶决策方案研究提供有益参考。     

仿驾驶员DDPG汽车纵向自动驾驶决策方法

汽车纵向自动驾驶的决策层根据车辆当前运动状态与环境信息,决策出理想的动作指令.目前如何在自动驾驶决策策略中考虑人类驾驶员的行为成为研究热点.在纵向自动驾驶决策策略中传统的基于规则的决策策略难以运用到复杂的场景中,而当前使用强化学习和深度强化学习的决策方法大多通过设计安全性、舒适性、经济性相关公式构建奖励函数,得到的决策...     

基于深度强化学习的高速公路换道跟踪控制模型

为解决自动驾驶汽车在高速公路安全换道问题,提出了一种基于深度强化学习算法的换道跟踪控制模型,并进行了仿真实验。采用五次多项式方法,建立车辆换道路径模型,并给出跟踪误差函数;将车辆三自由度动力学模型与深度强化学习框架相融合,搭建换道路径跟踪控制模型;通过深度确定性策略梯度（DDPG）算法来更新该模型;学习得到换道路径跟踪的最佳转向角,来控制车辆完成换道过程。结果表明：在100 km/h车速条件下,本方法控制的横向位置误差绝对值的最大值接近0,角偏差绝对值最大值为10 mrad;所提出的方法相比传统的模型预测控制方法而言,轨迹跟踪的横向位置误差和角误差更小。因而,该模型能够实现高速环境下的自主换道过程,这对保证交通安全和缓解交通有意义。     

混驾环境下基于主从博弈的多车协同决策规划

在自动驾驶车辆与人工驾驶车辆混行的复杂交通环境中,如何减小驾驶行为截然不同的2类车辆间的复杂相互作用对于车辆行驶安全性、乘坐舒适性和交通通行效率的影响,是当前自动驾驶决策与控制领域亟待解决的关键问题。提出了一个人机混驾环境下人工驾驶车辆与自动驾驶车辆之间的非合作博弈交互框架。首先,综合考虑车辆加速度线性递减的驾驶人纵向操纵特性、差异化配合程度和不同的延迟响应特性,建立人工驾驶车辆的纵向博弈策略。其次,考虑自动驾驶车辆与周围车辆的安全性约束,以及自动驾驶车辆在换道过程中的舒适性和通行效率目标,设计了自动驾驶车辆的纵向博弈策略。然后,基于主从博弈理论对不同混驾环境下人工驾驶车辆与自动驾驶车辆的博弈交互问题进行求解,得到最优的换道间隙和自动驾驶车辆的纵向速度轨迹,并采用模型预测控制方法规划出自动驾驶车辆的横向安全换道轨迹。最后,根据人工驾驶车辆不同配合度和延迟响应时间的差异,设计了多组人机混驾试验工况进行验证。试验结果表明：自动驾驶车辆能够快速准确识别人工驾驶车辆的配合度,选择出最优的目标换道间隙,并与间隙周围的自动驾驶车辆协作来汇入目标间隙。在换道过程中,自动驾驶车辆始终与周围车辆保持安全...     

基于双估计强化学习结合前向预测控制的自动驾驶运动控制研究

运动控制研究是实现自动驾驶目标的重要组成部分,针对传统强化学习算法在求解中因单步决策局限而导致控制序列次优的问题,提出了一种基于双估计强化学习算法及前向预测控制方法结合的运动控制框架（DEQL-FPC）。在该框架中引入双估计器以解决传统强化学习方法动作值过估计问题并提高训练优化的速度,设计前向预测多步决策方法替代传统强化学习的单步决策,以有效提高全局控制策略的性能。通过虚拟驾驶环境仿真,证明了该控制框架应用在自动驾驶汽车的路径跟踪以及安全避障的优越性,保证了运动控制中的精确性、安全性、快速性以及舒适性。     

基于车辆动力学模型的换道轨迹规划研究

针对自动驾驶车辆换道轨迹规划时的操纵稳定性问题，基于CarSim/Simulink仿真平台建立了车辆动力学模型，构建了轨迹规划系统框架，通过轨迹信息后处理并提出了目标函数设计，进行了横向控制序列采样以保证车辆的稳定与极限性能，完成了算法对轨迹的综合评价选优。随后开展了仿真试验，对比分析了轨迹跟踪控制系统下的实际轨迹、最优规划方法所规划的换道轨迹。仿真结果表明，该轨迹规划系统框架及算法模型能有效提高车辆的操纵稳定性，可实现冰雪路面等极端工况下自动驾驶车辆换道轨迹规划。     

自动驾驶系统交通规则符合性仿真验证方法

随着自动驾驶技术的不断发展，高级别自动驾驶车辆逐步在限定区域开展实际道路测试，确保和提高自动驾驶系统安全驾驶能力是当前研究、测试和工程开发的热点难点。面对自动驾驶车辆将长期与人类驾驶车辆混行，并与其他交通参与者遵守同样交通规则的现实需要，提出一种验证和测试自动驾驶系统交通规则符合性的方法，以期降低多车混行条件下的交通安全风险。针对各类交通法律法规语义自动解析技术瓶颈，提出规范化-逻辑化两阶段交通规则数字化模型，基于改进谓词度量时序逻辑框架(Metric Temporal Logic，MTL)，将自然语言交通规则转换为命题、逻辑连接词和时序算子组成的逻辑编码，生成了自动驾驶系统可理解、可执行、可验证的数字化交通规则，并构建了交通规则命题的分级分类体系。提出了一套基于自动驾驶车辆高精度运动轨迹的交通规则符合性验证算法，并搭建仿真试验平台，在高速公路交通场景下开展了试验验证。理论分析与试验表明：精简命题空间、新增时序算子和谓词逻辑词等改进有效提高了原有MTL框架的时间表现能力，解决了时序逻辑性不足等问题，大幅提高了交通规则数字化转换效率，对地方性交通法规和未来交通法规修订提供了良好的兼容性。提出的交通规则符合性验证方法及试验平台可以有效测试自动驾驶系统对现有交通规则的遵守能力，相关成果对提高自动驾驶系统安全性能和未来混行交通安全管控水平具有重要意义。     

基于MM-STConv的端到端自动驾驶行为决策模型

针对现有端到端自动驾驶模型输入数据类型单一导致预测精确度低的问题,选取RGB图像、深度图像和车辆历史连续运动状态序列作为多模态输入,并利用语义信息构建一种基于时空卷积的多模态多任务(Multimodal Multitask of Spatial-temporal Convolution,MM-STConv)端到端自动驾驶行为决策模型,得到速度和转向多任务预测参量。首先,通过不同复杂度的卷积神经网络提取场景空间位置特征,构建空间特征提取子网络,准确解析场景目标空间特征及语义信息;其次,通过长短期记忆网络(LSTM)编码-解码结构捕捉场景时间上、下文特征,构建时间特征提取子网络,理解并记忆场景时间序列信息;最后,采用硬参数共享方式构建多任务预测子网络,输出速度和转向角的预测值,实现对车辆的行为预测。基于AirSim自动驾驶仿真平台采集虚拟场景数据,以98 200帧虚拟图像及对应的车辆速度和转向角标签作为训练集,历经10 000次训练周期、6h训练时长后,利用真实驾驶场景数据集BDD100K进行模型的测试与验证工作。研究结果表明:MMSTConv模型的训练误差为0.130 5,预测精确度达到...     

持续学习算法在车辆目标识别上的应用

自动驾驶汽车技术的日新月异,主要得益于深度学习和人工智能的进步。然而深度学习模型大多是在静态同分布数据集上进行训练,无法随着时间而适应或扩展其行为。针对这一问题,论文将持续学习模型运用于车辆目标识别领域进行研究。首先搭建可以使得算法流畅运行的环境,选定目标识别的原始图像数据集;在分析现有评估指标的基础上,选取适合于本次实验的评估指标,并采用卷积神经网络（CNN）、最接近类均值（NCM）、增量分类器与特征表示（iCaRL）三种持续学习算法对原始图像数据集进行学习训练与对比验证,通过实验验证了应用iCaRL算法使机器进行持续学习训练时,其精度和效率均优于其他两种方法。针对智能驾驶目标识别图像数据集不完善这一问题,构建了一个新的图像数据集,包含车辆、行人、交通标志及信号灯,将iCaRL算法应用于新建图像数据集进行研究,并在新建智能驾驶图像数据集上进行了训练与测试。结果表明,采用iCaRL算法能够较好地学习新建图像数据集,不会因为环境的改变而使得其性能发生大幅变化,测试结果良好,证明该方法可以在智能驾驶领域进行目标识别。     

基于深度强化学习的自动驾驶车辆跟驰行为建模

为提高自动驾驶车辆的跟驰性能,减轻交通震荡干扰的负面影响,研究了1种基于深度强化学习的自动驾驶跟驰模型。在现有奖励函数设计基础上融入对能源消耗的考虑,基于VT-Micro模型构建能耗相关项;同时对使用跟车时距构建行驶效率因素相关项的方法进行优化,添加虚拟速度来避免在交通震荡场景中出现计算溢出和车间距过近的问题。为克服过往抑制震荡研究中仅用闭合环状模拟道路和仿真车辆轨迹开展训练的局限性,选用NGSIM轨迹数据中交通震荡阶段的驾驶员行为特征搭建训练环境,应用双延迟深度确定性策略梯度算法（Twin Delayed Deep Deterministic Policy Gradient Algorithm,TD3）训练形成多目标优化的跟驰模型。进一步构建模型性能测试评价体系,对比分析TD3模型与其他传统模型在跟车与交通震荡2类测试场景中的表现。跟车测试场景实验结果表明：在舒适度与行驶效率上,TD3模型和传统自适应巡航控制（Adaptive Cruise Control, ACC）模型表现相近,二者均优于人类驾驶员;在安全性上,TD3模型相较于传统ACC模型安全隐患降低53.65%,相较于人类驾驶...     

基于整车在环仿真的自动驾驶汽车室内快速测试平台

整车在环仿真测试方法可以安全、高效地验证复杂环境和极端工况等场景下自动驾驶汽车性能的有效性,基于此研发一种基于整车在环仿真的自动驾驶汽车室内快速测试平台,该平台由前轴可旋转式转鼓试验台、试验台测控子系统、虚拟场景自动生成子系统、虚拟传感器模拟子系统、驾驶模拟器、自动驾驶汽车和测试结果自动分析评价子系统组成。通过在试验台滚筒上独立加载转矩模拟车辆行驶阻力,可动态模拟不同的路面附着系数,同时利用坡度、侧倾和转向随动机构可模拟车辆俯仰角、侧倾角和航向角3个自由度;采用虚拟现实技术柔性集成车辆动力学模型、传感器仿真、复杂道路交通环境及测试用例仿真,模拟多种道路交通场景,并通过传感器仿真及数据融合等技术快速测试自动驾驶汽车智能感知与行为决策等性能指标。将自动驾驶汽车、虚拟仿真场景和试验台耦合构建一个闭环系统,完成了多项关键技术研发,包括：多自由度高动态试验台结构设计、虚拟测试场景自动重构方法和传感器数据模拟及注入方法,可满足在各种场景下测试自动驾驶汽车整车性能的需求。此外,为验证快速测试平台的有效性,以U-turn轨迹跟踪控制为研究实例,基于简化的车辆运动学模型和模型预测控制算法,在平台上搭建U-turn场景并对自动驾驶汽车的轨迹跟踪控制算法性能进行大量测试。结果表明：自动驾驶汽车室内快速测试平台可以真实地模拟汽车在道路上的运行工况,自动驾驶汽车在虚拟场景中的轨迹跟踪效果良好,与参考轨迹的偏差小于8%,证明了该测试平台检测方法的有效性。     

风图智能科技在南宁市部署两辆自动驾驶SUV

正风图智能科技日前已成功部署两辆自动驾驶运动型多用途车(SUV),为中国南宁市的一所学校提供往返交通服务。这两辆车由上汽、通用和五菱共同成立的合资企业上汽通用五菱汽车(SGMW)制造。使用者可以通过手机端叫车应用预订车辆,自动驾驶车辆可在沿线9个站点提供交通服务。这些车辆配备了风图智能科技基于算法的自动驾驶车