基于逆向强化学习的纵向自动驾驶决策方法

基于人类驾驶员数据获得自动驾驶决策策略是当前自动驾驶技术研究的热点。经典的强化学习决策方法大多通过设计安全性、舒适性、经济性相关公式人为构建奖励函数,决策策略与人类驾驶员相比仍然存在较大差距。本文中使用最大边际逆向强化学习算法,将驾驶员驾驶数据作为专家演示数据,建立相应的奖励函数,并实现仿驾驶员的纵向自动驾驶决策。仿真测试结果表明：相比于强化学习方法,逆向强化学习方法的奖励函数从驾驶员的数据中自动化的提取,降低了奖励函数的建立难度,得到的决策策略与驾驶员的行为具有更高的一致性。     

类脑学习型自动驾驶决控系统的关键技术

作为高级别自动驾驶的下一代技术方向，类脑学习以深度神经网络为策略载体，以强化学习为训练手段，通过与环境的交互探索实现策略的自我进化，最终获得从环境状态到执行动作的最优映射。目前，类脑学习方法主要用于自动驾驶的决策与控制功能设计，它的关键技术包括：界定策略设计的系统框架、支持交互训练的仿真平台、决定策略输入的状态表征、定义策略目标的评价指标以及驱动策略更新的训练算法。本文重点梳理了自动驾驶决策控制的发展脉络，包括两类模块化架构（分层式和集成式）和3种技术方案（专家规则型、监督学习型和类脑学习型）；概述了当前主流的自动驾驶仿真平台；分析了类脑决控的3类环境状态表征方法（目标式、特征式和组合式）；同时介绍了自动驾驶汽车的五维度性能评价指标（安全性、合规性、舒适性、通畅性与经济性）；然后详述了用于车云协同训练的典型强化学习算法及其应用现状；最后总结了类脑自动驾驶技术的问题挑战与发展趋势。     

基于双估计强化学习结合前向预测控制的自动驾驶运动控制研究

运动控制研究是实现自动驾驶目标的重要组成部分,针对传统强化学习算法在求解中因单步决策局限而导致控制序列次优的问题,提出了一种基于双估计强化学习算法及前向预测控制方法结合的运动控制框架（DEQL-FPC）。在该框架中引入双估计器以解决传统强化学习方法动作值过估计问题并提高训练优化的速度,设计前向预测多步决策方法替代传统强化学习的单步决策,以有效提高全局控制策略的性能。通过虚拟驾驶环境仿真,证明了该控制框架应用在自动驾驶汽车的路径跟踪以及安全避障的优越性,保证了运动控制中的精确性、安全性、快速性以及舒适性。     

基于分布式强化学习的车辆控制算法研究

端到端自动驾驶算法的开发现已成为当前自动驾驶技术研发的热点。经典的强化学习算法利用车辆状态、环境反馈等信息训练车辆行驶，通过试错学习获得最佳策略，实现了端到端的自动驾驶算法开发，但仍存在开发效率低下的问题。为解决虚拟仿真环境下训练强化学习算法的低效性和高复杂度问题，本文提出了一种异步分布式强化学习框架，并建立了进程间和进程内的多智能体并行柔性动作-评价（soft actor-critic, SAC）分布式训练框架，加速了Carla模拟器上的在线强化学习训练。同时，为进一步实现模型的快速训练和部署，本文提出了一种基于Cloud-OTA的分布式模型快速训练和部署系统架构，系统框架主要由空中下载技术（over-the-air technology, OTA）平台、云分布式训练平台和车端计算平台组成。在此基础上，本文为了提高模型的可复用性并降低迁移部署成本，搭建了基于ROS的Autoware-Carla集成验证框架。实验结果表明，本文方法与多种主流自动驾驶方法定性相比训练速度更快，能有效地应对密集交通流道路工况，提高了端到端自动驾驶策略对未知场景的适应性，减少在实际环境中进行实验所需的时间和资...     

基于TD3算法的人机混驾交通环境自动驾驶汽车换道研究

提高人类驾驶人的接受度是自动驾驶汽车未来的重要方向,而深度强化学习是其发展的一项关键技术。为了解决人机混驾混合交通流下的换道决策问题,利用深度强化学习算法TD3（Twin Delayed Deep Deterministic Policy Gradient）实现自动驾驶汽车的自主换道行为。首先介绍基于马尔科夫决策过程的强化学习的理论框架,其次基于来自真实工况的NGSIM数据集中的驾驶数据,通过自动驾驶模拟器NGSIM-ENV搭建单向6车道、交通拥挤程度适中的仿真场景,非自动驾驶车辆按照数据集中驾驶人行车数据行驶。针对连续动作空间下的自动驾驶换道决策,采用改进的深度强化学习算法TD3构建换道模型控制自动驾驶汽车的换道驾驶行为。在所提出的TD3换道模型中,构建决策所需周围环境及自车信息的状态空间、包含受控汽车加速度和航向角的动作空间,同时综合考虑安全性、行车效率和舒适性等因素设计强化学习的奖励函数。最终在NGSIM-ENV仿真平台上,将基于TD3算法控制的自动驾驶汽车换道行为与人类驾驶人行车数据进行比较。研究结果表明：基于TD3算法控制的车辆其平均行驶速度比人类驾驶人的平均行车速度高4.8%,在安全性以及舒适性上也有一定的提升;试验结果验证了训练完成后TD3换道模型的有效性,其能够在复杂交通环境下自主实现安全、舒适、流畅的换道行为。     

数学算法在汽车自动驾驶系统中的应用

本论文的研究目的在于探索数学算法应用于汽车自动驾驶系统的领域。通过从汽车自动驾驶系统概述、基础理论、具体应用及未来发展方向等方面的阐述,分析了数学算法对于促进汽车智能驾驶技术进步的重要性。数学算法不断地优化与创新,会进一步提高汽车自动驾驶系统性能与智能水平。     

基于激光雷达的3D目标检测研究综述

近年来,随着自动驾驶技术的快速发展,智能汽车对于环境感知技术的需求也越来越高,由于激光雷达数据具有较高的精度,能够更好的获取环境中的三维信息,已经成为了3D目标检测领域研究的热点。为了给智能汽车提供更加准确的环境信息,对激光雷达3D目标检测领域主要研究内容进行综述。首先,分析了自动驾驶车辆各种环境感知传感器的优缺点;其次,根据3D目标检测算法中数据处理方式的不同,综述了基于点云的检测算法和图像与点云融合的检测算法;然后,梳理了主流自动驾驶数据集及其3D目标检测评估方法;最后对当前点云3D目标检测算法进行总结和展望,结果表明当前研究中2D视图法和多模态融合法对自动驾驶技术发展的重要性。     

浅析目标检测算法及其在自动驾驶场景中的应用

基于深度学习的目标检测算法在自动驾驶领域的比重日益上升。文章首先介绍了基于深度学习的卷积神经网络和目标检测算法的发展过程,其中简要介绍了几种经典卷积神经网络模型的结构特点;然后详细介绍了以R-CNN系列为代表的基于候选框的two-stage算法和以YOLO系列为代表的基于回归的one-stage算法,简要介绍了这两大类算法各自的结构和优缺点,最后总结了目标检测算法在自动驾驶场景中应用时比较常用的几种优化方法和研究趋势。     

基于场景的自动驾驶汽车虚拟测试研究进展

随着自动驾驶等级的提高,面向传统汽车的测试工具与测试方法已不能满足自动驾驶汽车测试的需要。基于场景的虚拟测试方法在测试效率、测试成本等方面具有巨大的技术优势,是未来自动驾驶汽车测试验证的重要手段,已成为当前的研究热点。通过对大量相关文献的系统梳理,综述了基于场景的自动驾驶汽车虚拟测试研究进展。对比分析了自动驾驶测试场景的不同定义方式,明确了测试场景的内涵,归纳了测试场景的要素种类,概述了测试场景的数据来源,总结了场景数据的处理方法。在此基础上,对自动驾驶汽车虚拟测试方法进行了总结,分析了典型的测试方式、测试平台和虚拟测试的技术要点,梳理了软件在环、硬件在环和车辆在环测试方案及其关键技术。针对自动驾驶汽车测试效率问题,研究了基于场景的加速测试技术,概述了典型的测试场景随机生成方法和危险场景强化生成方法。最后,对基于场景的自动驾驶汽车虚拟测试所面临的问题及未来发展趋势进行了分析和展望。研究结果表明：基于场景的虚拟测试是推动自动驾驶技术发展和产业落地的必由之路,未来研究应着力突破基于解构与自动重构的测试场景数据库、人-车-环境系统一体化高置信度建模、自动驾驶汽车虚拟测试标准工具链、不同自动驾驶汽车渗透率下的混合交通模拟与测试、测试案例动态自适应随机生成机制等核心共性技术,建立自动驾驶汽车虚拟测试标准体系。     

自动驾驶车辆决策与规划研究综述

决策与规划是自动驾驶系统的中枢,是提高自动驾驶车辆行驶安全、驾乘体验、出行效率的关键。其面临的主要挑战在于如何满足自动驾驶所需的极高可靠性和安全性,以及如何有效应对场景复杂性、环境多变性、交通动态性、博弈交互性及信息完备性并产生类人化的驾驶行为,使车辆自然地融入交通生态。为全面了解决策与规划的前沿问题与研究进展,对其技术要点进行系统梳理与总体概述。首先,从数据驱动的驾驶行为预测、概率模型的驾驶行为预测、个性化驾驶行为预测三方面综述了面向态势认知的行为预测的研究进展;其次,将行为决策总结归纳为反应式决策、学习式决策、交互式决策并逐一进行了分析;再次,从方法论的角度对运动规划及其应用进行对比分析,具体包括图搜索方法、采样方法、数值方法、拟合插值曲线方法等;然后,针对端到端的决策规划的关键科学问题和主要研究进展进行了归纳分析;最后,总结了决策规划对提升自动驾驶车辆智能化水平的重要影响,并展望了其未来的发展趋势与面临的技术挑战。     

基于激光雷达的自动驾驶同步定位与建图方法综述

同步定位与建图（Simultaneous Localization and Mapping,SLAM）技术可使自动驾驶车辆在未知环境中根据车载传感器采集到的数据估计自身位姿,建立环境地图,为车辆的规划、决策提供定位信息,是近年来自动驾驶技术研究的热点之一。基于车载激光雷达的点云数据,聚焦SLAM技术在自动驾驶领域的应用,围绕前端里程计、后端优化和回环检测技术,对国内外相关研究进行综述。考虑到单一传感器的局限性,结合目前多传感器融合研究的热点与难点,展望了自动驾驶多传感器融合SLAM技术在自动驾驶领域的机遇与挑战。     

面向智能驾驶行为的机器学习

基于机器学习的智能驾驶行为分析是智能车辆发展的方向和难点之一.驾驶行为的知识获取和表达,涉及机器学习中的诸多算法.首先对机器学习在驾驶行为识别判断、建模预测、智能决策等方面的研究进行了分析,进而对驾驶行为分析中的几种主要机器学习算法进行了较为全面的总结,最后给出了各种算法的优缺点.     

自动驾驶感知系统的未来之路

<正>随着计算机技术的飞速发展，人工智能技术逐渐走入大众视野，其中自动驾驶技术则是人工智能技术中的重要应用，自动驾驶技术的主要目标是让汽车可以自主行驶，减少驾驶人的驾驶疲劳，提高汽车驾驶的安全性和舒适度。自动驾驶技术的实现需要依赖于感知系统、决策系统和控制系统的协同工作，其中，自动驾驶感知系统是非常重要的一环，承担着让自动驾驶汽车“看得清”的任务，其研究和发展将影响自动驾驶汽车落地进展。     

人工智能在汽车驾驶技术领域的应用与发展

人工智能技术在汽车驾驶技术领域中的应用已成为当前研究热点。然而,现有研究缺乏对人工智能在汽车驾驶技术领域中的应用与发展的系统分析。本文探讨了人工智能在汽车驾驶技术领域中的应用与发展的主要特点和规律。从发展历程、瓶颈技术、发展趋势三个方面,对人工智能在汽车驾驶技术领域中的应用与发展趋势进行总结分析,旨在为汽车驾驶技术的研究提供参考。     

智能汽车人机协同决策关键技术综述

智能汽车人机协同决策是指驾驶人与驾驶自动化系统之间进行信息共享、交互和协同决策的过程,其对于提升智能汽车的安全性、舒适性和通行效率具有重要意义。针对人机协同决策技术在当下文献研究中碎片化且缺乏相关综述研究的现状,介绍了智能汽车人机协同决策技术的研究现状及未来的发展趋势。首先,基于对人机协同驾驶领域研究现状的梳理,从驾驶权限和人机交互2个维度对人机协同决策方法进行分类,前者包含以人为主、人机驾驶权限切换和以机为主的3种决策方式,后者包含人机直接交互和人机间接交互2种决策形式。进一步根据智驾系统中人机协同决策的层级差异,将人机协同决策技术分为人机协同行为决策、人机协同运动规划两大关键技术。前者可分为仲裁驾驶权限、协调驾驶意图和人类在环学习3类,后者可分为人机协同的路径规划和轨迹规划2类。最后,对智能汽车人机协同决策技术的发展趋势进行了总结与展望。通过梳理总结认为：智能汽车人机协同决策技术的发展不仅局限于决策层面,也依赖于上下游共同的技术进步,且多模态人机界面和深度强化学习等技术将成为其进一步发展的重要动力;未来,人机协同决策技术将依托新型决策意图传导技术与大语言模型步入新阶段。     

基于融合离散动作的双延迟深度确定性策略梯度算法的自动驾驶端到端行为决策方法

针对基于强化学习的车辆驾驶行为决策方法存在的学习效率低、动作变化不平滑等问题，研究了1种融合不同动作空间网络的端到端自动驾驶决策方法，即融合离散动作的双延迟深度确定性策略梯度算法（TD3WD）。在基础双延迟深度确定性策略梯度算法（TD3）的网络模型中加入1个输出离散动作的附加Q网络辅助进行网络探索训练，将TD3网络与附加Q网络的输出动作进行加权融合，利用融合后动作与环境进行交互，对环境进行充分探索，以提高对环境的探索效率；更新Critic网络时，将附加网络输出作为噪声融合到目标动作中，鼓励智能体探索环境，使动作值预估更加准确；利用预训练的网络获取图像特征信息代替图像作为状态输入，降低训练过程中的计算成本。利用Carla仿真平台模拟自动驾驶场景对所提方法进行验证，结果表明:在训练场景中，所提方法的学习效率更高, 比TD3和深度确定性策略梯度算法（DDPG）等基础算法收敛速度提升约30%；在测试场景中，所提出的算法的收敛后性能更好，平均压线率和转向盘转角变化分别降低74.4%和56.4%。      

智能网联车辆生态驾驶研究现状及展望

作为近年来智能网联汽车领域的研究焦点，生态驾驶旨在提高驾驶安全的基础上，通过改善驾驶行为，有效缓解能源消耗和污染排放等问题，引起了各国政府、企业、高校和研究机构等的高度重视。同时，随着智能网联车辆技术的迅速发展，网联环境为生态驾驶提供了新的发展契机。为了分析智能网联车辆生态驾驶的研究进展，通过与传统生态驾驶进行对比，从车辆自身特性、驾驶人个性、道路交通状况与社会条件4个方面分析了智能网联环境下的生态驾驶的影响因素；从生态驾驶控制策略和生态驾驶应用现状2个方面对现有智能网联生态驾驶研究进行了归纳与分析；并从影响因素、控制策略和决策优化3个方面讨论了生态驾驶的意义、应用与目前所存在的问题，致力于为未来的相关研究提供有益的指导与借鉴。分析结果表明:智能网联环境下的生态驾驶和传统生态驾驶的影响因素较为相似，不过网联传感器和通信条件对智能网联环境生态驾驶有着较为显著的影响；相较于传统生态驾驶，智能网联环境下生态驾驶的控制策略与决策优化多考虑复杂驾驶工况、多车级别的全局生态驾驶；且由于各种新型技术的快速发展，结合先进的技术、适应行业发展需要也将成为未来智能网联生态驾驶发展的必然趋势。      

道路交通运行风险防控技术专栏导语

我国已建成高效通达的道路交通网，公路客货运输量均居世界第一，但道路交通安全形势依然严峻。中共中央、国务院在2019年发布的《交通强国建设纲要》中将“构建安全的现代化综合交通体系”列为最重要的交通强国建设目标。近年来，道路交通主管部门、高校、科研院所和企业等对道路交通运行风险防控技术高度关注，开展了大量的科研攻关和应用实践工作，在运行风险演化机理、运行风险感知-辨识-防控方法与技术、新型安全设施研发及应用效果评价等方面，取得了一批具有代表性的研究成果。为全面展示道路交通运行风险防控技术领域最新研究进展和成果，广泛开展学术交流，推动道路交通运行风险防控理论与技术创新，促进新型道路交通运行风险防控技术发展与应用，《中国公路学报》编辑部邀请公安部道路交通安全研究中心王长君研究员、长安大学付锐教授作为组稿负责人，邀请长安大学袁伟教授、浙江大学梁军教授、清华大学刘亚辉副教授、北京工业大学赵晓华教授、长安大学牛世峰教授、吉林大学宋现敏教授、长安大学崔华教授、长安大学王永岗教授、长安大学王畅教授作为组稿专家，共同向该领域的知名专家、学者约稿，出版本期“道路交通运行风险防控技术”专栏，回顾、总结和推广我国道路交通运行风险监测、评估、预测与防控研究领域的最新成果，探讨该方向的理论研究和应用技术发展趋势。本专栏共收到交通运行风险防控相关理论、技术、方法、试验研究等论文70余篇，最终录用15篇。研究内容集中于以下几个方面：（1）风险辨识与处置。主要内容包括：交通警情信息自动处理方法、自动驾驶系统交通规则符合性仿真验证方法、超速等危险驾驶行为的告警与矫正方法、不良天气条件下高速公路运行风险防控方法、隧道与互通等特殊路段出口换道可靠性、匝道合流区等特殊路段的车辆交互行为模式、车-人冲突时间窗预测模型等。（2）智能交通与智能车辆理论。主要内容包括高速公路相机自动标定与道路坐标系构建技术、路侧单目视角车辆三维形态精确感知技术、行人轨迹自适应压缩与误匹配识别技术、注意力监测技术及其对行为决策的影响等基于视频的交通信息提取技术,还包括考虑路网拓扑时变的交通拥堵自适应预测方法、信号交叉口自动驾驶左转车辆类人化全局运动轨迹规划方法、考虑动力学模型系统误差补偿的智能车组合定位算法、不同情景下自动驾驶接管行为的影响特征等。道路交通运行风险防控相关方法、理论与应用技术研究，将为我国道路交通安全保障提供先进的技术、方法、系统和装备等科技支撑。《中国公路学报》将继续关注该领域国内外最新研究进展，以期为广大专家、学者和工程技术人员提供学习和交流的平台，促进我国道路交通安全领域的高质量和可持续发展。     

数据驱动的驾驶员换道行为分析与预测综述

换道是一种具有极高风险的驾驶行为,许多交通事故发生在换道过程中,相邻车道车辆的突然换道行为会产生很大安全风险并影响车辆的乘坐舒适性,对周围车辆的换道行为进行预测对驾驶辅助系统和自动驾驶汽车都十分必要。随着V2X(Vehicle-to-Everything)技术、5G技术的快速发展,车辆可以从周围环境中获得更多信息,使换道行为预测成为可能。文中对换道意图的产生及换道过程进行分析,将换道过程分为换道意图产生阶段、换道准备阶段和执行阶段,总结将车辆上各种传感器获得的车辆速度、加速度、位置、方向盘转角等信息及通过V2X技术从交通环境中获得的信息用于换道行为预测的主要方法。目前许多研究采用机器学习方法,按照所使用的数据类型可分为基于驾驶员生理活动信息的方法和基于车辆CAN总线信息、运动学及其与周围车辆运动关系信息的方法,也有研究将二者相结合。数据驱动的换道行为预测方法也可用于车辆的主动换道决策和执行过程,强化学习(RL)算法可以从真实数据中学习决策和驾驶行为,而这些对于传统的基于规则的方法来说基本不可行,故其在研究车辆主动换道时被广泛使用。     

基于深度强化学习的车辆跟驰控制

针对自适应巡航控制系统在控制主车跟驰行驶中受前车运动状态的不确定性影响问题，在分析车辆运动特点的基础上，提出一种能够考虑前车运动随机性的跟驰控制策略。搭建驾驶人实车驾驶数据采集平台，招募驾驶人进行实车跟驰道路试验，建立驾驶人真实驾驶数据库。假设车辆未来时刻的加速度决策主要受前方目标车辆运动影响，建立基于双前车跟驰结构的主车纵向控制架构。将驾驶数据库中的驾驶数据分别视作前车和前前车运动变化历程，利用高斯过程算法建立了前车纵向加速度变化随机过程模型，实现对前方目标车运动状态分布的概率性建模。将车辆跟驰问题构建为一定奖励函数下的马尔可夫决策过程，引入深度强化学习研究主车跟驰控制问题。利用近端策略优化算法建立车辆跟驰控制策略，通过与前车运动随机过程模型进行交互式迭代学习，得到具有运动不确定性跟驰环境下的主车纵向控制策略，实现对车辆纵向控制的最优决策。最后基于真实驾驶数据，对控制策略进行测试。研究结果表明：该策略建立了车辆纵向控制与主车和双前车状态之间的映射关系，在迭代学习过程中对前车运动的随机性进行考虑，跟驰控制中不需要对前车运动进行额外的概率预测，能够以较低的计算量实现主车稳定跟随前车行驶。