基于MM-STConv的端到端自动驾驶行为决策模型

针对现有端到端自动驾驶模型输入数据类型单一导致预测精确度低的问题，选取RGB图像、深度图像和车辆历史连续运动状态序列作为多模态输入，并利用语义信息构建一种基于时空卷积的多模态多任务（Multimodal Multitask of Spatial-temporal Convolution，MM-STConv）端到端自动驾驶行为决策模型，得到速度和转向多任务预测参量。首先，通过不同复杂度的卷积神经网络提取场景空间位置特征，构建空间特征提取子网络，准确解析场景目标空间特征及语义信息；其次，通过长短期记忆网络（LSTM）编码-解码结构捕捉场景时间上、下文特征，构建时间特征提取子网络，理解并记忆场景时间序列信息；最后，采用硬参数共享方式构建多任务预测子网络，输出速度和转向角的预测值，实现对车辆的行为预测。基于AirSim自动驾驶仿真平台采集虚拟场景数据，以98 200帧虚拟图像及对应的车辆速度和转向角标签作为训练集，历经10 000次训练周期、6 h训练时长后，利用真实驾驶场景数据集BDD100K进行模型的测试与验证工作。研究结果表明：MM-STConv模型的训练误差为0.130 5，预测精确度达到83.6%，在多种真实驾驶场景中预测效果较好；与现有其他主流模型相比，该模型综合场景空间信息与时间序列信息，在预测车辆速度和转向角方面具有明显的优势，可提升模型的预测精度、稳定性和泛化能力。     

基于融合离散动作的双延迟深度确定性策略梯度算法的自动驾驶端到端行为决策方法

针对基于强化学习的车辆驾驶行为决策方法存在的学习效率低、动作变化不平滑等问题，研究了1种融合不同动作空间网络的端到端自动驾驶决策方法，即融合离散动作的双延迟深度确定性策略梯度算法（TD3WD）。在基础双延迟深度确定性策略梯度算法（TD3）的网络模型中加入1个输出离散动作的附加Q网络辅助进行网络探索训练，将TD3网络与附加Q网络的输出动作进行加权融合，利用融合后动作与环境进行交互，对环境进行充分探索，以提高对环境的探索效率；更新Critic网络时，将附加网络输出作为噪声融合到目标动作中，鼓励智能体探索环境，使动作值预估更加准确；利用预训练的网络获取图像特征信息代替图像作为状态输入，降低训练过程中的计算成本。利用Carla仿真平台模拟自动驾驶场景对所提方法进行验证，结果表明:在训练场景中，所提方法的学习效率更高, 比TD3和深度确定性策略梯度算法（DDPG）等基础算法收敛速度提升约30%；在测试场景中，所提出的算法的收敛后性能更好，平均压线率和转向盘转角变化分别降低74.4%和56.4%。      

基于改进GAN的端到端自动驾驶图像生成方法

基于端到端数据系统的自动驾驶系统对驾驶图像存在巨大需求。为解决一般生成式对抗网络模型在扩充驾驶图像数据集时不稳定及生成图像特征缺乏多样性的问题,研究1种改进网络模型LS-InfoGAN。结合最小二乘对抗损失防止模型梯度消失,并缓解生成器优化矛盾,提升模型训练稳定性。通过最大化生成图像与真实图像间的互信息提升生成器特征学习能力,改善生成图像特征多样性。利用转置卷积层还原图像特征,提升生成图像特征清晰度。以自主构建的模拟驾驶场景中获取的带标签驾驶图像集对模型有效性及其数据集扩充应用效果进行验证。实验分析表明:相比改进前模型,LS-InfoGAN模型的图像生成过程稳定性平均提升35%;使用此模型扩充的数据集进行端到端自动驾驶系统中决策网络的训练能在不采集新图像的情况下将系统决策性能提升1%~2%;建议使用此模型扩充图像数据集时将生成图像数量设置为原始训练集图像数量的1~2倍。      

基于分段学习模型的自动驾驶行为决策算法研究

在具有车道线的特定自动驾驶场景中,针对目前端到端的行为决策算法直接输入原始图像进行决策导致的网络模型迁移性差、预测精度欠佳、泛化能力不足等问题,提出一种基于分段学习模型的车辆自动驾驶行为决策算法。首先,基于GoogLeNet建立一种端到端的车道线检测网络模型,并引入车道中心线作为决策的重要线索提高算法的迁移能力,同时利用YOLOv3目标检测模型对本车道内前方最近障碍物进行位置检测;而后,经几何测量模型将两者检测结果转换成环境状态信息向量为决策做支撑;最后,构建基于长短期记忆(LSTM)网络的驾驶行为决策模型,根据编码的历史状态信息刻画出动态环境中车辆的运动模式,并结合当前时刻的状态推理得到驾驶行为参量。使用建立的真实驾驶场景数据集对模型分别进行训练、验证与测试,离线测试结果显示车道线检测模型的检测位置误差小于1.3%,车道内前方障碍物检测模型的检测精度达98%以上,驾驶行为决策网络模型表征预测优度的决定系数 大于0.7。为进一步验证算法的有效性,搭建了Simulink/PreScan联合仿真平台,多种工况下的仿真验证试验中多个评价指标均达到工程精度要求,实车测试的试验结果也表明该算法可实现复杂驾驶场景下平稳、准确无偏航的预测效果并满足实时性要求,且与传统端到端模式的算法相比,具有更好的迁移性和泛化能力。     

基于注意力机制的多模态自动驾驶行为决策模型

针对现有端到端自动驾驶模型未考虑驾驶场景中不同区域的重要性和不同语义类别之间的关系而导致预测准确率低的问题，受驾驶人注意力机制和现有端到端自动驾驶模型的启发，充分考虑驾驶场景的动态变化、驾驶场景的语义信息和深度信息对驾驶行为决策的影响，以连续多帧驾驶场景的RGB图像为输入，构建一种基于注意力机制的多模态自动驾驶行为预测模型，实现对方向盘转角和车速的准确预测。首先，通过语义分割模型和单目深度估计模型分别获取RGB图像的语义图像和深度图像；其次，为剔除与驾驶行为决策无关信息，以神经科学和空间抑制理论为基础，设计一种拟人化注意力机制作为能量函数来计算驾驶场景中不同区域的重要度；为学习语义图像中与驾驶行为决策最为相关类别之间的关系，采用图注意力网络(Graph Attention Network,GAT)对驾驶场景的语义图像进行特征提取；然后，以保留RGB特征为原则对提取的驾驶场景的图像特征、语义特征和深度特征进行融合，采用卷积长短期记忆网络(Convolutional Long Short Term Memory,ConvLSTM)实现融合特征在连续多帧之间的传递，进而实现下一帧驾驶场景对应驾驶行为的预测；最后，与其他模型的对比试验、消融试验、泛化试验和特征可视化试验来充分验证所提出自动驾驶行为预测模型的性能。试验结果表明：与其他驾驶行为预测模型相比，所提出模型的训练误差为0.021 2，预测准确率为86.97%，均方误差为0.031 5，其驾驶行为的预测性能优于其他模型；连续多帧的语义图像和深度图像、拟人化注意力机制和面向语义特征提取的GAT有助于提升驾驶行为预测的性能；该模型具有较好的泛化能力,其做出驾驶行为预测所依赖的特征与经验丰富的驾驶人所关注的特征基本一致。     

融合时空特征的端到端自动驾驶车辆转向角预测

端到端自动驾驶系统可完成从感知输入到车辆控制输出的直接映射,已成为当前无人驾驶研究的一个重要方向.显然,在动态环境中自主驾驶车辆需要具有处理时空信息的能力,以实现精确平滑的车辆运动控制.为此,提出一种新的时空信息融合模型,在双流卷积网络(Two-stream CNN)的基础上引入门控循环单元(GRU)网络来实现端到端自...     

基于图时空神经网络的多充电站负荷协同预测方法

针对传统充电站负荷预测方法只能实现对单一站点预测的问题，提出一种基于图时空神经网络 （Graph Spatiotemporal Neural Network， GSTNN） 模型的多充电站负荷协同预测方法。定义时空信息图，描述充电站负荷之间的时空关系；构建时空特征提取网络，分别利用图卷积神经网络和门控序列卷积网络提取信息图的空间和时间维度信息，并使用长短期记忆网络 （Long Short Term Memory Networks，LSTM） 挖掘影响负荷预测的外部特征信息；融合提取的所有特征，进行负荷预测。算例结果表明，基于 GSTNN模型的方法能充分考虑时空特征和外部特征的影响，协同多个充电站的负荷数据进行预测，并同时输出各充电站的预测结果，有效提高预测准确度，有助于电网稳定运行。     

基于多视图时空卷积的交通流量预测模型

交通流量预测一直是智能交通系统的首要任务。由于交通流量序列具有复杂的时空依赖性,使得对其准确预测变得极具挑战性。现有很多工作主要基于循环神经网络、图网络以及Transformer模型构建交通流量预测模型。考虑到卷积网络具有计算效率高以及特征提取能力强等优点,提出基于多视图时空卷积的交通流量预测模型。模型在输入编码层对序列数据进行表示学习,并引入了位置信息和时间信息。在时空特征表示学习层,考虑到序列具有不同的周期模式,设计了多个表示学习模块。每个时空表示学习模块,基于一维卷积完成局部时空特征挖掘,然后基于因果卷积实现全局时空特征挖掘。在预测层,引入通道注意力机制提升模型对时空特征利用的有效性。在2个真实交通数据集上的实验结果,验证了MSTC模型在交通流预测任务上的有效性。     

基于观测数据潜在特征与双向长短期记忆网络的车辆轨迹预测

针对传统算法无法满足复杂交通场景下无人驾驶车辆对周围运动车辆轨迹预测需求的问题,提出一种基于观测数据潜在特征与双向长短期记忆(BiLSTM)网络的车辆轨迹预测方法.首先利用一维卷积神经网络(1DCNN)提取由传感器所获取的车辆运行状态观测数据的潜在特征,然后将以序列方式构造的具有时空关系的特征向量作为BiLSTM网络的...     

基于注意力Seq2Seq网络的高速公路交织区车辆变道轨迹预测

针对交通状态复杂的高速公路交织区域,经验丰富的驾驶人能够通过正确地推断周围车辆的未来运动进行及时的车道变换,这对于实现安全高效的自动驾驶至关重要,然而目前的自动驾驶车辆往往缺乏这种预测能力。为此,基于深度学习理论,提出了一种结合注意力机制和编-解码器结构的交织区车辆强制性变道轨迹预测方法,利用Next Generation Simulation（NGSIM）数据集提取车辆变道过程中的关键特征,并引入碰撞时间（Time to Collision,TTC）和避免碰撞减速度（Deceleration Rate to Avoid a Crash,DRAC）2种风险指标,将变道车辆及其周围车辆视为一个整体状态单元,同时补全状态单元内部不同车辆在横向和纵向上的时空状态特征,从而更有效地刻画车辆间的动态交互行为;然后将不同观测车辆的连续窗口序列输入基于长短期记忆网络（Long Short-term Memory,LSTM）的编-解码器,预测交织区车辆变道的未来运动轨迹,通过添加软注意力模块,使模型能够集中聚焦于影响车辆在不同时刻下位置变化的关键信息,再现了真实交通场景下车辆的变道行为。试验验证表明：基于注意力机制的编-解码器模型与当前流行的卷积长短期记忆网络、极限梯度提升树等模型相比具有更高的轨迹预测精度,在长时域的变道轨迹拟合上有显著的优越性,为辅助和自动驾驶领域的发展提供了新思路。     

eTS fuzzy driver model for simultaneous longitudinal and lateral vehicle control

In this paper, evolving Takagi-Sugeno (eTS) fuzzy driver model is proposed for simultaneous lateral and longitudinal control of a vehicle in a test track closed to traffic. The developed eTS fuzzy driver model can capture human operator’s driving expertise for generating desired steering angle, throttle angle and brake pedal command values by processing only information which can be supplied by the vehicle’s on-board control systems in real time. Apart from other fuzzy rule based (FRB) models requiring human expert knowledge or off-line clustering, the developed eTS driver model can adapt itself automatically, even ‘from scratch’, by an on-line learning process using eTS algorithm while human driver is supervising the vehicle. Proposed eTS fuzzy driver model’s on-line human driver identification capability and autonomous vehicle driving performance were evaluated on real road profiles created by digitizing two different intercity express ways of Turkey in IPG© CarMaker® software. The training and validation simulation results demonstrated that eTS fuzzy driver model can be used in product development phase to speed up different tests via realistic simulations. Furthermore eTS fuzzy driver model has an application potential in the field of autonomous driving.     

基于深度学习的混合动力汽车预测能量管理

为了优化混合动力汽车的能量动态分配过程,提升混合动力汽车的燃油经济性和动力电池荷电状态（SOC）平衡性,提高混合动力汽车能量管理策略的鲁棒性,以等效燃油消耗最小化策略为基础,结合对车辆未来行驶工况的预测研究,分析车辆未来行驶需求能量的变化,制定相应的动态调整策略。基于车联网通信技术,实时采集车辆的运行状态信息和交通信息,作为车辆未来工况预测模型的输入变量。以数据驱动为特征,基于混合深度学习建立工况预测模型。利用STL分解算法对各输入变量进行周期性、趋势性等特征分解,并对各输入变量的特征分量,使用混合深度学习网络从数据局部特征及时间维度依赖特征来深度挖掘目标车辆车速与外部信息及历史数据的关系,进而对车辆未来的行驶工况进行预测。利用预测的工况信息,分析车辆未来行驶需求能量的变化,应用于自适应等效消耗最小化策略等效因子的实时动态调整,从而实现对车辆的优化控制,并通过与传统自适应等效消耗最小化策略进行对比,验证该方法的有效性。研究结果表明：基于混合深度学习的工况预测模型预测精度比BP网络预测模型高44.72%;利用精确的预测工况信息预测能量管理,可以实时动态调整发动机和电机的功率输出,降低油耗并维持电池SOC平衡。     

Lateral handling improvement with dynamic curvature control for an independent rear wheel drive EV

The integrated longitudinal and lateral dynamic motion control is important for four wheel independent drive (4WID) electric vehicles. Under critical driving conditions, direct yaw moment control (DYC) has been proved as effective for vehicle handling stability and maneuverability by implementing optimized torque distribution of each wheel, especially with independent wheel drive electric vehicles. The intended vehicle path upon driver steering input is heavily depending on the instantaneous vehicle speed, body side slip and yaw rate of a vehicle, which can directly affect the steering effort of driver. In this paper, we propose a dynamic curvature controller (DCC) by applying a the dynamic curvature of the path, derived from vehicle dynamic state variables; yaw rate, side slip angle, and speed of a vehicle. The proposed controller, combined with DYC and wheel longitudinal slip control, is to utilize the dynamic curvature as a target control parameter for a feedback, avoiding estimating the vehicle side-slip angle. The effectiveness of the proposed controller, in view of stability and improved handling, has been validated with numerical simulations and a series of experiments during cornering engaging a disturbance torque driven by two rear independent in-wheel motors of a 4WD micro electric vehicle.     

浅析目标检测算法及其在自动驾驶场景中的应用

基于深度学习的目标检测算法在自动驾驶领域的比重日益上升。文章首先介绍了基于深度学习的卷积神经网络和目标检测算法的发展过程,其中简要介绍了几种经典卷积神经网络模型的结构特点;然后详细介绍了以R-CNN系列为代表的基于候选框的two-stage算法和以YOLO系列为代表的基于回归的one-stage算法,简要介绍了这两大类算法各自的结构和优缺点,最后总结了目标检测算法在自动驾驶场景中应用时比较常用的几种优化方法和研究趋势。     

驾驶机器人车辆动态制动力矩补偿

为了减小长期自动驾驶过程中制动性能下降带来的影响,提出了一种驾驶机器人车辆动态制动力矩补偿方法。首先建立了以车速和制动踏板力为输入,制动力矩为输出的驾驶机器人车辆制动性能离线自学习模型。然后考虑到驾驶机器人车辆长期自动驾驶导致离线自学习模型可靠性下降,建立了以车速和制动踏板力为输入,制动力矩为输出的扩展自回归在线辨识模型,并采用模糊变遗忘因子递推最小二乘法进行参数辨识。模糊变遗忘因子递推最小二乘法通过引入遗忘因子的方式,对数据施加时变加权系数,以避免出现数据增长导致的数据饱和现象。模糊变遗忘因子控制器以制动力矩辨识误差为输入,经模糊规则推理实时输出合适的遗忘因子进行参数辨识,能够有效均衡驾驶机器人车辆制动性能参数辨识的稳定性与收敛速度。驾驶机器人车辆自动驾驶过程中,根据当前车速与目标车速的大小计算出所需的制动力矩,加上反馈回来的制动力矩误差,并结合当前时刻的车速,利用制动性能离线自学习模型与机械腿逆向运动学模型实时计算出制动电机输出位移量,实现对驾驶机器人车辆制动力矩的在线补偿。仿真与试验结果表明:利用所提出的方法对车辆动态制动力矩进行辨识时,通过调节遗忘因子,辨识结果能够快速收敛且辨识误差较小。在此基础上,控制驾驶机器人车辆进行纵向车速跟踪时,能够有效减小制动性能下降造成的影响,保证控制车速跟踪误差在±1km·h-1之内。     

Full drive-by-wire dynamic control for four-wheel-steer all-wheel-drive vehicles

Most of the controllers introduced for four-wheel-steer (4WS) vehicles are derived with the assumption that the longitudinal speed of the vehicle is constant. However, in real applications, the longitudinal speed varies, and the longitudinal, lateral, and yaw dynamics are coupled. In this paper, the longitudinal dynamics of the vehicle as well as its lateral and yaw motions are controlled simultaneously. This way, the effect of driving/braking forces of the tires on the lateral and yaw motions of the vehicle are automatically included in the control laws. To address the dynamic parameter uncertainty of the vehicle, a chatter-free variable structure controller is introduced. Elimination of chatter is achieved by introducing a dynamically adaptive boundary layer thickness. It is shown via simulations that the proposed control approach performs more robustly than the controllers developed based on dynamic models, in which longitudinal speed is assumed to be constant, and only lateral speed and yaw rate are used as system states. Furthermore, this approach supports all-wheel-drive vehicles. Front-wheel-drive or rear-wheel-drive vehicles are also supported as special cases of an all-wheel-drive vehicle.     

Drive control system design for stability and maneuverability of a 6WD/6WS vehicle

This paper describes a drive controller designed to improve the lateral vehicle stability and maneuverability of a 6-wheel drive / 6-wheel steering (6WD/6WS) vehicle. The drive controller consists of upper and lower level controllers. The upper level controller is based on sliding control theory and determines both front and middle steering angle, additional net yaw moment, and longitudinal net force according to the reference velocity and steering angle of a manual drive, remotely controlled, autonomous controller. The lower level controller takes the desired longitudinal net force, yaw moment, and tire force information as inputs and determines the additional front steering angle and distributed longitudinal tire force on each wheel. This controller is based on optimal distribution control and takes into consideration the friction circle related to the vertical tire force and friction coefficient acting on the road and tire. Distributed longitudinal/lateral tire forces are determined as proportion to the size of the friction circle according to changes in driving conditions. The response of the 6WD/6WS vehicle implemented with this drive controller has been evaluated via computer simulations conducted using the Matlab/Simulink dynamic model. Computer simulations of an open loop under turning conditions and a closed-loop driver model subjected to double lane change have been conducted to demonstrate the improved performance of the proposed drive controller over that of a conventional DYC.     

基于TD3算法的人机混驾交通环境自动驾驶汽车换道研究

提高人类驾驶人的接受度是自动驾驶汽车未来的重要方向,而深度强化学习是其发展的一项关键技术。为了解决人机混驾混合交通流下的换道决策问题,利用深度强化学习算法TD3（Twin Delayed Deep Deterministic Policy Gradient）实现自动驾驶汽车的自主换道行为。首先介绍基于马尔科夫决策过程的强化学习的理论框架,其次基于来自真实工况的NGSIM数据集中的驾驶数据,通过自动驾驶模拟器NGSIM-ENV搭建单向6车道、交通拥挤程度适中的仿真场景,非自动驾驶车辆按照数据集中驾驶人行车数据行驶。针对连续动作空间下的自动驾驶换道决策,采用改进的深度强化学习算法TD3构建换道模型控制自动驾驶汽车的换道驾驶行为。在所提出的TD3换道模型中,构建决策所需周围环境及自车信息的状态空间、包含受控汽车加速度和航向角的动作空间,同时综合考虑安全性、行车效率和舒适性等因素设计强化学习的奖励函数。最终在NGSIM-ENV仿真平台上,将基于TD3算法控制的自动驾驶汽车换道行为与人类驾驶人行车数据进行比较。研究结果表明：基于TD3算法控制的车辆其平均行驶速度比人类驾驶人的平均行车速度高4.8%,在安全性以及舒适性上也有一定的提升;试验结果验证了训练完成后TD3换道模型的有效性,其能够在复杂交通环境下自主实现安全、舒适、流畅的换道行为。