基于MM-STConv的端到端自动驾驶行为决策模型

针对现有端到端自动驾驶模型输入数据类型单一导致预测精确度低的问题，选取RGB图像、深度图像和车辆历史连续运动状态序列作为多模态输入，并利用语义信息构建一种基于时空卷积的多模态多任务（Multimodal Multitask of Spatial-temporal Convolution，MM-STConv）端到端自动驾驶行为决策模型，得到速度和转向多任务预测参量。首先，通过不同复杂度的卷积神经网络提取场景空间位置特征，构建空间特征提取子网络，准确解析场景目标空间特征及语义信息；其次，通过长短期记忆网络（LSTM）编码-解码结构捕捉场景时间上、下文特征，构建时间特征提取子网络，理解并记忆场景时间序列信息；最后，采用硬参数共享方式构建多任务预测子网络，输出速度和转向角的预测值，实现对车辆的行为预测。基于AirSim自动驾驶仿真平台采集虚拟场景数据，以98 200帧虚拟图像及对应的车辆速度和转向角标签作为训练集，历经10 000次训练周期、6 h训练时长后，利用真实驾驶场景数据集BDD100K进行模型的测试与验证工作。研究结果表明：MM-STConv模型的训练误差为0.130 5，预测精确度达到83.6%，在多种真实驾驶场景中预测效果较好；与现有其他主流模型相比，该模型综合场景空间信息与时间序列信息，在预测车辆速度和转向角方面具有明显的优势，可提升模型的预测精度、稳定性和泛化能力。     

自适应均衡学习的端到端类人驾驶控制决策网络

针对现有端到端自动驾驶网络对于类人驾驶行为与思维特征模拟不足的问题，从类人驾驶特征出发，设计了一个包含时空特征、历史状态特征及未来特征的端到端类人驾驶控制决策网络。采用多层卷积和长短期卷积时序记忆网络（Conv-LSTM），对前方道路视觉感知图像时间序列进行时空特征提取，同时采用一维卷积和长短期时序记忆网络（Long Short-Term Memory，LSTM） 对车辆状态信息时间序列进行历史状态特征提取，进而采用多任务参数共享方式进行当前时刻和未来序列的方向盘转角、车速的控制决策，并以未来序列作为辅助任务督促当前时刻的主任务学习。为更好地耦合汽车纵横向控制参数学习的过程，还提出一种权衡纵横向控制参数损失量级及学习速度的权重自适应方法，并引入容差阈值，建立衡量纵横向控制参数训练效果的评价方法。依托Comma2k19数据集对所构建控制决策网络进行训练和验证，体现出良好的可行性及优越性。     

基于分段学习模型的自动驾驶行为决策算法研究

在具有车道线的特定自动驾驶场景中,针对目前端到端的行为决策算法直接输入原始图像进行决策导致的网络模型迁移性差、预测精度欠佳、泛化能力不足等问题,提出一种基于分段学习模型的车辆自动驾驶行为决策算法。首先,基于GoogLeNet建立一种端到端的车道线检测网络模型,并引入车道中心线作为决策的重要线索提高算法的迁移能力,同时利用YOLOv3目标检测模型对本车道内前方最近障碍物进行位置检测;而后,经几何测量模型将两者检测结果转换成环境状态信息向量为决策做支撑;最后,构建基于长短期记忆(LSTM)网络的驾驶行为决策模型,根据编码的历史状态信息刻画出动态环境中车辆的运动模式,并结合当前时刻的状态推理得到驾驶行为参量。使用建立的真实驾驶场景数据集对模型分别进行训练、验证与测试,离线测试结果显示车道线检测模型的检测位置误差小于1.3%,车道内前方障碍物检测模型的检测精度达98%以上,驾驶行为决策网络模型表征预测优度的决定系数 大于0.7。为进一步验证算法的有效性,搭建了Simulink/PreScan联合仿真平台,多种工况下的仿真验证试验中多个评价指标均达到工程精度要求,实车测试的试验结果也表明该算法可实现复杂驾驶场景下平稳、准确无偏航的预测效果并满足实时性要求,且与传统端到端模式的算法相比,具有更好的迁移性和泛化能力。     

辅助车道线检测的端到端自动驾驶

基于深度学习的端到端自动驾驶有着简洁高效的优势,尤其在车道保持上有着良好表现,但是面临路况复杂时存在极大的不稳定性,表现为车辆偏离车道现象。针对此问题,文章首先在虚拟环境下利用神经网络可视化方法分析了车道偏离的原因,然后在方法上将方向盘转角序列作为神经网络输入,同时根据车道线检测的方法求出车辆所在车道的面积作为辅助任务。文末分析对比了文章方法和递归神经网络(RNN,LSTM)方法在平稳性上的差异,最后通过虚拟实验和实车实验验证文章中的方法的有效性。结果表明,本文中的方法能有效改善车辆行驶平稳性问题,和LSTM方法相比稳定性效果相近,但本方法操作应用简单,节省计算资源。     

Elektrobit通过基于云端的新型端到端软件验证解决方案加速ADAS和AD系统的开发

<正>近日,汽车行业嵌入式和互联软件产品供应商Elektrobit(EB)推出了一款基于云端的自动驾驶工具链——EB Assist Test Lab,用于高级驾驶辅助系统(ADAS)和自动驾驶(AD)系统的端到端验证。该工具可在Microsoft Azure上使用,为分布式团队提供单一解决方案,以便更     

基于改进GAN的端到端自动驾驶图像生成方法

基于端到端数据系统的自动驾驶系统对驾驶图像存在巨大需求。为解决一般生成式对抗网络模型在扩充驾驶图像数据集时不稳定及生成图像特征缺乏多样性的问题,研究1种改进网络模型LS-InfoGAN。结合最小二乘对抗损失防止模型梯度消失,并缓解生成器优化矛盾,提升模型训练稳定性。通过最大化生成图像与真实图像间的互信息提升生成器特征学习能力,改善生成图像特征多样性。利用转置卷积层还原图像特征,提升生成图像特征清晰度。以自主构建的模拟驾驶场景中获取的带标签驾驶图像集对模型有效性及其数据集扩充应用效果进行验证。实验分析表明:相比改进前模型,LS-InfoGAN模型的图像生成过程稳定性平均提升35%;使用此模型扩充的数据集进行端到端自动驾驶系统中决策网络的训练能在不采集新图像的情况下将系统决策性能提升1%~2%;建议使用此模型扩充图像数据集时将生成图像数量设置为原始训练集图像数量的1~2倍。      

基于注意力机制的多模态自动驾驶行为决策模型

针对现有端到端自动驾驶模型未考虑驾驶场景中不同区域的重要性和不同语义类别之间的关系而导致预测准确率低的问题，受驾驶人注意力机制和现有端到端自动驾驶模型的启发，充分考虑驾驶场景的动态变化、驾驶场景的语义信息和深度信息对驾驶行为决策的影响，以连续多帧驾驶场景的RGB图像为输入，构建一种基于注意力机制的多模态自动驾驶行为预测模型，实现对方向盘转角和车速的准确预测。首先，通过语义分割模型和单目深度估计模型分别获取RGB图像的语义图像和深度图像；其次，为剔除与驾驶行为决策无关信息，以神经科学和空间抑制理论为基础，设计一种拟人化注意力机制作为能量函数来计算驾驶场景中不同区域的重要度；为学习语义图像中与驾驶行为决策最为相关类别之间的关系，采用图注意力网络(Graph Attention Network,GAT)对驾驶场景的语义图像进行特征提取；然后，以保留RGB特征为原则对提取的驾驶场景的图像特征、语义特征和深度特征进行融合，采用卷积长短期记忆网络(Convolutional Long Short Term Memory,ConvLSTM)实现融合特征在连续多帧之间的传递，进而实现下一帧驾驶场景对应驾驶行为的预测；最后，与其他模型的对比试验、消融试验、泛化试验和特征可视化试验来充分验证所提出自动驾驶行为预测模型的性能。试验结果表明：与其他驾驶行为预测模型相比，所提出模型的训练误差为0.021 2，预测准确率为86.97%，均方误差为0.031 5，其驾驶行为的预测性能优于其他模型；连续多帧的语义图像和深度图像、拟人化注意力机制和面向语义特征提取的GAT有助于提升驾驶行为预测的性能；该模型具有较好的泛化能力,其做出驾驶行为预测所依赖的特征与经验丰富的驾驶人所关注的特征基本一致。     

多车道高速公路合流区端部车辆速度驾驶行为远场观测试验研究

为探究多车道高速公路互通立交合流区车辆速度驾驶行为特性,为合流区安全设计提供现实依据,文中选择沪宁多车道高速公路互通立交(群)作为远场观测试验实体工程,采用MC5600型气压管式车辆分型统计与测速系统采集现场数据及SPSS Statistics软件处理数据信息。试验表明,多车道高速公路合流区客车、货车速度与出现频率之间可采用正态分布曲线拟合。双车道匝道端部客车平均速度为60~70km/h,运行速度(v85)为80~90km/h;双车道匝道端部货车平均速度为60~65km/h,运行速度(v85)为65~75km/h;单车道匝道端部货车平均速度为50~60km/h,运行速度(v85)为60~70km/h。     

基于港珠澳大桥左右舵车辆时空混行的差异化驾驶行为识别和预测方法

为实现左右舵不同驾驶习性驾驶人在港珠澳大桥时空混行环境下快速、有效识别并预测行驶车辆在应急条件下的运动状态，提出了一种考虑右舵驾驶行为的模型加数据混合运动预测方法。首先，提取港珠澳大桥通行车辆的跟驰与换道原始轨迹数据并分析，挖掘左右舵驾驶行为在直道及变道属性下的长短时特性；其次，结合最大信息系数算法(MIC)对比所提取特征与2类驾驶行为的关联程度，并求解关键区分特性下高斯混合模型(GMM)对于左右舵驾驶行为应急反应的倾向性概率；最后，将2种驾驶行为的车辆运动状态在直道行驶的差异特征作为长短时记忆(LSTM)神经网络的输入，建立数据驱动下的直道横向偏移预测模型，并在具有差异化驾驶行为的车辆直道位姿信息预测基础上，串联建立模型驱动下的变道概率预测模型。对青州航道桥实际车流监测数据的测试结果表明：所提方法可基于行驶车辆的横向偏移和偏航率等特征快速、准确识别左右舵驾驶行为；对于不同特征输入下的直道偏移预测结果，所预测左舵驾驶行为的均方根误差(RMSE)、改进的豪斯多夫距离(MHD)与决定系数(R²)的最优评估分别为0.578 7、0.468 1与0.870 7,右舵驾驶行...     

基于分布式强化学习的车辆控制算法研究

端到端自动驾驶算法的开发现已成为当前自动驾驶技术研发的热点。经典的强化学习算法利用车辆状态、环境反馈等信息训练车辆行驶，通过试错学习获得最佳策略，实现了端到端的自动驾驶算法开发，但仍存在开发效率低下的问题。为解决虚拟仿真环境下训练强化学习算法的低效性和高复杂度问题，本文提出了一种异步分布式强化学习框架，并建立了进程间和进程内的多智能体并行柔性动作-评价（soft actor-critic, SAC）分布式训练框架，加速了Carla模拟器上的在线强化学习训练。同时，为进一步实现模型的快速训练和部署，本文提出了一种基于Cloud-OTA的分布式模型快速训练和部署系统架构，系统框架主要由空中下载技术（over-the-air technology, OTA）平台、云分布式训练平台和车端计算平台组成。在此基础上，本文为了提高模型的可复用性并降低迁移部署成本，搭建了基于ROS的Autoware-Carla集成验证框架。实验结果表明，本文方法与多种主流自动驾驶方法定性相比训练速度更快，能有效地应对密集交通流道路工况，提高了端到端自动驾驶策略对未知场景的适应性，减少在实际环境中进行实验所需的时间和资...     

北京现代新胜达四轮驱动系统技术剖析

新胜达(DM)车辆配备Wia Magna(韩国的动力公司)传动系的电控4WD系统。基于各种来自发动机、制动器和转向系统的信息,系统根据道路状况和驾驶情况,动态地分配前后轮驱动力,以实现最佳驾驶性能。现有系统最显著的区别是离合器控制,以前使用电磁线圈,现在由执行器单独控制(电机和液压泵),如图1所示。一、主要特征系统根据路面和驾驶情况将驱动力分配至前/后车轮,以实现车辆最佳驾驶性能。1.电控驱动力分配根据接收来自各传感器的信号,4WDECU确定路面和驾驶情况,     

基于图神经网络的交互车辆驾驶意图识别及轨迹预测

为实现周围车辆行驶轨迹的准确预测，运用深度学习方法，设计了一种基于图神经网络与门控循环单元（GRU）的驾驶意图识别及车辆轨迹预测模型。驾驶意图识别模型将车-车间的交互关系构造成时空图，运用图神经网络学习其交互规律，并利用Softmax函数计算出不同驾驶意图的概率；轨迹预测模型采用编码-解码的GRU网络，编码器将车辆历史轨迹信息进行编码并融合识别的驾驶意图信息，再通过解码器实现轨迹预测。最后采用NGSIM数据集对模型进行训练和验证，结果表明：所提出的模型能够更好地识别车辆的驾驶意图，且考虑驾驶意图的车辆轨迹预测模型能够有效提高预测精度。     

汽车工业增长的新动力-智能汽车

正所谓"智能车辆",就是在普通车辆的基础上增加了先进的传感器(雷达、摄像)、控制器、执行器等装置。通过车栽传感系统和信息终端实现与人、车、路等的智能信息交换,使车辆具备智能的环境感知能力,能够自动分析车辆行驶的安全及危险状态,并使车辆按照人的意愿到达目的地,最终实现替代人来操作的目的。智能汽车与一般所说的自动驾驶有所不同,它指的是利用多种传感器和智能公路技术实现的汽车自动驾驶。智能汽车首     

新型冷热启动技术在驾驶信息系统中的应用

<正>驾驶信息系统(汽车仪表)是车辆信息显示中心,各种报警指示信息、车辆行驶状态、累计、小计、行车电脑平均油耗、瞬时油耗、续驶里程等信息都显示在仪表上;驾驶员要依据这些信息进行驾驶操作,故这些信息的准确性、可靠性尤为重要,关乎到驾驶安全等方面。实际汽车的工作环境复杂,例如:在车辆刚起动或路面剧烈颠簸时,都有可能导致驾驶信息系统的供电电源出现短暂过低或丢失。当电源重新恢复正常时,通常驾驶信息系统会重新复位,这样就势必导致前面显示的一些内容被复位重新初始化,被破坏掉,如仪表菜单中所有个性化设置被复位,时     

险情中驾驶人接管自动驾驶车辆的驾驶行为研究

为了指导驾驶人安全地使用自动驾驶系统,在模拟驾驶仿真平台上研究驾驶人在复杂交通环境下实现自动驾驶切换到手动驾驶的绩效表现,以及影响驾驶人驾驶方式切换过程的因素。试验收集了36名驾驶人在2种险情下切换驾驶方式过程中的驾驶行为数据,包括驾驶速度、车头间距、车辆横向位移和车辆转向等数据。研究结果表明:部分驾驶人会在险情提示出现之后即刻切换驾驶方式,而部分驾驶人则在提示出现之后继续监控道路和车辆信息,直到交通冲突出现的时候才进行驾驶方式切换;对上述2种切换方式进行独立分析发现,进行第2种切换的驾驶人在接管车辆之前所处的状态(玩游戏或者听音乐)对驾驶人接管车辆所用的切换时间有显著性影响,驾驶人处于玩游戏的状态下接管车辆所用的时间会小于驾驶人在听音乐状态下接管车辆所用的时间;切换方式对车辆横向位置有显著性影响,而且进行第1种切换的驾驶人在后续的驾驶过程中能保持较小的安全速度行驶,说明"切换方式1"与"较小的安全车速"存在相关关系,但二者的因果关系尚需深一步研究。     

基于融合离散动作的双延迟深度确定性策略梯度算法的自动驾驶端到端行为决策方法

针对基于强化学习的车辆驾驶行为决策方法存在的学习效率低、动作变化不平滑等问题，研究了1种融合不同动作空间网络的端到端自动驾驶决策方法，即融合离散动作的双延迟深度确定性策略梯度算法（TD3WD）。在基础双延迟深度确定性策略梯度算法（TD3）的网络模型中加入1个输出离散动作的附加Q网络辅助进行网络探索训练，将TD3网络与附加Q网络的输出动作进行加权融合，利用融合后动作与环境进行交互，对环境进行充分探索，以提高对环境的探索效率；更新Critic网络时，将附加网络输出作为噪声融合到目标动作中，鼓励智能体探索环境，使动作值预估更加准确；利用预训练的网络获取图像特征信息代替图像作为状态输入，降低训练过程中的计算成本。利用Carla仿真平台模拟自动驾驶场景对所提方法进行验证，结果表明:在训练场景中，所提方法的学习效率更高, 比TD3和深度确定性策略梯度算法（DDPG）等基础算法收敛速度提升约30%；在测试场景中，所提出的算法的收敛后性能更好，平均压线率和转向盘转角变化分别降低74.4%和56.4%。      

风图智能科技在南宁市部署两辆自动驾驶SUV

正风图智能科技日前已成功部署两辆自动驾驶运动型多用途车(SUV),为中国南宁市的一所学校提供往返交通服务。这两辆车由上汽、通用和五菱共同成立的合资企业上汽通用五菱汽车(SGMW)制造。使用者可以通过手机端叫车应用预订车辆,自动驾驶车辆可在沿线9个站点提供交通服务。这些车辆配备了风图智能科技基于算法的自动驾驶车     

人机混驾环境下基于深度学习的车辆切入轨迹预测

为保证人机混驾环境下自动驾驶汽车的安全行驶,对周围车辆切入轨迹的预测至关重要.本文首先使用Savitzky-Golay滤波器对大规模采集的自然驾驶数据进行去噪处理,根据准则提取车辆切入片段,建立符合中国道路状况的车辆切入数据集.其次,发挥Bi-LSTM网络能充分利用上下文信息的优点和in-out快捷连接有效减少梯度消失...     

改变游戏规则奥迪Grandsphere概念车

大众汽车旗下品牌奥迪在本届慕尼黑车展上发布了Grandsphere概念车,量产车计划在2025年上市.奥迪开发主管Oliver Hoffmann(奥利弗·霍夫曼)在接受采访时强调:"高度自动驾驶将改变汽车行业的游戏规则."在奥迪看来,未来车联网Car2X移动通信技术将固定集成在所有车辆中,车辆之间可发送并接收来自其他车辆以及交通信号灯或智能交通标志等设施的信息,车与车之间互相发射自动驾驶信号,将完全摆脱人工驾驶.     

宝马E60显示和操作元件系统(二)

(2)指示灯和报警灯(如图8所示)指示灯和报警灯由组合仪表内的处理器进行控制。进行驾驶前检查时,最重要的指示灯和报警灯在总线端KL.15接通时打开。指示灯和警告符号由焊接在一起的LED灯照亮(LED无法单独更换)。E60组合仪表中共有18个指示灯和报警灯。各指示灯和报警灯代表的含义见车辆的用户手册。驾驶前检查的目的是测试重要的指示灯和报警灯。驾驶前检查时,这些灯在总线端KL.15接通时打开4s。所有指示灯和报警灯都能单独设置颜色和时间。驾驶前检查结束后所有指示灯和报警灯都会关闭。下列指示灯和报警灯在驾驶前检查期间将打开:●…