基于深度强化学习的自动驾驶车辆跟驰行为建模

为提高自动驾驶车辆的跟驰性能,减轻交通震荡干扰的负面影响,研究了1种基于深度强化学习的自动驾驶跟驰模型。在现有奖励函数设计基础上融入对能源消耗的考虑,基于VT-Micro模型构建能耗相关项;同时对使用跟车时距构建行驶效率因素相关项的方法进行优化,添加虚拟速度来避免在交通震荡场景中出现计算溢出和车间距过近的问题。为克服过往抑制震荡研究中仅用闭合环状模拟道路和仿真车辆轨迹开展训练的局限性,选用NGSIM轨迹数据中交通震荡阶段的驾驶员行为特征搭建训练环境,应用双延迟深度确定性策略梯度算法（Twin Delayed Deep Deterministic Policy Gradient Algorithm,TD3）训练形成多目标优化的跟驰模型。进一步构建模型性能测试评价体系,对比分析TD3模型与其他传统模型在跟车与交通震荡2类测试场景中的表现。跟车测试场景实验结果表明：在舒适度与行驶效率上,TD3模型和传统自适应巡航控制（Adaptive Cruise Control, ACC）模型表现相近,二者均优于人类驾驶员;在安全性上,TD3模型相较于传统ACC模型安全隐患降低53.65%,相较于人类驾驶...     

驾驶风格对不同跟驰场景下跟驰行为影响分析

为了分析驾驶风格对不同跟驰场景下跟驰行为的影响,利用高逼真度驾驶模拟器设计晴天、雾天两种天气状况和自由流、拥挤流、阻塞流三种交通流状态组合的六类典型跟驰场景。以跟驰过程中的最大加速度、最大油门踏板受力、最大油门踏板受力速度作为指标,通过K-means聚类识别方法,对六类典型跟驰场景下不同驾驶风格的驾驶员进行聚类识别,并以跟车间距、车头时距为风险指标评价不同驾驶风格的驾驶员在六类典型跟驰场景下的跟驰风险。结果表明：六类典型跟驰场景下,不同驾驶风格驾驶员的跟驰行为存在明显差异;激进型驾驶风格驾驶员倾向保持更小的跟车间距和车头时距,跟驰过程中的碰撞风险更高;晴天和自由流场景下不同驾驶风格驾驶员跟驰行为差异性更加显著。     

基于长短期记忆模型的跟车距离预测研究

当前不少前向碰撞预警系统以预警距离作为预警的特征量对驾驶人进行预警,因此,提高对跟车距离的预测准度能够直观有效提高该前向碰撞预警系统的预警能力。研究通过驾驶模拟器构建跟车场景,收集了41名驾驶员的跟车行为数据,按照3:1的比例将试验数据划分为训练集和测试集。将驾驶人的跟车距离与速度作为长短期记忆模型的输入,跟车距离作为模型的输出,对驾驶人的跟车距离进行了预测分析研究。结果表明,利用该数据集的模型能够很好的预测驾驶人的跟车行为,泛化性能较好,没有过度拟合现象。并且通过输入不同时间窗口长度的测试集发现,随着测试集长度的降低,预测结果的误差会更大。能够为提高前向碰撞预警系统的精准度提供理论支持,从而增加驾驶员对预警系统的接受度。     

基于驾驶员跟车习惯的报警/避撞算法研究

在驾驶员实车实验的基础上,研究跟车工况中的驾驶员行为特性和习惯,建立驾驶员跟随车距模型,并结合对车辆制动过程的分析,研究分别基于驾驶员制动行为特性和驾驶员跟随车距模型的报警/避撞算法,通过改变算法的参数值,可使算法得到的报警/避撞时机符合不同驾驶员的驾驶习惯。利用实验数据对算法进行离线检验,验证该算法在报警/避撞系统中的适用性。     

汽车跟车预警仿真及评价研究

为了提高高速公路汽车跟车行驶的安全性,从驾驶员特性、汽车特性、道路特性及交通流特性的角度,以经典的牛顿力学理论为依据,充分考虑制动前驾驶员的反应时间,分别建立了9种状态下的临界安全车距模型、基本安全车距模型和充分安全车距模型.在此基础之上,建立了驾驶员跟车行驶安全度评价模型,并利用驾驶模拟系统,对追尾预警模型及驾驶员跟车行驶安全性评价模型应用于仿真平台的有效性进行了验证.驾驶模拟实验结果表明,预警模型有效、可靠,可用于驾驶员跟车安全性检验,为提高驾驶员高速跟车行驶的安全性及速度控制提供了理论依据.     

网联通信时延下的混合队列控制特性分析

针对CACC协同自适应巡航控制技术,探究其在车联网通信时延影响下,与驾驶员驾驶汽车共存而构成的混合队列系统的性能.从微观跟车行为角度,基于频域传递函数,推导通信时延下的CACC队列稳定最小跟车时距的理论表达式,并通过数值验证指出CACC队列稳定最小跟车时距随通信时延增大而增大的特性.从交通激波特性角度,针对无时延CAC...     

基于危险场景聚类分析的前车随机运动状态预测研究

我国道路情况复杂多变,构建合适的测试场景对汽车智能驾驶系统测试和评价的有效性起着决定性作用。本文中从我国实际道路出发,从自然驾驶数据中提取具有中国特色的典型场景,筛选出自然驾驶数据中危险工况数据片段,基于此提取出汽车智能驾驶系统综合测试的场景特征要素,并利用聚类分析法得到3类典型危险场景。采用马尔可夫链理论表征前车人类驾驶员驾驶车辆的随机运动特性,将聚类得到各场景下的自车数据作为前车历史工况数据,归纳学习得出马氏链转移概率,并通过马尔可夫链蒙特卡洛模拟预测未来时刻的状态,基于此得到危险场景中前车随机运动预测模型,通过对比原始工况数据验证预测模型的有效性,有效解决了由于采集设备精度低导致的前车数据不准、在测试场景中不能准确表征前车人类驾驶员驾驶车辆随机运动的问题。     

基于逆向强化学习的纵向自动驾驶决策方法

基于人类驾驶员数据获得自动驾驶决策策略是当前自动驾驶技术研究的热点。经典的强化学习决策方法大多通过设计安全性、舒适性、经济性相关公式人为构建奖励函数,决策策略与人类驾驶员相比仍然存在较大差距。本文中使用最大边际逆向强化学习算法,将驾驶员驾驶数据作为专家演示数据,建立相应的奖励函数,并实现仿驾驶员的纵向自动驾驶决策。仿真测试结果表明：相比于强化学习方法,逆向强化学习方法的奖励函数从驾驶员的数据中自动化的提取,降低了奖励函数的建立难度,得到的决策策略与驾驶员的行为具有更高的一致性。     

基于认知风险动态平衡的智能汽车跟车模型

针对复杂交通环境下异质车型带来的跟车风险与行车效率权衡的决策难题,在分析自然驾驶数据的基础上,提出基于认知风险动态平衡的智能汽车拟人化跟车模型。首先,针对4种不同的货车-轿车组合跟车模式,建立跟车距离的经验模型,提炼出驾驶人稳态跟车行为中存在的车头时距和逆碰撞时间的“两不变”规律,通过作图法获得平衡线;其次,从驾驶过程中认知风险与加速度响应之间动态平衡的角度揭示了跟车决策的机理,将常用的跟车模型统一在认知风险动态平衡的框架内;最后,提出一种简洁的非线性函数实现认知风险动态平衡的数学表述,利用实测跟车数据验证了模型的准确性。     

基于深度学习的分心驾驶行为检测方法

针对现有分心驾驶行为检测方法存在的检测精度低、实时性差等问题，利用基于深度学习的目标检测方法进行了驾驶员分心驾驶行为检测，首先构建分心驾驶行为数据集，包括驾驶员使用手机、饮水和吸烟3种行为的图像，并进行目标物的标注，然后选用轻量化目标检测模型NanoDet进行训练验证，结果表明，该方法可以准确并快速地识别出驾驶员在驾驶过程中使用手机、饮水和吸烟的行为。     

数据驱动的智能车个性化场景风险图构建

为实现智能车辆危险预警辅助功能，精确建立个体驾驶员的个性化辅助系统，提出一种数据驱动的智能车个性化场景风险图构建方法。构建复杂交通场景中动静态要素属性与要素之间隐含交互关系的图表征，使用图核方法对图表征数据进行相似性度量，处理分析驾驶员操作数据并获取驾驶员个性化场景危险程度评价标签。基于支持向量机训练识别模型，建立驾驶员个性化危险评价机理与场景特征之间的映射关系，以模型输出的危险程度评价标签与真实值进行实验对比。结果表明，基于场景风险图构建的驾驶员个性化危险场景识别模型识别准确率可达95.8%，比特征向量表示法提高了38.2%，能够有效地做出基于驾驶员驾驶风格的个性化场景危险程度评价。     

基于TD3算法的人机混驾交通环境自动驾驶汽车换道研究

提高人类驾驶人的接受度是自动驾驶汽车未来的重要方向,而深度强化学习是其发展的一项关键技术。为了解决人机混驾混合交通流下的换道决策问题,利用深度强化学习算法TD3（Twin Delayed Deep Deterministic Policy Gradient）实现自动驾驶汽车的自主换道行为。首先介绍基于马尔科夫决策过程的强化学习的理论框架,其次基于来自真实工况的NGSIM数据集中的驾驶数据,通过自动驾驶模拟器NGSIM-ENV搭建单向6车道、交通拥挤程度适中的仿真场景,非自动驾驶车辆按照数据集中驾驶人行车数据行驶。针对连续动作空间下的自动驾驶换道决策,采用改进的深度强化学习算法TD3构建换道模型控制自动驾驶汽车的换道驾驶行为。在所提出的TD3换道模型中,构建决策所需周围环境及自车信息的状态空间、包含受控汽车加速度和航向角的动作空间,同时综合考虑安全性、行车效率和舒适性等因素设计强化学习的奖励函数。最终在NGSIM-ENV仿真平台上,将基于TD3算法控制的自动驾驶汽车换道行为与人类驾驶人行车数据进行比较。研究结果表明：基于TD3算法控制的车辆其平均行驶速度比人类驾驶人的平均行车速度高4.8%,在安全性以及舒适性上也有一定的提升;试验结果验证了训练完成后TD3换道模型的有效性,其能够在复杂交通环境下自主实现安全、舒适、流畅的换道行为。     

危险驾驶工况场景的复杂度评估方法研究

本文中提出了一种对危险驾驶工况场景数据的采集和复杂度评估的方法。与大型实车路试中自然驾驶数据的采集方法不同的是,本文中基于高级驾驶辅助系统采集其报警前后数据,并将其作为危险驾驶工况数据进行研究;在分析危险驾驶工况场景数据及其影响因素的基础上,构建了包含不同环境、交通流和车辆相关因素的危险驾驶工况场景的复杂度评价指标体系;基于专家评分结果,应用层次分析法确定指标权重,得到了对危险驾驶工况场景进行复杂度评价的模型与方法,可用于智能汽车的仿真测试。     

车路协同条件下智能网联汽车一体化决策模型

为了探索当前有限数据条件下面临的无限交通场景问题,提出车路协同条件下基于深度强化学习智能网联汽车决策模型。利用Actor-Critic机制,以highway-env为数据来源,抽取144 h交通数据作为训练数据并进行验证,分析了智能网联汽车在不同车道数条件下的驾驶行为。结果显示,本模型汽车行程时间减少20%以上,碰撞概率减少25%以上,换道轨迹可以通过动力学跟踪。     

考虑噪声标签影响的驾驶员精神负荷状态评价

现有驾驶员精神负荷评价研究多以驾驶场景中有无次任务来给定驾驶员的精神负荷分类标签，但驾驶员在正常驾驶情景下也可能由于陷入自我思维而导致精神负荷的增加；此外，由于个体差异，同一驾驶次任务对不同驾驶员精神负荷的影响也不尽相同。因此，由传统方法所制作的数据集可能存在噪声标签，从而影响精神负荷评价模型的训练效果。针对此类问题，本文中采用置信学习的方法对驾驶员的精神负荷分类标签进行检测和滤除，使用处理过的标签，以脑电、心电和皮电信号特征作为模型输入，基于支持向量机、随机森林、K近邻、决策树、逻辑回归和多层感知机等多种算法构建驾驶员精神负荷模型，对比分析噪声标签处理对提高各类模型性能的效果。结果表明：使用置信学习进行噪声标签处理后，所构建的多种驾驶员精神负荷模型的性能均得到了明显的改善，其中，支持向量机模型的性能提升的效果最佳。     

基于非合作博弈威胁度的智能驾驶策略研究

本文基于非合作博弈竞争威胁风险度（CTRD），提出了在风险驾驶场景中的智能驾驶决策及执行算法系统。基于实时采集的博弈双方直接和间接信息，进行浅层和深层分析，计算每次竞争行为的CTRD，并在持续高频的连续博弈场景中对博弈威胁风险水平（CTRL）综合度量分类，以此建立驾驶员行为风险评估模型并标签化处理。此方法可描述具备较强相关性和行为逻辑的交互竞争，通过理性妥协以避免攻击性鲁莽驾驶行为造成的碰撞事故，在保障系统对危险驾驶场景及行为做出安全决策基础上提高通行效率。实验采用3 000多组实际道路的切入数据，对其中涉及博弈竞争行为进行比较分析。结果显示，在连续交互非合作博弈回合中，面对竞争威胁挑战，基于CTRD的驾驶策略预测与驾驶员实际行动呈相关性分布，标签化的CTRL对实际博弈行为预测符合度为94%。     

驾驶员接管自动驾驶车辆研究进展

为全面认识自动驾驶接管行为特征,分析驾驶员接管行为,结合自动驾驶接管的技术和现实背景,从自动驾驶接管绩效的影响因素,包括场景、技术、心理和生理等因素,梳理国内外驾驶员接管自动驾驶车辆的研究成果,总结主要研究内容和方法,并展望其未来研究趋势.通过归纳和分析揭示了影响驾驶员接管自动车辆的因素,主要包括接管场景和接管请求方式,同时非驾驶相关任务和年龄等因素也会影响驾驶员的接管行为和表现.针对驾驶员接管的驾驶特征及行为研究,内容精确丰富,方法科学完善;而对驾驶员接管绩效评价和干预研究,重点关注在统计学的基础上,建立完善的数据指标评价体系,用于评价和干预驾驶员接管绩效.未来针对自动驾驶接管的研究,一方面寻求自动车辆技术突破;另一方面综合心理学和统计学理论基础,建立驾驶员接管能力培训体系.      

基于大数据的驾驶风格识别算法研究

开展了基于大数据识别驾驶员驾驶风格的方法,建立驾驶风格识别数据库,包含80名驾驶员并覆盖不同性别、年龄、驾龄、驾驶习惯等属性,从数据库中提取能够反映驾驶风格的工况,包括换道、转弯、跟车等7种工况总计万余条工况数据,最后利用K均值聚类方法和D-S证据理论决策融合方法进行聚类分析,训练并测试了驾驶风格识别模型。经过验证,所提出的驾驶风格识别方法查准率达到80%。     

基于注意力机制的多模态自动驾驶行为决策模型

针对现有端到端自动驾驶模型未考虑驾驶场景中不同区域的重要性和不同语义类别之间的关系而导致预测准确率低的问题，受驾驶人注意力机制和现有端到端自动驾驶模型的启发，充分考虑驾驶场景的动态变化、驾驶场景的语义信息和深度信息对驾驶行为决策的影响，以连续多帧驾驶场景的RGB图像为输入，构建一种基于注意力机制的多模态自动驾驶行为预测模型，实现对方向盘转角和车速的准确预测。首先，通过语义分割模型和单目深度估计模型分别获取RGB图像的语义图像和深度图像；其次，为剔除与驾驶行为决策无关信息，以神经科学和空间抑制理论为基础，设计一种拟人化注意力机制作为能量函数来计算驾驶场景中不同区域的重要度；为学习语义图像中与驾驶行为决策最为相关类别之间的关系，采用图注意力网络(Graph Attention Network,GAT)对驾驶场景的语义图像进行特征提取；然后，以保留RGB特征为原则对提取的驾驶场景的图像特征、语义特征和深度特征进行融合，采用卷积长短期记忆网络(Convolutional Long Short Term Memory,ConvLSTM)实现融合特征在连续多帧之间的传递，进而实现下一帧驾驶场景对应驾驶行为的预测；最后，与其他模型的对比试验、消融试验、泛化试验和特征可视化试验来充分验证所提出自动驾驶行为预测模型的性能。试验结果表明：与其他驾驶行为预测模型相比，所提出模型的训练误差为0.021 2，预测准确率为86.97%，均方误差为0.031 5，其驾驶行为的预测性能优于其他模型；连续多帧的语义图像和深度图像、拟人化注意力机制和面向语义特征提取的GAT有助于提升驾驶行为预测的性能；该模型具有较好的泛化能力,其做出驾驶行为预测所依赖的特征与经验丰富的驾驶人所关注的特征基本一致。     

汽车-动力两轮车碰撞前驾驶员风险感知研究

人机共驾阶段人类驾驶员对驾驶环境保持较高的风险感知水平是保证及时有效、稳定安全接管的核心。本研究通过开展风险感知模拟驾驶试验,获取了驾驶员在典型汽车-动力两轮车碰撞场景下的驾驶行为及脑电响应数据。从驾驶行为层面以制动TTC(time to collision)和平均加速度为评价指标,利用分位数回归构建了驾驶员风险感知量化模型,通过独立样本检验发现驾驶经验、碰撞场景类型对驾驶员风险感知存在显著影响。在脑电响应层面,通过双独立样本检验及FDR校正发现Alpha频段与驾驶员风险感知显著相关。此外,提出了驾驶员风险感知神经机理,包括视觉感知与认知加工两个阶段。研究结果有助于提升人机共驾汽车的安全性。