基于强化学习的智能车人机共融转向驾驶决策方法

针对智能车人机共融驾驶系统中人和自主驾驶系统的驾驶权连续动态分配问题,尤其是因建模误差导致的权重分配方法适应性低的难题,提出了基于强化学习的人机共融转向驾驶决策方法;考虑驾驶人的转向特性,搭建了基于双点预瞄的驾驶人模型,并采用预测控制理论建立了智能车自主转向控制模型,构建了智能车人机同时在环的转向控制框架;基于Actor-Critic强化学习架构,设计了用于人机驾驶权分配的深度确定性策略梯度(DDPG)智能体,以曲率契合度、跟踪精确性和乘坐舒适性为目标,提出了基于模型的收益函数;构建了人机共融驾驶权分配强化学习框架,包含驾驶人模型、自主转向模型、驾驶权分配智能体以及收益函数;为了验证方法的有效性,招募了8位驾驶人开展共计48人次的模拟驾驶试验。研究结果表明：在曲率适应性验证中,人机共融-DDPG方法优于人工驾驶和人机共融-Fuzzy方法,跟踪性平均提升70.69%、39.67%,舒适性平均提升18.34%、7.55%;在速度适应性验证中,车速为40、60和80 km·h^-1条件下,驾驶人权重大于0.5的时间占比分别为90.00%、85.76%、60.74%,且跟踪性相轨迹和舒适性相轨迹都能有效收敛。可见,提出的方法能够适应曲率和车速变化,在保证安全性的前提下提升了跟踪性和舒适性。     

基于深度强化学习的道路交叉口生态驾驶策略研究

在互联和自动驾驶环境下,生态驾驶具有显著的潜力,可提高交通效率并降低能源消耗和排放。本文探讨一种基于深度强化学习算法的生态驾驶策略,该算法可优化互联自动驾驶汽车(CAV)的纵向操纵和横向决策;将状态空间分为与车辆动态特性相关的局部变量,以及与信号交叉口相关的全局变量,确保CAV与环境之间的充分互动;奖励函数综合考虑了车辆的驾驶要求,与信号灯的协同作用以及全局节能激励因素;此外,设计一个典型的城市道路场景训练模型。结果表明,在信号灯和智能体输出协同控制下,本文提出的策略可以实现CAV的生态驾驶,并确保CAV准确驶入目标车道;在动态交通环境下进行仿真显示,通过控制多辆CAV引导人工驾驶车辆,本文方法可将交叉路口的通行能力提高约17.90%,并将交通系统的燃料消耗和污染物排放降低约8.76%。     

车联网环境下自动驾驶车辆动态障碍物协作避让模型

车路协同和车联网的发展为车辆群体之间的协作控制提供了可能.本文关注的是在车联网环境下,自动驾驶车辆群体避让动态障碍物的问题,目标是实现在不损失车辆个体效益的同时,可以达到车辆群体系统最优.本文提出了一种基于深度强化学习算法(DQN)的自动驾驶车辆群体协作避让动态障碍物的模型.模型在学习过程中考虑了车辆的安全性、单个车辆和车辆群体的行驶效率,并加入了车辆的换道协作机制.仿真验证结果表明,与现有的非协作避障模型相比,该模型可以显著地提高整体交通效率,在非常拥堵、比较拥堵和自由流三种给定的不同交通流状态下,车辆行驶效率(车辆平均速度)分别提高5.26％、21.44％、10.38％,整体车流量分别提高8.22％、34.47％、0％.     

一种基于强化学习的传感器网络应用重构决策方法

利用马尔可夫决策过程模型对传感器网络重构决策问题进行建模,提出了一种规则推理和强化学习相结合的动态应用重构决策方法.以能量约束和环境自适应性作为学习目标,设计了一个基于Q-学习的重构决策算法,使重构决策能够适应环境条件的变化.仿真结果表明基于强化学习的动态决策可以使传感器节点在运行过程中不断学习其所部署环境中异常事件发生的规律,自适应地调整节点上的应用,达到以较小的能耗获得较准确的监测效果的目标.     

基于神经元学习的拖拉机自动驾驶复合模糊控制方法

建立了拖拉机自动驾驶横向控制的力学模型,提出了一种用于拖拉机自动驾驶的基于神经元学习的复合模糊控制方法,设计了模糊控制规则以及神经元学习整定PID（比例积分微分）的算法。用simulink对基于神经元学习的复合模糊控制方法进行了仿真验证,结果表明,所提出的方法和规则用于拖拉机自动驾驶是可行的。     

基于柔性演员-评论家算法的决策规划协同研究

为了解决基于常规深度强化学习(Deep Reinforcement Learning, DRL)的自动驾驶决策存在学习速度慢、安全性及合理性较差的问题,本文提出一种基于柔性演员-评论家(Soft Actor-Critic,SAC)算法的自动驾驶决策规划协同方法,并将SAC算法与基于规则的决策规划方法相结合设计自动驾驶决策规划协同智能体。结合自注意力机制(Self Attention Mechanism, SAM)和门控循环单元(Gate Recurrent Unit, GRU)构建预处理网络;根据规划模块的具体实现方式设计动作空间;运用信息反馈思想设计奖励函数,给智能体添加车辆行驶条件约束,并将轨迹信息传递给决策模块,实现决策规划的信息协同。在CARLA自动驾驶仿真平台中搭建交通场景对智能体进行训练,并在不同场景中将所提出的决策规划协同方法与常规的基于SAC算法的决策规划方法进行比较,结果表明,本文所设计的自动驾驶决策规划协同智能体学习速度提高了25.10%,由其决策结果生成的平均车速更高,车速变化率更小,更接近道路期望车速,路径长度与曲率变化率更小。     

基于强化学习的干线信号混合协同优化方法

交通拥堵已成为很多大中城市普遍存在的社会问题。信号控制作为缓堵保畅的重要措施之一,愈发受到社会关注。信号优化手段可分为模型驱动和数据驱动两类,且随着交通大数据的不断充实,基于强化学习的数据驱动方法日益成为新兴发展方向。然而,现有数据驱动类研究主要偏重于决策模型设计,缺乏对智能体结构的探讨;同时,在多路口协同方面多采用分布式策略,忽略了智能体之间信息交互,无法保障区域层面的整体最优性。为此,本文以干线信号为对象,构建一种多智能体混合式协同决策的信号优化方法。首先,针对交通状态的多样性、异构性及数据不均衡性,设计分布训练-分区记忆的单智能体决策模型,并优化状态空间和回报函数,界定单路口控制的最佳方案;其次,融合分布式和集中式学习的模型优势设计多智能体交互方法,在单路口分布式控制的基础上,设置中心智能体评价局部智能体的决策行为并反馈附加回报以调整局部智能体的决策模型,实现干线多信号的协同运行。最后,搭建仿真平台完成效果测试与算法对比。结果表明：新方法与独立优化和分布式协同相比,在支路交通流基本不受影响的前提下,干线停车次数分别降低了14.8%和13.6%,具有更好的控制效果。     

高速公路驾驶安全方法

介绍了高速公路的构成特点，详细阐述了高速公路安全驾驶的方法，希望对广大驾驶员有所帮助。     

基于自适应迭代学习控制的列车自动驾驶算法

针对高速列车自动驾驶系统受到时变外部扰动和受限状态的情况,提出一种基于迭代学习控制的自适应控制算法. 基于Lyapunov 函数,利用列车运行过程中的状态偏差,推导出自适应迭代学习控制律和参数学习更新律. 构造类Lyapunov 函数的复合能量函数,通过迭代域的差分,证明其差分负定性和收敛性. 采用所提控制算法对列车跟踪性能进行计算机仿真和实例仿真验证,结果表明,所提出的自适应迭代学习控制算法对列车期望曲线跟踪具有较高的精度和较快的收敛速度,能够在较短的迭代次数实现对期望曲线的精确跟踪.     

双环相位结构约束下的强化学习交通信号控制方法

随着信息技术的快速发展,近年来深度强化学习方法在交通运输领域得到广泛应用,特别是在交通信号控制领域,已成为当前交通信号控制发展的重要方向。本文针对强化学习在交通信号控制领域应用中存在的随机相位选择导致无法实际应用的问题,提出了一种考虑NEMA双环相位结构的单点交通信号控制强化学习方法。以典型十字交叉口的NEMA双环相位结构为约束,设计优化了在相位切换决策过程中智能体的控制结构,通过增加1个智能体决定前置和后置相位顺序以提升相位切换的灵活性、部署2个智能体决定前置相位是否切换、设置1个智能体同时切断后置相位绿灯,通过经验共享机制,有效降低了状态-动作空间维度,提高了智能体训练效率。在此基础上,采用定制化PPO算法,基于SUMO仿真平台分析了不同交通需求、不同信号参数等场景下的单点深度强化学习信号控制方法的效果。结果表明,在高中低不同交通需求下,本文的方法都优于传统的固定相位相序方法。     

基于异步优势强化学习的交通信号控制策略

为解决交通信号控制中的信号灯配时调度不合理、路口拥堵等问题,提出一种基于行动者-评论家算法的城市智能交通控制算法。该算法是一种基于异步优势的算法,可对交通状态特征进行抽象表征,并以多线程并行实现对交通状态的精确感知。该算法还参考了强化学习算法,能在最短时间内不断迭代优化其内部参数,得到交通信号控制的最优方案。为验证该算法的有效性,采用交通仿真软件SUMO,对该算法和其他3种典型的交通信号控制算法进行模拟仿真,并对仿真结果进行比较和分析。研究结果表明：与这3类典型算法中效果最好的Qlearning算法相比,该算法的交叉口车辆平均延误时间减少了14.1%,平均队列长度缩短了13.1%,平均等待时间减少了13.5%。该交通信号控制算法能有效地改善城市道路拥堵,提高道路交叉口的通行效率。     

基于移动闭塞的列车自动驾驶系统

随着人们生活水平的稳步提高,生活节奏日益加快,城市的交通运输已成为影响和制约城市发展的重要因素。在城市轨道交通系统中,信号系统是保障运输安全与提高运营效益的重要设备。信号系统主要由列车自动监控（ATS）系统;列车自动防护（ATP）系统;列车自动运行（ATO）系统;计算机联锁（CI）系统组成。本文主要对基于移动闭塞ATC系统的列车自动运行（ATO）子系统其构成和基本功能进行详细介绍。     

基于深度强化学习的综合干线协调控制方法

针对社会车辆和专用道公交干线运行特性差异大、协调控制效果差的问题,提出一种集成社会车辆干线协调控制和公交干线优先控制的综合干线协调控制方法.首先,基于两者路段行程时间的分布差异,结合公交车辆上下游路口不停车通行概率分析,确定干线协调的关联交通状态和对应信号调整策略;然后,结合信号调整策略对车辆延误损失和公交优先收益的量...     

网联自动驾驶车辆道路交通安全研究综述

为全面了解网联自动驾驶交通安全领域的研究进展,利用文献计量方法通过Web of Science核心数据库对Connected and Automated (Autonomous) Vehicles、Connected (Autonomous) Vehicles、Traffic Safety (Accident, Crash, Collision, Conflict)等关键词进行检索,共获取2010至2021年2 130篇相关文献,涵盖5 474位作者和7 017个关键词;利用科学知识图谱对网联自动驾驶道路交通安全研究发展历程、研究归属地、研究主题与内容、研究热点等进行分析总结和可视化解析;通过研究主题和热点的分析指出未来研究方向。研究结果表明：网联自动驾驶道路交通安全研究经历了起步阶段、缓慢增长阶段和快速发展阶段;美国和中国是当今世界对网联自动驾驶道路交通安全领域贡献最大的2个研究主体;研究主题主要围绕宏微观交通流、交通系统影响(交通出行、交通环境、交通安全)、车辆安全避障与路径规划、交通安全评价等展开,研究热点重点围绕网联自动驾驶交通控制与系统优化、新型混合交通流交通安全分析、微观行为建模与仿真安全评估等;未来研究需重视由单车安全转向交通流事故风险传播研究,突破智能网联车队群体决策与编队控制技术,构建虚拟现实下智能网联数据化仿真环境与深度测试平台,挖掘网联自动驾驶人机共驾情境下驾驶人接管绩效评价体系,从而进行精细化的事故风险致因分析、交通安全建模与评估以及事故风险防控策略与算法研究。     

基于车辆自动驾驶的磁道钉编码系统设计与实现

论述了磁道钉编码系统对于以磁道钉方式导航的车辆自动驾驶的重要意义，提出了磁道钉编码方法，并说明了工作原理以及计算机的具体实现流程．结合具体工程给出了编码系统的编制过程，在交通部公路交通试验场的自动公路专用道路上进行了实车试验．试验结果表明，该编码系统可以为车载计算机提供准确信息，保证了弯道自动驾驶的稳定控制．     

驾驶技术、驾驶速度与公路行车安全分析

试论驾驶技术和驾驶速度在车辆行车中对车辆行车安全的分析,从它们的不同方面论述对行车安全的影响,以期认识到驾驶员培训工作、驾驶员良好习惯的养成、驾驶员道德修养等的重要性;使驾驶员在取得了驾驶资格后,充分了解驾驶技术对保证安全行车所起的基础保证;并在今后的驾驶中如何养成良好的驾驶作风和良好的驾驶习惯,认识到合理控制车速是安全驾驶的重要保证,合理运用车速对保证运输企业生产成本的相互影响;从而为减少事故,提高运输效率,确保社会和谐做出我们应有的贡献。     

基于磁道钉导航的车辆自动驾驶模型的优化设计

介绍了基于磁道钉导航的车辆自动驾驶的原理和实现方法,分析用此方法建立仿人控制模型来实际控制车辆自动驾驶的结果,指出仿人控制模型的不足之处.然后针对上述不足引入了新的参量,做了实车实验.在实验数据的基础上,优化了车辆自动驾驶直道模型,并提出弯道模型.     

基于高速公路自然驾驶数据的自动驾驶车辆跟驰智能性评价模型

为解决当前自动驾驶车辆跟驰智能性评价中存在的以主观评价为主、缺少微观驾驶行为数据支撑的问题,以高速公路自然驾驶数据为基础,从自动驾驶车辆与人工驾驶车辆驾驶行为一致性的角度出发,构建自动驾驶车辆跟驰智能性评价模型。首先,通过无人机视频拍摄和图像处理,获取了国内18个省份部分高速公路上的高精度车辆轨迹,利用K-means聚类方法提取了15 446组稳定跟驰数据。然后,采用描述性统计方法对速度、加速度、跟车间距及跟车时距等指标进行分析。通过Gamma分布拟合不同速度下的跟车间距,以不同速度下跟车间距众数为中心,将跟车间距按照样本量的70%、20%、10%划分为与人工驾驶车辆驾驶行为一致性较好、一般、较差等3种情况,以此为基础建立自动驾驶车辆跟驰智能性评价模型。最后,通过自动驾驶车辆跟驰试验,证明所建模型适用于自动驾驶车辆跟驰智能性评价,相比既有研究,该模型的特点是能基于全过程、微观跟驰行为数据对自动驾驶车辆做出综合的量化评价。这表明基于自然驾驶数据与驾驶行为一致性构建的模型能客观、量化评价自动驾驶车辆跟驰行为,可用于自动驾驶车辆跟驰行为研究与技术参数设计。     

基于动态概率网格和贝叶斯决策网络的车辆变道辅助驾驶决策方法

提出了一种车辆变道辅助决策方法, 向驾驶人提供变道行为决策; 构建了由车载GPS、相机传感器和雷达组成的行车环境信息传感装置, 利用非采样B样条曲线模型对车道线建模, 通过控制点位置求解与搜索策略实现车道线的检测、跟踪与类型识别; 根据车道线信息确立有效行车区域, 并建立了一种动态概率网格的行车环境几何模型, 对有效行车区域进行紧凑型表征; 考虑了车辆对行车环境表征结果可靠性的影响, 根据高斯分布将车辆位置信息映射到动态概率网格中, 计算了每个行车单元的占用概率; 将车道线信息与网格单元占用概率作为初始节点状态参数, 输入贝叶斯决策网络, 估计概率网格单元的占用状态, 量化输出当前行车环境表征结果以及不变道、向左变道、向右变道3种变道决策的期望效用值, 通过计算各决策的期望效用值比率确定最优变道决策。试验结果表明: 在场景1中“向左变道”决策的期望效用值最大, 为0.70, 视为最优决策, 在其动态概率网格中, 右侧车道线“实线”状态参数为100.00%, 因此, “向右变道”决策效用期望值最小, 决策系统输出的最优决策“不变道”符合中国交通法规, 也表明检测车道线类型的必要性; 场景2的“不变道”和“向右变道”决策期望效用值分别为0.43和0.44, 比率接近1, 无法判断最优决策, 驾驶人可根据经验决定是否变道。     

基于驾驶特征的临界安全车距数学模型

在对传统动力学临界安全车距数学模型分析的基础上,给出了一种基于驾驶特征安全车距的建模方法,建立了适应驾驶特征的汽车纵向避撞安全车距模型.通过实时检测驾驶员的驾驶行为,建立了驾驶特征辨识模型,将驾驶特征、车况、路况、环境因子等因素融合到数学模型中,最后通过计算分析比较,验证了所建立的数学模型具有较高的准确性和实时性,对汽车主动避撞系统的研究具有较高的应用价值.