基于模仿学习和强化学习的智能车辆换道行为决策

本文中提出了一种基于模仿学习和强化学习的智能车辆换道行为决策方法.其中宏观决策模块通过模仿学习构建极端梯度提升模型,根据输入信息在车道保持、左换道和右换道中选择宏观决策指令,以此确定所需求解的换道行为决策子问题;各细化决策子模块通过深度确定性策略梯度强化学习方法得到优化策略,求解相应换道行为决策子问题,以确定车辆运动目...     

基于场景动力学和强化学习的自动驾驶边缘测试场景生成方法

为解决小概率高风险边缘测试场景的问题,本文提出一种基于场景动力学和强化学习的边缘场景生成方法,实现边缘场景的自动生成,能模拟真实世界中车辆间的对抗与博弈行为的特征。首先将随时间动态变化的场景模型由一组微分方程描述为场景动力学系统;然后利用神经网络作为通用函数逼近器来构造场景黑盒控制器,并基于强化学习实现边缘场景控制器的优化求解;最后以超车切入场景为例,在Matlab/Simulink软件进行仿真验证,结果表明,边缘场景强化生成模型在场景交互博弈、覆盖率和可重复测试等方面具有良好的性能。     

基于深度强化学习的智能网联车辆换道轨迹规划方法

以提高智能网联车辆换道安全和效率,降低燃油消耗为目的,该文提出了一种基于深度强化学习的智能网联车辆（ICV）换道轨迹规划方法。分析复杂交通场景智能网联车辆换道功能需求,设计了分层式智能网联车辆换道轨迹规划架构;兼顾车辆安全和换道效率,设计了基于完全信息纯策略博弈的换道行为决策模型;解耦车辆纵横向运动状态,构造了以燃油消耗和乘客舒适度为目标的联合优化函数,提出了基于双延迟深度确定性策略梯度（TD3）的智能网联车辆纵横向换道轨迹规划方法,得到了车辆纵横向优化换道轨迹,并利用搭建的3个典型换道仿真场景,验证了算法的有效性。结果表明：与深度确定性策略梯度（DDPG）算法相比,提出的方法在左换道和右换道实验中的训练效率平均提升了约10.5%,平均油耗分别减少了65%和44%,而且单步轨迹规划时间在10 ms内,能够实时获取安全、节能、舒适的换道轨迹。     

基于多智能体深度强化学习的停车系统智能延时匹配方法

“互联网＋”模式下区域停车“用户-资源”优化匹配是解决找车位难问题的有效途径,传统研究主要关注动态匹配机制设计,缺乏对用户匹配时机的考虑。在随机动态环境下,用户到达目的地附近后进行适当的延时等待,往往可以获得更优质的泊位资源,但取决于当前的停车供需模式。据此首次提出智能延时匹配策略,将每个停车用户抽象为智能体,构建多智能体深度Q学习模型(M-DQN)。结合系统的停车供需状态学习,用户自主决策延时等待时间,进入分配池后,系统利用匈牙利算法进行泊位匹配。在智能体总数量可变的环境下,利用集中式训练与分布式执行的框架,实现多智能体协同优化。为对比智能延时策略的效果,设计等待零时长策略(Greedy)和等待最大时长策略(Max Delay)。在算例中,结合同济大学四平路校区实测停车数据,设计3种不同的停车供需模式场景。在工作日早高峰时段,Greedy是最优的匹配策略,M-DQN和Max Delay的平均停车过程总用时会增加,匹配成功率下降;在工作日非高峰时段,M-DQN的平均停车过程总用时相较于Greedy和Max Delay分别减少23.8%和22.4%,效果提升明显;在工作日晚高峰时段,M-DQN的平均停车过程总用时相较于Greedy和Max Delay分别减少了12.8%和14.5%,M-DQN可以结合供需状态学习到最优的匹配策略。研究结果表明：在停车供需相对平衡的环境下,所提出的延时匹配策略和多智能体深度强化学习方法可以有效减少用户停车的平均行驶时间和步行距离,且停车周转率越高效果越好;但延时策略在应用方面仍有一定的局限性,不适用于停车供给紧张,停车周转率较低的场景。     

基于深度强化学习的驾驶员跟车模型研究

为提升智能驾驶系统的纵向跟车性能,本文构建了一种基于深度强化学习的驾驶员跟车模型.首先,设计了跟车场景截取准则并从自然驾驶数据中筛选出符合条件的典型跟车场景,并对其数据进行统计分析,即采用相关系数法分析了车间距、相对速度和车头时距等因素对驾驶员跟车行为的影响机理,得出驾驶员跟车行驶过程的行为特性及其影响因素.接着,基于...     

基于逆向强化学习的纵向自动驾驶决策方法

基于人类驾驶员数据获得自动驾驶决策策略是当前自动驾驶技术研究的热点。经典的强化学习决策方法大多通过设计安全性、舒适性、经济性相关公式人为构建奖励函数,决策策略与人类驾驶员相比仍然存在较大差距。本文中使用最大边际逆向强化学习算法,将驾驶员驾驶数据作为专家演示数据,建立相应的奖励函数,并实现仿驾驶员的纵向自动驾驶决策。仿真测试结果表明：相比于强化学习方法,逆向强化学习方法的奖励函数从驾驶员的数据中自动化的提取,降低了奖励函数的建立难度,得到的决策策略与驾驶员的行为具有更高的一致性。     

基于分布式强化学习的车辆控制算法研究

端到端自动驾驶算法的开发现已成为当前自动驾驶技术研发的热点。经典的强化学习算法利用车辆状态、环境反馈等信息训练车辆行驶,通过试错学习获得最佳策略,实现了端到端的自动驾驶算法开发,但仍存在开发效率低下的问题。为解决虚拟仿真环境下训练强化学习算法的低效性和高复杂度问题,本文提出了一种异步分布式强化学习框架,并建立了进程间和进程内的多智能体并行柔性动作-评价（soft actor-critic, SAC）分布式训练框架,加速了Carla模拟器上的在线强化学习训练。同时,为进一步实现模型的快速训练和部署,本文提出了一种基于Cloud-OTA的分布式模型快速训练和部署系统架构,系统框架主要由空中下载技术（over-the-air technology, OTA）平台、云分布式训练平台和车端计算平台组成。在此基础上,本文为了提高模型的可复用性并降低迁移部署成本,搭建了基于ROS的Autoware-Carla集成验证框架。实验结果表明,本文方法与多种主流自动驾驶方法定性相比训练速度更快,能有效地应对密集交通流道路工况,提高了端到端自动驾驶策略对未知场景的适应性,减少在实际环境中进行实验所需的时间和资...     

基于深度强化学习的自动化集装箱码头集成调度方法

针对自动化集装箱码头卸货过程中岸桥、智能运输机器人和场桥设备交互作业, 实际调度环境复杂多变等问题, 以最小化最大完工时间为目标, 构建基于混合流水车间的三阶段集装箱码头集成调度模型, 为解决自动化码头调度环境动态性强的特点, 使用1种深度强化学习算法(DDQN)进行求解。依据码头实际调度情况, 使用神经网络实时拟合动作-值函数, 把各阶段设备状态数据输入模型, 采用经验回放机制训练模型, 把单一启发式规则加复合启发式规则作为设备候选行为, 通过强化学习动作选择与动作评估机制, 得到最优的集装箱-设备组合策略, 并与精确算法和常用的几种元启发式策略进行对比分析。结果表明: 较大规模算例下, 与目前较为先进的粒子群算法相比, 所提方法的总作业时间平均降低了7.84%, 与理论下界值的差距分别为6.0%, 5.6%, 4.6%, 三阶段设备负载较为均衡, 设备平均利用率为89%, 满足实际应用需求; 小规模算例下, 与Gurobi求解器的总完工时间平均误差为1.99%, 且随着算例规模增加, 所提算法在求解时间上显现出一定的优势, 求解时间最大提升59%, 验证了所提方法对于提升自动化集装箱码头运行效率的可行性和高效性。     

核电站云智能电源车的设计

为了满足核电站应急备用电源的需求,设计了6.3 kV核电站云智能电源车。结果表明:该电源车采用独特的两侧进风顶排风55℃水箱和3 G功率发动机,以及发动机、发电机独立进风风道,保证了电源车在50℃高温环境下满负载、长时间稳定运行;采用云服务平台监控技术,实现了对电源车运行参数的智能化实时监控;采用双马达独立/同时启动,及应急手动启动设计,机组启动时间短、可靠性高。     

基于强化学习DDPG的智能车辆轨迹跟踪控制

针对智能车辆在轨迹跟踪过程中的横向控制问题,提出一种基于强化学习中深度确定性策略梯度算法（Deep Deterministic Policy Gradient,DDPG）的智能车辆轨迹跟踪控制方法。首先,将智能车辆的跟踪控制描述为一个基于马尔可夫决策过程（MDP）的强化学习过程,强化学习的主体是由Actor神经网络和Critic神经网络构成的Actor-Critic框架;强化学习的环境包括车辆模型、跟踪模型、道路模型和回报函数。其次,所提出方法的学习主体以DDPG方法更新,其中采用回忆缓冲区解决样本相关性的问题,复制结构相同的神经网络解决更新发散问题。最后,将所提出的方法在不同场景中进行训练验证,并与深度Q学习方法（Deep Q-Learning,DQN）和模型预测控制（Model Predictive Control,MPC）方法进行比较。研究结果表明：基于DDPG的强化学习方法所用学习时间短,轨迹跟踪控制过程中横向偏差和角偏差小,且能满足不同车速下的跟踪要求;采用DDPG和DQN强化学习方法在不同场景下均能达到训练片段的最大累计回报;在2种仿真场景中,基于DDPG的学习总时长分别为DQN的9.53%和44.19%,单个片段的学习时长仅为DQN的20.28%和22.09%;以DDPG、DQN和MPC控制方法进行控制时,在场景1中,基于DDPG方法的最大横向偏差分别为DQN和MPC的87.5%和50%,仿真时间分别为DQN和MPC的12.88%和53.45%;在场景2中,基于DDPG方法的最大横向偏差分别为DQN和MPC的75%和21.34%,仿真时间分别为DQN和MPC的20.64%和58.60%。     

基于深度学习网络模型的车辆类型识别方法研究

为了将有效地识别车辆类型用于智慧交通系统,本文在分析Inception V3模型的基础上,提出了一种基于迁移学习理论的车型分类深度学习模型。该模型首先在Inception V3模型的基础上去除最后的全连接层,并加入参数优化层,然后采用Dropout和全局平均池化层。理论分析和试验结果表明,该模型的性能优于基于VGG-16的车型分类模型、基于Xception的车型分类模型和基于Resnet50的车型分类模型,其训练精度优于96.48%、测试精度优于83.86%。     

智能网联车辆交通信息处理技术与信号控制方法研究

随着科学技术的不断加强,智能网联车辆的数量也在不断增加,在智能交通系统发展中,车联网发挥了重要作用,人们对于车联网的研究也越来越多和越来越深入,为了能够使车联网更好的普及,应该加强对智能网联车辆交通信息技术和信号控制的研究。本文基于目前车联网发展现状对智能网联车辆信息处理技术和信号控制的方法进行探讨研究,以供参考。     

基于深度强化学习的车辆跟驰控制

针对自适应巡航控制系统在控制主车跟驰行驶中受前车运动状态的不确定性影响问题,在分析车辆运动特点的基础上,提出一种能够考虑前车运动随机性的跟驰控制策略。搭建驾驶人实车驾驶数据采集平台,招募驾驶人进行实车跟驰道路试验,建立驾驶人真实驾驶数据库。假设车辆未来时刻的加速度决策主要受前方目标车辆运动影响,建立基于双前车跟驰结构的主车纵向控制架构。将驾驶数据库中的驾驶数据分别视作前车和前前车运动变化历程,利用高斯过程算法建立了前车纵向加速度变化随机过程模型,实现对前方目标车运动状态分布的概率性建模。将车辆跟驰问题构建为一定奖励函数下的马尔可夫决策过程,引入深度强化学习研究主车跟驰控制问题。利用近端策略优化算法建立车辆跟驰控制策略,通过与前车运动随机过程模型进行交互式迭代学习,得到具有运动不确定性跟驰环境下的主车纵向控制策略,实现对车辆纵向控制的最优决策。最后基于真实驾驶数据,对控制策略进行测试。研究结果表明：该策略建立了车辆纵向控制与主车和双前车状态之间的映射关系,在迭代学习过程中对前车运动的随机性进行考虑,跟驰控制中不需要对前车运动进行额外的概率预测,能够以较低的计算量实现主车稳定跟随前车行驶。     

基于云理论的路网可靠性评估方法

以科学评估路网可靠性为目标,认为该问题涉及到对路网可靠性的认知和表达两个方面。视路网可靠性为模糊性与随机性的统一,从而发现其理论基础同云理论有着内在联系,进而采用云理论研究路网整体可靠性的评估。根据路网综合失效的严重程度,将路网可靠性划分为6个等级,将影响可靠性的因素划分为5大类别,并采用路网综合性能模型对5个类别的影响因素进行衡量、对路网可靠性所属等级进行评判。鉴于人脑的思维是对路网可靠性认知与表达的主体,而自然语言是思维的载体,故以语言值来表示可靠性的定性概念与其定量数值之间的不确定性转换,并通过应用分析描述了该方法的应用过程。     

基于DLP投影的智能像素前照灯研究

本文介绍一种基于DLP投影的智能像素前照灯系统,其以LED作为光源,DMD芯片作为核心器件,基于数字光处理(DLP)技术,结合智能识别控制算法,实现全数字化操控,可扩展性好,控制精度高达百万像素级别。     

基于点云数据的大型复杂钢拱桥智能虚拟预拼装方法

基于点云数据的虚拟预拼装主要包括点云数据采集、拼接控制点提取和拼接控制点匹配。针对完整点云数据存在采集困难、处理成本高等问题,提出用局部点云数据代替完整点云数据进行虚拟预拼装的策略;针对目前拼接控制点提取存在依赖专用软件、效率低且主观性大等问题,基于随机采样一致性、霍夫变换等经典算法和图像处理技术提出大型复杂构件横截面和侧面点云数据的拼接控制点智能提取方法;针对拼接控制点对应关系需人工设定的问题,基于超四点快速鲁棒匹配算法、迭代最近邻算法和广义普氏算法提出拼接控制点智能匹配方法。以大型复杂钢拱桥为例,采用所提的方法对拱肋牛腿-拱间横梁节段和拱肋节段-拱肋节段进行智能虚拟预拼装。工程应用结果表明：所提出的智能虚拟预拼装方法不依赖专用软件、效率高、自动化程度好。研究成果可为钢桥施工质量和安装效率的提升提供理论和算法支撑。     

基于智能网联汽车静态电流控制方法浅析

本文介绍智能网联汽车静态电流产生对整车的影响,以及如何通过系统性改进的方法来降低接KL30常电控制器模块的静态电流的控制方法,从而避免整车亏电现象的出现。     

基于云理论的公路网交通适应性评价方法

公路网的交通适应性既存在模糊性也存在随机性,但目前国内公路网交通适应性评价方法只侧重其中的某一方面,这显然是欠科学的。基于模糊理论和概率论的云理论具有同时处理模糊和随机问题的能力,并且过程简单,容易实现。研究了如何应用云理论来处理公路网交通适应性评价过程中的模糊性和随机性问题,设计了具体的评价步骤,并以湖北省恩施自治州和黑龙江省公路网为例给出了如何应用云理论进行评价的过程,评价结果表明与实际情况相吻合。与传统评价方法相比,本文提出的方法非常便于评价公路网的交通适应性,并且具有在给出评价结果的同时还能给出评价结果可信度信息的优点。