基于强化学习与安全约束的自动驾驶决策方法

在自动驾驶决策场景下,为解决强化学习算法安全性差、学习效率低的问题,提出一种在算法的训练阶段添加基于价值的安全约束和虚拟奖励的方法。首先,利用状态、动作价值函数和安全判断规则,对智能体执行的动作进行基于价值的安全约束,选择价值高且安全的动作。然后,向回放池添加包含虚拟奖励的预测轨迹数据,以补充由于约束而未能获取的试错动作信息和相应的状态、奖励信息。最后,为进行加减速和换道决策实验,基于修改后的高速公路仿真环境highway-env搭建了3车道高速公路场景,并以深度Q网络（Deep Q Network, DQN）算法为基础,分别训练和测试了无安全约束的算法、拥有基于规则的安全约束的算法和拥有基于价值的安全约束的算法。结果表明,考虑加速、减速、保持车速和车道、向左换道、向右换道共5种动作时,基于价值的安全约束算法的成功率比无安全约束的算法高3倍以上,平均回报提升28%;仅考虑向左换道、向右换道、保持车道这3种换道动作时,基于价值的安全约束算法的成功率比基于规则的安全约束算法高0.11,平均回报提升6%;都添加基于价值的安全约束时,考虑5种动作的算法相较于考虑3种动作的算法成功率低0.06但...     

基于深度强化学习的船舶航线自动规划

为解决传统船舶航线规划算法缺少对经验航线的参考及不适用于真实航行需求的问题,提出一种基于深度Q网络(Deep Q Network,DQN)船舶航线自动规划算法,用以在电子海图中提供拟合航道,生成适宜真实航行情况的自动规划航线.这种算法采用当前神经网络和目标神经网络2个二层神经网络结构,达到打乱数据相关性的目的,将智能体...     

基于深度强化学习的自动驾驶车辆跟驰行为建模

为提高自动驾驶车辆的跟驰性能,减轻交通震荡干扰的负面影响,研究了1种基于深度强化学习的自动驾驶跟驰模型。在现有奖励函数设计基础上融入对能源消耗的考虑,基于VT-Micro模型构建能耗相关项;同时对使用跟车时距构建行驶效率因素相关项的方法进行优化,添加虚拟速度来避免在交通震荡场景中出现计算溢出和车间距过近的问题。为克服过往抑制震荡研究中仅用闭合环状模拟道路和仿真车辆轨迹开展训练的局限性,选用NGSIM轨迹数据中交通震荡阶段的驾驶员行为特征搭建训练环境,应用双延迟深度确定性策略梯度算法（Twin Delayed Deep Deterministic Policy Gradient Algorithm,TD3）训练形成多目标优化的跟驰模型。进一步构建模型性能测试评价体系,对比分析TD3模型与其他传统模型在跟车与交通震荡2类测试场景中的表现。跟车测试场景实验结果表明：在舒适度与行驶效率上,TD3模型和传统自适应巡航控制（Adaptive Cruise Control, ACC）模型表现相近,二者均优于人类驾驶员;在安全性上,TD3模型相较于传统ACC模型安全隐患降低53.65%,相较于人类驾驶...     

基于模态及传递路径分析的整车轰鸣问题改善

模态及传递路径分析是车辆NVH特性研究的重要方法,振动噪声传递过程中的薄弱部位需结合传递路径及模态分析确定,薄弱部位零部件的振动噪声传递特性可通过模态分析得到。基于上述分析采取加强薄弱部位支撑等强化手段,改善薄弱部位的固有属性,避免共振,即可达到减小振动、降低噪声,提高整车乘坐舒适性的目的。整车轰鸣问题改善就是此类研究范畴,本文以改善某4缸乘用车整车轰鸣问题为目标阐述试验分析及解决过程。     

大型齿轮的新热处理方法——高频加热硬化处理

介绍了德国Reese公司正在开展大型零件的高频加热硬化处理的研究计划,并以大模数齿轮为实例,就渗碳硬化与高频加热硬化处理工艺进行比较,指出高频加热硬化处理能以低成本、高质量制造大型齿轮,且该工艺的环保性优良。     

深海油气夹层管稳态温度场分析

深海环境温度较低,高温含蜡原油会发生降温析蜡,导致堵塞管道,应增强管道的保温效果。夹层管复合结构具有较好承压能力和保温性能。文中利用FLUENT软件对层流及紊流流态下夹层管二维传热模型进行计算分析,得到2种工况下管道轴向及径向温度场,结合理论分析对数值模型进行验证,分析了原油入口流速、夹芯层厚度对管道温度场的影响。     

基于场景动力学和强化学习的自动驾驶边缘测试场景生成方法

为解决小概率高风险边缘测试场景的问题,本文提出一种基于场景动力学和强化学习的边缘场景生成方法,实现边缘场景的自动生成,能模拟真实世界中车辆间的对抗与博弈行为的特征。首先将随时间动态变化的场景模型由一组微分方程描述为场景动力学系统;然后利用神经网络作为通用函数逼近器来构造场景黑盒控制器,并基于强化学习实现边缘场景控制器的优化求解;最后以超车切入场景为例,在Matlab/Simulink软件进行仿真验证,结果表明,边缘场景强化生成模型在场景交互博弈、覆盖率和可重复测试等方面具有良好的性能。     

杨传堂:为涉海战略推进提供可靠的海上应急保障

<正>1月23日,交通运输部部长杨传堂主持召开国家海上搜救和重大海上溢油应急处置部际联席会议。他强调,要充分调动各方积极性,不断优化部际联席会议工作制度机制,提升工作合力,为国家经济社会发展尤其是涉海战略推进提供可靠的海上应急保障。杨传堂强调,2015年全国海上搜救和重大海上溢油应急处置工作要强化制度建设和顶层设计,指导推动地方海上搜救立法工作,固化相关工作制度,充分发挥科研院所"智囊团"作用和部际联席会议的指导监督职能;强化能     

海水-冰晶两相流非等温流动及传热研究

船舶在冰区航行时,存在冰晶颗粒混合海水流入船舶冷却系统现象。基于颗粒动力学理论,建立适用于海水-冰晶两相流的欧拉-欧拉双流体模型,耦合相间传热传质模型对海水-冰晶两相流在水平直管内流动及传热特性数值模拟。研究表明,冰晶颗粒流动过程中,在管道上部位置R=8~10mm处冰晶体积分数达到最大值,且随着速度增加而增大;当入口含冰率(IPF)为4%时,冰晶速度的最大值出现在管道中心轴线上方。当入口速度为1.0~3.0 m·s-1,含冰率4%~30%时,局部传热系数随入口速度及含冰率增大而增加。