基于强化学习与安全约束的自动驾驶决策方法

在自动驾驶决策场景下,为解决强化学习算法安全性差、学习效率低的问题,提出一种在算法的训练阶段添加基于价值的安全约束和虚拟奖励的方法。首先,利用状态、动作价值函数和安全判断规则,对智能体执行的动作进行基于价值的安全约束,选择价值高且安全的动作。然后,向回放池添加包含虚拟奖励的预测轨迹数据,以补充由于约束而未能获取的试错动作信息和相应的状态、奖励信息。最后,为进行加减速和换道决策实验,基于修改后的高速公路仿真环境highway-env搭建了3车道高速公路场景,并以深度Q网络（Deep Q Network, DQN）算法为基础,分别训练和测试了无安全约束的算法、拥有基于规则的安全约束的算法和拥有基于价值的安全约束的算法。结果表明,考虑加速、减速、保持车速和车道、向左换道、向右换道共5种动作时,基于价值的安全约束算法的成功率比无安全约束的算法高3倍以上,平均回报提升28%;仅考虑向左换道、向右换道、保持车道这3种换道动作时,基于价值的安全约束算法的成功率比基于规则的安全约束算法高0.11,平均回报提升6%;都添加基于价值的安全约束时,考虑5种动作的算法相较于考虑3种动作的算法成功率低0.06但...     

基于深度强化学习的船舶航线自动规划

为解决传统船舶航线规划算法缺少对经验航线的参考及不适用于真实航行需求的问题,提出一种基于深度Q网络(Deep Q Network,DQN)船舶航线自动规划算法,用以在电子海图中提供拟合航道,生成适宜真实航行情况的自动规划航线.这种算法采用当前神经网络和目标神经网络2个二层神经网络结构,达到打乱数据相关性的目的,将智能体...     

基于深度强化学习的自动驾驶车辆跟驰行为建模

为提高自动驾驶车辆的跟驰性能,减轻交通震荡干扰的负面影响,研究了1种基于深度强化学习的自动驾驶跟驰模型。在现有奖励函数设计基础上融入对能源消耗的考虑,基于VT-Micro模型构建能耗相关项;同时对使用跟车时距构建行驶效率因素相关项的方法进行优化,添加虚拟速度来避免在交通震荡场景中出现计算溢出和车间距过近的问题。为克服过往抑制震荡研究中仅用闭合环状模拟道路和仿真车辆轨迹开展训练的局限性,选用NGSIM轨迹数据中交通震荡阶段的驾驶员行为特征搭建训练环境,应用双延迟深度确定性策略梯度算法（Twin Delayed Deep Deterministic Policy Gradient Algorithm,TD3）训练形成多目标优化的跟驰模型。进一步构建模型性能测试评价体系,对比分析TD3模型与其他传统模型在跟车与交通震荡2类测试场景中的表现。跟车测试场景实验结果表明：在舒适度与行驶效率上,TD3模型和传统自适应巡航控制（Adaptive Cruise Control, ACC）模型表现相近,二者均优于人类驾驶员;在安全性上,TD3模型相较于传统ACC模型安全隐患降低53.65%,相较于人类驾驶...     

基于模态及传递路径分析的整车轰鸣问题改善

模态及传递路径分析是车辆NVH特性研究的重要方法,振动噪声传递过程中的薄弱部位需结合传递路径及模态分析确定,薄弱部位零部件的振动噪声传递特性可通过模态分析得到。基于上述分析采取加强薄弱部位支撑等强化手段,改善薄弱部位的固有属性,避免共振,即可达到减小振动、降低噪声,提高整车乘坐舒适性的目的。整车轰鸣问题改善就是此类研究范畴,本文以改善某4缸乘用车整车轰鸣问题为目标阐述试验分析及解决过程。     

崇启通道 (上海段) 北支大桥桥梁总体设计

介绍了针对桥址处于长江上游河势演变区域以及北支口围垦范围内的桥梁总体设计。根据两个专题研究的结论,选择合理跨径以及相应的抗冲刷措施以达到设计的经济合理性。同时也介绍了桥梁跨越已有大堤时的方案比选,以取得更经济合理的方案等内容。     

超细粉煤灰高性能混凝土的早期塑性收缩变形研究

该文对长潭高速公路上使用的超细粉煤灰高性能混凝土性能进行了研究,结果表明在低水胶比情况下,在混凝土中掺入适量的超细粉煤灰不仅不会导致塑性收缩的增大,相反能有效地减小混凝土的表面塑性收缩,降低裂缝出现的可能性,从试验现象、机理分析和实际应用上可知超细粉煤灰在路面修补工程中的大面积推广应用具有重要意义。     

大型齿轮的新热处理方法——高频加热硬化处理

介绍了德国Reese公司正在开展大型零件的高频加热硬化处理的研究计划,并以大模数齿轮为实例,就渗碳硬化与高频加热硬化处理工艺进行比较,指出高频加热硬化处理能以低成本、高质量制造大型齿轮,且该工艺的环保性优良。     

316L不锈钢的高温单轴应变循环与棘轮行为试验研究

对３１６Ｌ不锈钢进行了单轴应变和应力控制下的室温和高温循环试验。研究了３１６Ｌ不锈钢在室温及高温的应变循环下的循环应变幅值以及应变幅值历史效应、平均应变对循环特性的影响。对该材料在应力循环下的应力辐值、平均应力及其历史对循环蠕变（棘轮效应）的影响进行了分析。发现３１６Ｌ在非对称单轴应力下的棘轮效应不但依赖于当前加载状态，而且依赖于其加载历史。