基于Q学习的参数自适应S面控制方法

复杂的动力学特性及多变的海洋环境对无人水下航行器（UUV）控制器的设计提出了巨大挑战,在实际应用中,控制器的参数经人工调试后便固化,在控制过程中无法适应环境的变化。针对上述难题,该文借鉴自适应控制思想,提出一种基于强化学习的参数自适应S面控制方法,采用自适应控制方式实现不同环境下控制器参数的优化和自动整定。该方法采用Q学习算法进行训练,通过Q学习的自学习机制寻找输入状态和输出动作间的最优映射。仿真试验表明,所提方法能对控制器的参数进行实时在线调整,具备良好的控制效果和环境自适应能力。     

以打造世界一流集装箱码头为目标强化作业效率管理(续前)

2．5 合理调配资源,有效提高综合资源生产率现代集装箱码头高度机械化的作业特点决定了其固定设备的投资是十分巨大的,作为其经营主体的码头公司必须考虑企业的生存及盈利问题,因此也不可能无限制的投入机械设备。同时,集装箱码头即使规模     

大型齿轮的新热处理方法——高频加热硬化处理

介绍了德国Reese公司正在开展大型零件的高频加热硬化处理的研究计划,并以大模数齿轮为实例,就渗碳硬化与高频加热硬化处理工艺进行比较,指出高频加热硬化处理能以低成本、高质量制造大型齿轮,且该工艺的环保性优良。     

冷链货物非接触式智能搬运系统

为提升冷链货物搬运作业的自动化水平和整体效率,降低一线作业员感染新冠病毒的风险,研究基于传统人工冷库条件的冷链货物非接触式智能搬运系统工艺方案。在拆装箱环节,运用机器视觉和无线遥控等技术实现低温复杂环境下盒装货物自动化拆装箱技术;在码垛环节,运用强化学习算法优化码垛机器人多货型堆码作业;在货物冷库货架堆存环节,基于5G通信技术设计超高位叉车无人驾驶和远程装卸系统方案。应用结果表明,系统能够在一定程度上提升冷链库作业效率、降低人工货物接触频次和人工成本。     

基于深度强化学习的自动驾驶车辆跟驰行为建模

为提高自动驾驶车辆的跟驰性能,减轻交通震荡干扰的负面影响,研究了1种基于深度强化学习的自动驾驶跟驰模型。在现有奖励函数设计基础上融入对能源消耗的考虑,基于VT-Micro模型构建能耗相关项;同时对使用跟车时距构建行驶效率因素相关项的方法进行优化,添加虚拟速度来避免在交通震荡场景中出现计算溢出和车间距过近的问题。为克服过往抑制震荡研究中仅用闭合环状模拟道路和仿真车辆轨迹开展训练的局限性,选用NGSIM轨迹数据中交通震荡阶段的驾驶员行为特征搭建训练环境,应用双延迟深度确定性策略梯度算法（Twin Delayed Deep Deterministic Policy Gradient Algorithm,TD3）训练形成多目标优化的跟驰模型。进一步构建模型性能测试评价体系,对比分析TD3模型与其他传统模型在跟车与交通震荡2类测试场景中的表现。跟车测试场景实验结果表明：在舒适度与行驶效率上,TD3模型和传统自适应巡航控制（Adaptive Cruise Control, ACC）模型表现相近,二者均优于人类驾驶员;在安全性上,TD3模型相较于传统ACC模型安全隐患降低53.65%,相较于人类驾驶...     

基于深度强化学习的船舶航线自动规划

为解决传统船舶航线规划算法缺少对经验航线的参考及不适用于真实航行需求的问题,提出一种基于深度Q网络(Deep Q Network,DQN)船舶航线自动规划算法,用以在电子海图中提供拟合航道,生成适宜真实航行情况的自动规划航线.这种算法采用当前神经网络和目标神经网络2个二层神经网络结构,达到打乱数据相关性的目的,将智能体...     

基于强化学习与安全约束的自动驾驶决策方法

在自动驾驶决策场景下,为解决强化学习算法安全性差、学习效率低的问题,提出一种在算法的训练阶段添加基于价值的安全约束和虚拟奖励的方法。首先,利用状态、动作价值函数和安全判断规则,对智能体执行的动作进行基于价值的安全约束,选择价值高且安全的动作。然后,向回放池添加包含虚拟奖励的预测轨迹数据,以补充由于约束而未能获取的试错动作信息和相应的状态、奖励信息。最后,为进行加减速和换道决策实验,基于修改后的高速公路仿真环境highway-env搭建了3车道高速公路场景,并以深度Q网络（Deep Q Network, DQN）算法为基础,分别训练和测试了无安全约束的算法、拥有基于规则的安全约束的算法和拥有基于价值的安全约束的算法。结果表明,考虑加速、减速、保持车速和车道、向左换道、向右换道共5种动作时,基于价值的安全约束算法的成功率比无安全约束的算法高3倍以上,平均回报提升28%;仅考虑向左换道、向右换道、保持车道这3种换道动作时,基于价值的安全约束算法的成功率比基于规则的安全约束算法高0.11,平均回报提升6%;都添加基于价值的安全约束时,考虑5种动作的算法相较于考虑3种动作的算法成功率低0.06但...     

基于模态及传递路径分析的整车轰鸣问题改善

模态及传递路径分析是车辆NVH特性研究的重要方法,振动噪声传递过程中的薄弱部位需结合传递路径及模态分析确定,薄弱部位零部件的振动噪声传递特性可通过模态分析得到。基于上述分析采取加强薄弱部位支撑等强化手段,改善薄弱部位的固有属性,避免共振,即可达到减小振动、降低噪声,提高整车乘坐舒适性的目的。整车轰鸣问题改善就是此类研究范畴,本文以改善某4缸乘用车整车轰鸣问题为目标阐述试验分析及解决过程。     

高路堑中深孔挤压爆破的实践应用

根据金丽温高速公路第十一合同段高路堑路段石方数量巨大且较集中的特点，结合有利施工地形，采用了中深孔挤压爆破的施工技术，确保了路基工程的按时贯通，取得了良好的工程效果。实践证明在高速公路高路堑开挖中推广和应用中深孔挤压爆破技术是保证施工进度和确保施工质量的有效措施。