铁路关键信息基础设施安全保障体系研究

铁路作为我国重要基础设施，在国民经济及综合交通运输中占有极其重要的地位。文章对铁路关键信息基础设施防护需求进行分析，提出铁路关键信息基础设施的基础保护、强化保护、协同保护3层安全保障体系框架，通过实施工程项目和系统实验室建设，完善了该保障体系建设，进一步提升了铁路关键信息基础设施整体安全保护能力。     

基于深度强化学习的自动化集装箱码头集成调度方法

针对自动化集装箱码头卸货过程中岸桥、智能运输机器人和场桥设备交互作业, 实际调度环境复杂多变等问题, 以最小化最大完工时间为目标, 构建基于混合流水车间的三阶段集装箱码头集成调度模型, 为解决自动化码头调度环境动态性强的特点, 使用1种深度强化学习算法(DDQN)进行求解。依据码头实际调度情况, 使用神经网络实时拟合动作-值函数, 把各阶段设备状态数据输入模型, 采用经验回放机制训练模型, 把单一启发式规则加复合启发式规则作为设备候选行为, 通过强化学习动作选择与动作评估机制, 得到最优的集装箱-设备组合策略, 并与精确算法和常用的几种元启发式策略进行对比分析。结果表明: 较大规模算例下, 与目前较为先进的粒子群算法相比, 所提方法的总作业时间平均降低了7.84%, 与理论下界值的差距分别为6.0%, 5.6%, 4.6%, 三阶段设备负载较为均衡, 设备平均利用率为89%, 满足实际应用需求; 小规模算例下, 与Gurobi求解器的总完工时间平均误差为1.99%, 且随着算例规模增加, 所提算法在求解时间上显现出一定的优势, 求解时间最大提升59%, 验证了所提方法对于提升自动化集装箱码头运行效率的可行性和高效性。      

车联网环境下自动驾驶车辆动态障碍物协作避让模型

车路协同和车联网的发展为车辆群体之间的协作控制提供了可能.本文关注的是在车联网环境下,自动驾驶车辆群体避让动态障碍物的问题,目标是实现在不损失车辆个体效益的同时,可以达到车辆群体系统最优.本文提出了一种基于深度强化学习算法(DQN)的自动驾驶车辆群体协作避让动态障碍物的模型.模型在学习过程中考虑了车辆的安全性、单个车辆和车辆群体的行驶效率,并加入了车辆的换道协作机制.仿真验证结果表明,与现有的非协作避障模型相比,该模型可以显著地提高整体交通效率,在非常拥堵、比较拥堵和自由流三种给定的不同交通流状态下,车辆行驶效率(车辆平均速度)分别提高5.26％、21.44％、10.38％,整体车流量分别提高8.22％、34.47％、0％.     

基于强化学习的平行航班动态定价

由于平行航班之间的竞争越来越激烈,为提高航空公司收益,对机票销售系统中的航班和旅客分别建模。将航班的动态定价问题建模成马尔可夫博弈过程,对混合类型旅客建立Logit选择模型。利用多Agent的强化学习算法对实例进行求解,结果表明WoLF-PHC算法收敛所需迭代的次数大于Nash-Q算法,但在计算速度上WoLF-PHC算法优势明显,且具有较强的适应能力。此外,航空机票的定价策略与其他易逝品有所不同,整体呈现上升趋势。而旅客环境参数的变化,也会影响定价策略。基于WoLF-PHC算法得到的定价策略对于收益提升具有积极作用。     

基于Q-learning 的定制公交跨区域路径规划研究

考虑城市大客流通勤者跨区域出行需求，结合城市公交线网中乘客出行密集、客流走向规律等特点，提出一种跨区域定制公交的搭乘方案. 通过改进的Q-learning 模型对公交线路进行优化，为城市通勤者提供更加便捷和高效的出行服务. 通过综合路段拥堵状态、乘客需求及居民小区位置，设定了Q-learning 强化学习的奖惩函数，提升定制公交区域路径的直线系数、满载率、通行时间. 结果表明，所提出的改进方法能够降低通勤者跨区域通行的旅行时间，有效提高髙峰时段定制公交线网的通行效率.     

合金元素对热作模具钢力学性能和相组成的影响

对比研究经过热处理的3种不同合金元素含量热作模具钢的硬度、拉伸性能和冲击性能,探讨合金元素对其力学性能的影响规律.利用软件计算绘制出3种钢的相图,结合模拟结果与微观组织讨论第二相的强化机理.研究表明:H418钢塑韧性和硬度最高,H419钢强度最高,H407钢强度和硬度最低;H418钢第二相尺寸最小,弥散程度最大,H419钢第二相尺寸最大,数量最多,第二相尺寸大,强化作用以沉淀强化为主,第二相尺寸小且弥散,强化作用以细晶强化为主.     

基于深度强化学习的智能船舶航迹跟踪控制

[目的]智能船舶的航迹跟踪控制问题往往面临着控制环境复杂、控制器稳定性不高以及大量的算法计算等问题。为实现对航迹跟踪的精准控制,提出一种引入深度强化学习技术的航向控制器。[方法]首先,结合视线(LOS)算法制导,以船舶的操纵特性和控制要求为基础,将航迹跟踪问题建模成马尔可夫决策过程,设计其状态空间、动作空间、奖励函数;然后,使用深度确定性策略梯度(DDPG)算法作为控制器的实现,采用离线学习方法对控制器进行训练;最后,将训练完成的控制器与BP-PID控制器进行对比研究,分析控制效果。[结果]仿真结果表明,设计的深度强化学习控制器可以从训练学习过程中快速收敛达到控制要求,训练后的网络与BP-PID控制器相比跟踪迅速,具有偏航误差小、舵角变化频率小等优点。[结论]研究成果可为智能船舶航迹跟踪控制提供参考。