基于DQN算法的支线集装箱船航线规划与配载协同优化方法

针对支线集装箱船运输中喂给港数和靠泊条件不一，以及集装箱船队船型多样的特点，考虑航线规划与配载环节在实际运输过程中的紧密联系，研究支线集装箱船航线规划与配载协同优化方法。采用两阶段分层方法研究航线规划与集装箱配载问题，设置多个港口、不同船型及其贝位和堆栈组合、不同尺寸集装箱的集合，并确定其间基本关系，实现两阶段优化过程的完整性和连续性。第一阶段以航线总运营成本最小为目标建立船舶航线规划模型，第二阶段从主贝计划角度出发进行配载优化，确认集装箱与堆栈的对应关系，以船舶混装堆栈数最小为目标建立船舶配载模型，保证船舶稳性在航线任意时段均满足要求，并减少堆栈混装数量，提高到港作业效率。为实现模型高效求解，基于深度强化学习的Deep Q-learning Network(DQN)算法架构，设计了航线规划与配载决策对应的马尔可夫过程，结合问题自身特征分别完成强化学习智能体状态空间、动作空间以及奖励函数设计，构建了两阶段分层求解的DQN算法。实验结果表明：随着船舶数量和船舶装载率的增加，模型精确求解的时间大幅增加，部分算例无法在600 s内完成求解，而DQN算法可实现快速求解；与模型及粒子群优化（Pa...