Multiple USV cooperative algorithm method for hunting intelligent escaped targets北大核心CSCD

[目的]针对无人艇协同围捕过程中逃跑目标具备智能性,现有无人艇策略难以围捕成功的问题,提出一种基于双层切换策略的多无人艇协同围捕算法。[方法]第1层围捕策略采用改进势点法,以无人艇与势点的总直线距离最小为优化目标,采用匈牙利算法为无人艇动态分配势点,并采用人工势场法实现无人艇的协同避碰;第2层围捕策略利用了阿波罗尼奥斯圆的性质,在两艘无人艇前往逃跑目标的目标点进行拦截,剩余无人艇运动方向保持与逃跑目标相同,以不断缩紧包围区域;为应对逃跑目标不同的逃跑方式,第1层围捕策略和第2层围捕策略可互相转化。[结果]仿真实验表明,该算法相较于顺序分配势点算法和极角分配势点算法,围捕时间更少或持平,证明了该算法的有效性和先进性。[结论]该多无人艇协同双层围捕算法,对具备典型智能性的逃跑目标具有围捕效果。     

多无人艇协同围捕智能逃跑目标方法研究

针对敌方船舶采用合围战术,研究我方无人艇（USV）被敌方船舶包围情况下的逃跑策略规划问题。

提出一种混合采样深度Q网络（HS-DQN）强化学习算法,逐步增加重要样本的回放频率,并保留一定的探索性,防止算法陷入局部最优。设计状态空间、动作空间和奖励函数,通过训练获得最优的USV逃跑策略,并从奖励值和逃脱成功率方面与DQN算法进行对比。

仿真结果表明,使用HS-DQN算法进行训练,逃脱成功率提高2%,算法的收敛速度提高了20%。

HS-DQN算法可以减少USV无效探索的次数,并加快算法的收敛速度,仿真实验验证了USV逃跑策略的有效性。

     

小型无人艇研究现状及关键技术

针对水面无人艇（USV）在干扰条件下航行稳定性差的问题,提出一种基于深度强化学习（DRL）算法的智能参数整定方法,以实现对USV在干扰情况下的有效控制。

首先,建立USV动力学模型,结合视线（LOS）法和PID控制器对USV进行航向控制;其次,引入DRL理论,设计智能体环境状态、动作和奖励函数在线调整PID参数;然后,针对深度确定性策略梯度 （DDPG）算法收敛速度慢和训练时容易出现局部最优的情况,提出改进DDPG算法,将原经验池分离为成功经验池和失败经验池;最后,设计自适应批次采样函数,优化经验池回放结构。

仿真实验表明,所改进的算法迅速收敛。同时,在训练后期条件下,基于改进DDPG算法控制器的横向误差和航向角偏差均显著减小,可更快地贴合期望路径后保持更稳定的路径跟踪。

改进后的DDPG算法显著降低了训练时间成本,不仅增强了智能体训练后期的稳态性能,还提高了路径跟踪精度。