基于增量Q学习的在线优化控制算法

强化学习（RL）在控制器的在线优化中具有很好的应用前景。然而，在实际应用中，却存在严重的安全隐患。为解决这一安全隐患，提出了一种增量Q学习（IQ）算法，将其应用于电机转速同步控制的在线优化。IQ将经典Q学习中的一轮优化过程划分为多个连续地优化过程。由于在每轮优化中，将允许的更改间隔限制得非常小，因此智能体能够安全、稳定地达到全局最优。仿真结果表明，IQ有效地避免了性能衰退和在严苛的停止准则下陷入局部最优的问题，在最优性、安全性方面优于绝对Q学习（AQ）。