基于动态延迟策略更新的TD3 算法

吉林大学学报(信息科学版) ›› 2020, Vol. 38 ›› Issue (4): 474-481.

基于动态延迟策略更新的TD3 算法

康朝海，孙超，荣垂霆，刘鹏云

东北石油大学电气信息工程学院，黑龙江大庆163318

收稿日期:2020-01-17 出版日期:2020-07-24 发布日期:2020-08-13
作者简介:康朝海( 1976— ) ，男，黑龙江望奎人，东北石油大学副教授，硕士生导师，主要从事智能算法与智能控制研究，( Tel)86-459-6503373( E-mail) kangchaohai@126． com。
基金资助:
黑龙江省自然科学基金资助项目( E2018004)

TD3 Algorithm with Dynamic Delayed Policy Update

KANG Chaohai，SUN Chao，ＲONG Chuiting，LIU Pengyun

School of Electrical Engineering and Information，Northeast Petroleum University，Daqing 163318，China

Received:2020-01-17 Online:2020-07-24 Published:2020-08-13

摘要/Abstract

摘要： 在深度强化学习领域中，为进一步减少双延迟深度确定性策略梯度TD3( Twin Delayed Deep Deterministic
Policy Gradients) 中价值过估计对策略估计的影响，加快模型学习的效率，提出一种基于动态延迟策略更新的双
延迟深度确定性策略梯度( DD-TD3: Twin Delayed Deep Deterministic Policy Gradients with Dynamic Delayed Policy
Update) 。在DD-TD3 方法中，通过Critic 网络的最新Loss 值与其指数加权移动平均值的动态差异指导Actor 网
络的延迟更新步长。实验结果表明，与原始TD3 算法在2 000 步获得较高的奖励值相比，DD-TD3 方法可在约
1 000步内学习到最优控制策略，并且获得更高的奖励值，从而提高寻找最优策略的效率。

关键词: 深度强化学习, TD3 算法, 动态延迟策略更新

Abstract: In the field of deep reinforcement learning， in order to further reduce the impact of value
overestimation on policy estimation in TD3 ( Twin Delayed Deep Deterministic Policy Gradients) and accelerate
the efficiency of model learning，a DD-TD3 ( Twin Delayed Deep Deterministic Policy Gradients with Dynamic
Delayed Policy Update) is proposed． The delay update step size of the actor network is guided by the dynamic
difference between the latest loss of the critic network and its exponential weighted moving average． Experimental
results show that compared to the original TD3 algorithm that obtain high reward value in the 2 000 steps，the
DD-TD3 method can learn the optimal control strategy in about 1 000 steps and obtain a higher reward value，
thereby the efficiency of finding the optimal strategy is improved．

Key words: deep reinforcement learning, twin delayed deep deterministic policy gradients ( TD3) , dynamic delayed policy update

中图分类号:

TP273

康朝海, 孙超, 荣垂霆, 刘鹏云. 基于动态延迟策略更新的TD3 算法[J]. 吉林大学学报(信息科学版), 2020, 38(4): 474-481.

KANG Chaohai, SUN Chao, ＲONG Chuiting, LIU Pengyun. TD3 Algorithm with Dynamic Delayed Policy Update[J]. Journal of Jilin University (Information Science Edition), 2020, 38(4): 474-481.

[1]	王义春, 程崇阳, 闫丽梅. 基于大模型辅助深度强化学习的配电网区域电压优化控制[J]. 吉林大学学报(信息科学版), 2025, 43(5): 1033-1042.
[2]	张光华, 单蜜, 万恩晗. 空地协同移动边缘计算卸载策略优化研究[J]. 吉林大学学报(信息科学版), 2025, 43(2): 203-212.
[3]	王思琪, 关巍, 佟敏, 赵盛烨. 基于 ATMADDPG 算法的多水面无人航行器编队导航[J]. 吉林大学学报(信息科学版), 2024, 42(4): 588-599.
[4]	张会珍, 王强. 基于相关熵诱导度量的近端策略优化算法[J]. 吉林大学学报(信息科学版), 2023, 41(3): 437-443.
[5]	王灿宇 , 孙晓海 , 吴叶辉 , 季荣彪 , 李亚东 , 张少如 , 杨士豪 . 基于 Deep Q-Learning 的抽取式摘要生成方法[J]. 吉林大学学报(信息科学版), 2023, 41(2): 306-314.
[6]	刘庆强, 刘鹏云. 基于优先级经验回放的 SAC 强化学习算法[J]. 吉林大学学报(信息科学版), 2021, 39(2): 192-199.