稳定且受限的新强化学习 SAC 算法

吉林大学学报(信息科学版) ›› 2024, Vol. 42 ›› Issue (2): 318-325.

稳定且受限的新强化学习 SAC 算法

海日¹ , 张兴亮² , 姜源¹ , 杨永健¹

1. 吉林大学计算机科学与技术学院, 长春 130012; 2. 中国移动通信集团有限公司中国移动通信集团吉林有限公司, 长春 130022

收稿日期:2023-02-13 出版日期:2024-04-10 发布日期:2024-04-12
通讯作者: 杨永健(1960— ), 男, 长春人, 吉林大学教授, 博士生导师, 主要从事移动计算研究, (Tel)86-13074316565(E-mail)yyj@ jlu. edu. cn。 E-mail:yyj@ jlu. edu. cn
作者简介:海日(1997— ), 男, 呼和浩特人, 吉林大学硕士研究生, 主要从事强化学习研究, ( Tel) 86-17808073990 ( E-mail) 1826813148@ qq. com
基金资助:
吉林省发改委创新能力建设基金资助项目(2020C017-2); 吉林省科技发展计划重点基金资助项目(20210201082GX)

Novel Reinforcement Learning Algorithm: Stable Constrained Soft Actor Critic

HAI Ri ¹ , ZHANG Xingliang² , JIANG Yuan ¹ , YANG Yongjian ¹

1. College of Computer Science and Technology, Jilin University, Changchun 130012, China; 2. China Mobile Jilin Company Limited, China Mobile Communications Group Company Limited, Changchun 130022, China

Received:2023-02-13 Online:2024-04-10 Published:2024-04-12

摘要/Abstract

摘要： 为解决由于固定温度 SAC(Soft Actor Critic)算法中存在的 Q 函数高估可能会导致算法陷入局部最优的问题, 通过深入分析提出了一个稳定且受限的 SAC 算法( SCSAC: Stable Constrained Soft Actor Critic)。该算法通过改进最大熵目标函数修复固定温度 SAC 算法中的 Q 函数高估问题, 同时增强算法在测试过程中稳定性的效果。最后, 在 4 个 OpenAI Gym Mujoco 环境下对 SCSAC 算法进行了验证, 实验结果表明, 稳定且受限的 SAC 算法相比固定温度 SAC 算法可以有效减小 Q 函数高估出现的次数并能在测试中获得更加稳定的结果。

关键词: 强化学习, 最大熵强化学习, Q 值高估, SAC 算法

Abstract: To solve the problem that Q function overestimation may cause SAC ( Soft Actor Critic) algorithm trapped in local optimal solution, SCSAC ( Stable Constrained Soft Actor Critic) algorithm is proposed for perfectly resolving the above weakness hidden in maximum entropy objective function improving the stability of Stable Constrained Soft Actor Critic algorithm in trailing process. The result of evaluating Stable Constrained Soft Actor Critic algorithm on the suite of OpenAI Gym Mujoco environments shows less Q value overestimation appearance and more stable results in trailing process comparing with SAC algorithm.

Key words: reinforcement learning, maximum entropy reinforcement learning, Q value overestimation, soft actor critic(SAC)algorithm

中图分类号:

TP301

海日, 张兴亮, 姜源, 杨永健. 稳定且受限的新强化学习 SAC 算法[J]. 吉林大学学报(信息科学版), 2024, 42(2): 318-325.

HAI Ri , ZHANG Xingliang , JIANG Yuan , YANG Yongjian . Novel Reinforcement Learning Algorithm: Stable Constrained Soft Actor Critic[J]. Journal of Jilin University (Information Science Edition), 2024, 42(2): 318-325.

[1]	张光华, 徐航, 万恩晗. 面向移动边缘计算的任务卸载方法研究[J]. 吉林大学学报(信息科学版), 2024, 42(2): 210-216.
[2]	张会珍, 王强. 基于相关熵诱导度量的近端策略优化算法[J]. 吉林大学学报(信息科学版), 2023, 41(3): 437-443.
[3]	王灿宇 , 孙晓海 , 吴叶辉 , 季荣彪 , 李亚东 , 张少如 , 杨士豪 . 基于 Deep Q-Learning 的抽取式摘要生成方法[J]. 吉林大学学报(信息科学版), 2023, 41(2): 306-314.
[4]	刘庆强, 刘鹏云. 基于优先级经验回放的 SAC 强化学习算法[J]. 吉林大学学报(信息科学版), 2021, 39(2): 192-199.
[5]	康朝海, 孙超, 荣垂霆, 刘鹏云. 基于动态延迟策略更新的TD3 算法[J]. 吉林大学学报(信息科学版), 2020, 38(4): 474-481.
[6]	高乐, 马天录, 刘凯, 张宇轩. 改进Q-Learning 算法在路径规划中的应用[J]. 吉林大学学报(信息科学版), 2018, 36(4): 439-443.