基于EMD-LSTM的分子谱线数据预处理容器负载分组预测算法

doi:10.13229/j.cnki.jdxbgxb.20230690

吉林大学学报(工学版) ›› 2025, Vol. 55 ›› Issue (4): 1374-1383.doi: 10.13229/j.cnki.jdxbgxb.20230690

基于EMD-LSTM的分子谱线数据预处理容器负载分组预测算法

冶鑫晨^1,^2,³(),张海龙^1,^2,^3,⁴(),王杰^1,³,李大磊¹,张萌⁵,张亚州^1,²,杜旭^1,²,李嘉¹,王万琼¹

^1.中国科学院新疆天文台，乌鲁木齐 830011
^2.中国科学院大学，北京 100049
^3.国家天文科学数据中心，北京 100101
^4.中国科学院射电天文重点实验室，南京 210008
^5.曲阜师范大学网络空间安全学院，山东曲阜 273165

收稿日期:2023-07-03 出版日期:2025-04-01 发布日期:2025-06-19
通讯作者: 张海龙 E-mail:yexinchen@xao.ac.cn;zhanghailong@xao.ac.cn
作者简介:冶鑫晨（1991-），男，博士研究生. 研究方向：天文大数据.E-mail： yexinchen@xao.ac.cn
基金资助:
国家重点研发计划项目(2021YFC2203502);国家重点研发计划项目(2022YFF0711502);国家自然科学基金项目(12173077);国家自然科学基金项目(12003062);中国科学院“西部之光”人才培养引进计划项目(xbzg-zdsys-202410);“天山英才培养”计划项目(2022TSYCCX0095);“天山英才培养”计划项目(2023TSYCCX0112);中国科学院科研仪器设备研制项目(PTYQ2022YZZD01);国家天文科学数据中心项目;中国科学院天文台站设备更新及重大仪器设备运行专项项目;新疆维吾尔自治区自然科学基金项目(2022D01A360)

EMD-LSTM-based group prediction algorithm of container resource load in preprocessing molecular spectral line data

Xin-chen YE^1,^2,³(),Hai-long ZHANG^1,^2,^3,⁴(),Jie WANG^1,³,Da-lei LI¹,Meng ZHANG⁵,Ya-zhou ZHANG^1,²,Xu DU^1,²,Jia LI¹,Wan-qiong WANG¹

^1.Xinjiang Astronomical Observatory，Chinese Academy of Sciences，Urumqi 830011，China
^2.University of Chinese Academy of Sciences，Beijing 100049，China
^3.National Astronomical Data Center，Beijing 100101，China
^4.Key Laboratory of Radio Astronomy，Chinese Academy of Sciences，Nanjing 210008，China
^5.School of Cyber Science and Engineering，Qufu Normal University，Qufu 273165，China

Received:2023-07-03 Online:2025-04-01 Published:2025-06-19
Contact: Hai-long ZHANG E-mail:yexinchen@xao.ac.cn;zhanghailong@xao.ac.cn

摘要/Abstract

摘要：

集群环境中容器资源分配不均衡是当前亟待解决的问题，针对容器负载预测及资源分配策略，本文设计了基于经验模态分解-长短期记忆网络的天文数据处理容器负载分组预测算法，提出了基于预测负载信息的自适应推荐值生成算法，可根据负载波动程度自动分配容器计算资源。利用模拟数据及真实天文观测数据进行了负载预测准确度验证，实验结果表明本文提出的算法相较于三重指数方法和单一长短期记忆网络模型具有更高的预测准确度。在天文数据实时预处理测试中，相较于默认策略，本文提出的推荐值生成算法可有效提升计算资源的使用效率。

关键词: 天文信息技术, 容器, 负载预测, 长短期记忆网络, 负载均衡

Abstract:

Unequal allocation of container resources in a cluster environment is currently a pressing issue. In response to container load prediction and resource allocation strategies， this paper proposes an empirical mode decomposition-long short-term memory （EMD-LSTM）-based algorithm for predicting container resource load groups in the preprocessing of astronomical data. An adaptive recommendation value generation algorithm based on load prediction information is introduced， which automatically allocates container computing resources according to the degree of load fluctuation. The accuracy of load prediction was verified using simulated data and real astronomical observation data. Experimental results demonstrate that the proposed algorithm outperforms the triple exponential smoothing method and a single LSTM network model in terms of prediction accuracy. In real-time preprocessing of astronomical data， compared to the default strategy， the recommended value generation algorithm proposed in this paper effectively improves the utilization efficiency of computing resources.

Key words: astroinformatics, container, load prediction, long short-term memory, load balancing

中图分类号:

TP301.6

冶鑫晨,张海龙,王杰,李大磊,张萌,张亚州,杜旭,李嘉,王万琼. 基于EMD-LSTM的分子谱线数据预处理容器负载分组预测算法[J]. 吉林大学学报(工学版), 2025, 55(4): 1374-1383.

Xin-chen YE,Hai-long ZHANG,Jie WANG,Da-lei LI,Meng ZHANG,Ya-zhou ZHANG,Xu DU,Jia LI,Wan-qiong WANG. EMD-LSTM-based group prediction algorithm of container resource load in preprocessing molecular spectral line data[J]. Journal of Jilin University(Engineering and Technology Edition), 2025, 55(4): 1374-1383.

图/表 15

图1

图2

图3

表1

图4

图5

表2

表3

表4

图6

图7

表5

表6

图8

图9

参考文献 14

[1]	陈红松, 陈京九. 基于统计的物联网分布式拒绝服务攻击检测[J]. 吉林大学学报: 工学版, 2020, 50(5): 1894-1904.
	Chen Hong-song, Chen Jing-jiu. Statistical based distributed denial of service attack detection research in internet of things[J]. Journal of Jilin University (Engineering and Technology Edition), 2020, 50(5): 1894-1904.
[2]	Morris D, Voutsinas S, Hambly N C, et al. Use of Docker for deployment and testing of astronomy software[J]. Astronomy and Computing, 2017, 20: 105-119.
[3]	Molenaar G, Makhathini S, Girard J N, et al. Kliko—the scientific compute container format[J]. Astronomy and Computing, 2018, 25: 1-9.
[4]	Herwig F, Andrassy R, Annau N, et al. Cyberhubs: virtual research environments for astronomy[J]. The Astrophysical Journal Supplement Series, 2018, 236(1): 2.
[5]	Truyen E, van Landuyt D, Preuveneers D, et al. A comprehensive feature comparison study of open-source container orchestration frameworks[J]. Applied Sciences, 2019, 9(5): 931.
[6]	Niu J R, Zhu W W, Zhang B, et al. FAST observations of an extremely active episode of FRB 20201124A. Ⅳ. Spin Period Search[J]. Research in Astronomy and Astrophysics, 2022, 22(12): No.124004.
[7]	Wang Y B, Wen Z G, Yuen R, et al. The multiple images of the plasma lensing FRB[J]. Research in Astronomy and Astrophysics, 2022, 22(6): No. 065017.
[8]	Chen Z H, You S P, Yu X H, et al. An RFI mitigation pipeline for CRAFTS multi-beam data based on signal cross-correlation function and sum threshold algorithm[J]. Research in Astronomy and Astrophysics, 2023, 23(5): No.055014.
[9]	Dai V D, Kim Y H. Predictive approach for vertical autoscaling in Kubernetes[J]. Proceedings of the Korean Society of Telecommunications, Korean,2021: 896-897.
[10]	Xie Y, Jin M, Zou Z, et al. Real-time prediction of docker container resource load based on a hybrid model of ARIMA and triple exponential smoothing[J]. IEEE Transactions on Cloud Computing, 2020, 10(2): 1386-1401.
[11]	Rzadca K, Findeisen P, Swiderski J, et al. Autopilot: workload autoscaling at google[C]∥Proceedings of the Fifteenth European Conference on Computer Systems, Heraklion, Greece, 2020: 1-16.
[12]	Shanmugam A S. Docker container reactive scalability and prediction of CPU utilization based on proactive modelling[D]. Dublin: National College of Ireland, 2017.
[13]	Bandara K, Bergmeir C, Smyl S. Forecasting across time series databases using recurrent neural networks on groups of similar series: a clustering approach[J]. Expert Systems with Applications, 2020, 140: No.112896.
[14]	冯金巧, 杨兆升, 张林, 等. 一种自适应指数平滑动态预测模型[J]. 吉林大学学报: 工学版, 2007, 37(6): 1284-1287.
	Feng Jin-qiao, Yang Zhao-sheng, Zhao Lin, et al. Adaptive exponential smoothing model for dynamic prediction[J]. Journal of Jilin University(Engineering and Technology Edition), 2007, 37(6): 1284-1287.

相关文章 15

[1]	张海龙,杜旭,张萌,张亚州,王杰,冶鑫晨,王万琼,李嘉,吴涵,张婷. 基于Vitis HLS的FIR滤波器设计及其性能分析[J]. 吉林大学学报(工学版), 2025, 55(3): 1072-1081.
[2]	丁海兰,祁坤钰. 基于TextRank算法和相似度的中文文本主题句自动提取[J]. 吉林大学学报(工学版), 2025, 55(3): 1001-1008.
[3]	朱国庆,刘显成,田从祥. 基于长短期记忆网络的公共建筑短期能耗预测模型[J]. 吉林大学学报(工学版), 2024, 54(7): 2009-2014.
[4]	张海龙,张萌,张亚州,王杰,冶鑫晨,王万琼,李嘉,杜旭,张婷. 基于临界采样多相滤波器组的宽带信号信道化[J]. 吉林大学学报(工学版), 2023, 53(8): 2388-2394.
[5]	高金武,贾志桓,王向阳,邢浩. 基于PSO-LSTM的质子交换膜燃料电池退化趋势预测[J]. 吉林大学学报(工学版), 2022, 52(9): 2192-2202.
[6]	李先通,全威,王华,孙鹏程,安鹏进,满永兴. 基于时空特征深度学习模型的路径行程时间预测[J]. 吉林大学学报(工学版), 2022, 52(3): 557-563.
[7]	王学智,李清亮,李文辉. 融合迁移学习的土壤湿度预测时空模型[J]. 吉林大学学报(工学版), 2022, 52(3): 675-683.
[8]	张笑东,夏筱筠,吕海峰,公绪超,廉梦佳. 大数据网络并行计算环境中生理数据流动态负载均衡[J]. 吉林大学学报(工学版), 2020, 50(1): 247-254.
[9]	钱志鸿, 冯冬, 王雪, 厉茜. 基于负载均衡的M2M网络多径路由算法[J]. 吉林大学学报(工学版), 2016, 46(3): 934-940.
[10]	王继红，石文孝，尚硕，许银龙，李玉信，王春悦. 无线Mesh网络负载与干扰感知传输时间路由度量[J]. 吉林大学学报(工学版), 2015, 45(1): 297-303.
[11]	焦毅, 易克初, 马懋德, 马英红, 董旭. 基于服务质量感知的异构无线网络负载均衡算法[J]. 吉林大学学报(工学版), 2013, 43(03): 794-800.
[12]	石文孝, 张阁, 王继红, 赵颖. 基于网格的异构无线网络负载均衡算法[J]. 吉林大学学报(工学版), 2013, 43(03): 788-793.
[13]	王德民, 何立东, 刘菲菲, 苏男, 刘昕. 基于消息的加权负载均衡算法[J]. 吉林大学学报(工学版), 2012, 42(01): 140-144.
[14]	刘凤丹, 薛龙均, 李歆, 尹子振. 纳米门炭结构及超级电容特性[J]. 吉林大学学报(工学版), 2011, 41(增刊2): 327-330.
[15]	刘浩¹,张连明²,朱同林³. 基于Cayley图的P2P覆盖网络模型[J]. 吉林大学学报(工学版), 2011, 41(05): 1414-1420.

Metrics

Viewed

Full text

Abstract

Cited

Shared

Discussed

编号	库名称	功能
1	Numpy	数据处理
2	PyEMD	EMD分解
3	Keras	构建LSTM预测模块

编号	方法	相关系数
1	三重指数平滑	0.988 59
2	LSTM	0.992 00
3	基于LSTM的分组	0.997 34

名称	信息
中央处理器	Intel i9-10 900 K
内存	64 GB
软件	TEMPO2 2020.04.1
OS	Debian 10.10.0
网络接口	10 GbE
硬盘	1 TB NVMe SSD

参数	值
望远镜	NSRT
文件格式	Fits
VEGAS终端模式	MODE9
基带带宽	450 MHz
量化精度	8 bits

编号	方法	相关系数
1	二重指数平滑	0.819 87
2	LSTM	0.838 94
3	基于EMD-LSTM的分组	0.850 09

基于EMD-LSTM的分子谱线数据预处理容器负载分组预测算法

EMD-LSTM-based group prediction algorithm of container resource load in preprocessing molecular spectral line data

RICH HTML

PDF (PC)

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 14

相关文章 15

Metrics

本文评价

推荐阅读 10

编号	方法	相关系数
1	二重指数平滑	0.604 30
2	LSTM	0.654 67
3	基于EMD-LSTM的分组	0.721 10