吉林大学学报(工学版) ›› 2023, Vol. 53 ›› Issue (11): 3194-3200.doi: 10.13229/j.cnki.jdxbgxb.20220886

• 计算机科学与技术 • 上一篇    下一篇

可信云计算平台多源大数据时间序列调度算法

杜睿山1,2(),陈雨欣1,孟令东2   

  1. 1.东北石油大学 计算机与信息技术学院,黑龙江 大庆 163318
    2.东北石油大学 “油气藏及地下储库完整性评价”黑龙江省重点实验室,黑龙江 大庆 163318
  • 收稿日期:2022-07-13 出版日期:2023-11-01 发布日期:2023-12-06
  • 作者简介:杜睿山(1977-),男,副教授,硕士.研究方向:人工智能,机器学习.E-mail:ruishan_du@163.com
  • 基金资助:
    国家重点研发计划项目(2022YFE0206800);黑龙江省自然科学基金项目(LH2021F004)

Trusted cloud computing platform poly source big data time sequence scheduling algorithm

Rui-shan DU1,2(),Yu-xin CHEN1,Ling-dong MENG2   

  1. 1.School of Computer and Information Technology,Northeast Petroleum University,Daqing 163318,China
    2.Key Laboratory of Oil & Gas Reservoir and Underground Gas Storage Integrity Evaluation of Heilongjiang Province,Northeast Petroleum University,Daqing 163318,China
  • Received:2022-07-13 Online:2023-11-01 Published:2023-12-06

摘要:

可信云计算平台多源大数据时间序列调度性能过差会增加平台传输能耗和运营成本,降低多源大数据利用率,为使平台内数据能根据任务目标合理完成时间序列调度工作,提出可信云计算平台多源大数据时间序列调度算法,该方法首先构建混沌时间序列模型挖掘可信云计算平台多源大数据,并利用小波阈值降噪方法优化多源大数据,然后将优化后的多源大数据与海量并行贝叶斯因子化分解方法相结合,根据该方法输出的时间序列调度策略,实现可信云计算平台多源大数据时间序列调度。实验结果表明:本文方法加速比最高为97.2%,资源调度总功率仅为2300 kW,负载均衡离差不超过0.2。

关键词: 可信云计算平台, 多源大数据, 混沌时间序列模型, 小波阈值降噪, 贝叶斯算法, 调度策略

Abstract:

The poor performance of time series scheduling for multi-source big data on a trusted cloud computing platform can increase platform transmission energy consumption and operating costs, and decrease the utilization rate of multi-source big data. In order to enable the data within the platform to be reasonably scheduled according to task objectives, a trusted cloud computing platform multi-source big data time series scheduling algorithm is proposed. This method first constructs a chaotic time series model to mine the multi-source big data on the trusted cloud computing platform, and then optimizes the data using the wavelet threshold denoising method. The optimized multi-source big data is then combined with the massive parallel Bayesian factorization decomposition method. Based on the time series scheduling strategy output by this method, the time series scheduling of multi-source big data on a trusted cloud computing platform is realized. Experimental results show that the maximum acceleration ratio achieved by this method is 97.2%, the total power of resource scheduling is only 2300 kW, and the load balance deviation does not exceed 0.2.

Key words: trusted cloud computing platform, multi-source big data, chaotic time series model, wavelet threshold denoising, bayesian algorithm, scheduling strategy

中图分类号: 

  • TP39

图1

不同方法的加速比"

表1

不同方法的平均加速比"

方法8-1加速比8-2加速比8-4加速比
本文38.5068.597.2
文献[330.1044.368.9
文献[422.4042.672.8

表2

不同方法的资源调度总功率"

方法资源调度总功率/kW
本文2300
文献[36400
文献[48000

图2

不同方法的负载均衡离差"

1 张金龙, 员青泽. 一种云计算系统信任度访问控制方法仿真[J]. 计算机仿真, 2022, 39(2): 472-475.
Zhang Jin-long, Yuan Qing-ze. Simulation of a trust access control method for cloud computing systems [J]. Computer Simulation, 2022, 39(2): 472-475.
2 李晓会, 陈潮阳, 伊华伟, 等. 基于云计算和大数据分析的大规模网络流量预测[J]. 吉林大学学报: 工学版, 2021, 51(3): 1034-1039.
Li Xiao-hui, Chen Chao-yang, Yi Hua-wei, et al. Large scale network traffic prediction based on cloud computing and big data analysis[J]. Journal of Jilin University (Engineering and Technology Edition), 2021, 51(3): 1034-1039.
3 李勤, 罗涛华. 船联网环境下舰船传感通信大数据融合调度算法[J]. 舰船科学技术, 2020, 42(2): 124-126.
Li Qin, Luo Tao-hua. Big data fusion scheduling algorithm for ship sensor communication in the environment of ship networking[J]. Ship Science and Technology, 2020, 42(2): 124-126.
4 徐超, 吴波, 姜丽丽, 等. 云——边缘系统中跨域大数据作业调度技术研究[J]. 计算机应用研究, 2020, 37(3): 754-758.
Xu Chao, Wu Bo, Jiang Li-li, et al. Task scheduling for geo-distributed data analytics in cloud—edge system[J]. Application Research of Computers, 2020, 37(3): 754-758.
5 李孜颖, 石振国. 面向大数据任务的调度方法[J].计算机应用, 2020, 40(10): 2923-2928.
Li Zi-ying, Shi Zhen-guo. Scheduling method for big data tasks[J]. Journal of Computer Applications, 2020, 40(10): 2923-2928.
6 林涛, 冯竞凯, 郝章肖, 等. 基于组合预测模型的云计算资源负载预测研究[J]. 计算机工程与科学, 2020, 42(7): 1168-1173.
Lin Tao, Feng Jing-kai, Hao Zhang-xiao, et al. Cloud computing resource load prediction based on combined prediction model[J]. Computer Engineering and Science, 2020, 42(7): 1168-1173.
7 李海林, 龙芳菊. 基于同步频繁树的时间序列关联规则分析[J]. 智能系统学报, 2021, 16(3): 502-510.
Li Hai-lin, Long Fang-ju. Association rules analysis of time series based on synchronization frequent tree [J]. CAAI Transactions on Intelligent Systems, 2021, 16(3): 502-510.
8 刘坤华, 钟佩思, 徐东方, 等. 基于双曲正切函数的修正线性单元[J].计算机集成制造系统, 2020, 26(1): 145-151.
Liu Kun-hua, Zhong Pei-si, Xu Dong-fang, et al. Tangent-based rectified linear unit[J]. Computer Integrated Manufacturing Systems, 2020, 26(1): 145-151.
9 李海涛, 邓少贵, 王跃祥, 等. 基于经验模态分解的核磁共振去噪方法研究[J]. 西南石油大学学报: 自然科学版, 2020, 42(3): 51-59.
Li Hai-tao, Deng Shao-gui, Wang Yue-xiang, et al. Research on nmr denoising method based on empirical mode decomposition[J]. Journal of Southwest Petroleum University (Science & Technology Edition), 2020,42(3): 51-59.
10 朱广贺, 朱智强, 袁逸萍. 基于时序模型和深度学习的GIS设备故障上限评估算法[J/OL]. [2023-08-28].
Zhu Guang-he, Zhu Zhi-qiang, Yuan Yi-ping. GIS equipment fault upper limit evaluation based on time series model and deep learning [J/OL]. [2023-08-28].
11 鲁铁定, 谢建雄. EEMD-多尺度排列熵的GPS高程时间序列降噪方法[J]. 大地测量与地球动力学, 2021, 41(2): 111-115.
Lu Tie-ding, Xie Jian-xiong. EEMD-multiscale permutation entropy noise reduction method for GPS elevation time series[J]. Journal of Geodesy and Geodynamics, 2021, 41(2): 111-115.
12 周春月, 庞迪. 基于节点属性和缓存管理的机会网络路由算法[J]. 北京交通大学学报, 2021, 45(2): 71-79.
Zhou Chun-yue, Pang Di. An opportunistic networks routing protocol based on attributes of nodes and buffer management[J]. Journal of Beijing Jiaotong University, 2021, 45(2): 71-79.
[1] 金顺福,郄修尘,武海星,霍占强. 基于新型休眠模式的云虚拟机分簇调度策略及性能优化[J]. 吉林大学学报(工学版), 2020, 50(1): 237-246.
[2] 谢志强, 郭禾, 苏文秀, 辛宇, 杨静. 存在多工序同时结束的多车间逆序综合调度算法[J]. 吉林大学学报(工学版), 2018, 48(2): 578-587.
[3] 李勇, 黄志球, 王勇, 房丙午. 基于多源数据的跨项目软件缺陷预测[J]. 吉林大学学报(工学版), 2016, 46(6): 2034-2041.
[4] 臧雪柏, 管欣, 赵坤, 唐觅. 一种新的网格任务调度策略[J]. 吉林大学学报(工学版), 2004, (3): 502-506.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
[1] 李寿涛, 李元春. 在未知环境下基于递阶模糊行为的移动机器人控制算法[J]. 吉林大学学报(工学版), 2005, 35(04): 391 -397 .
[2] 刘庆民,王龙山,陈向伟,李国发. 滚珠螺母的机器视觉检测[J]. 吉林大学学报(工学版), 2006, 36(04): 534 -538 .
[3] 李红英;施伟光;甘树才 .

稀土六方Z型铁氧体Ba3-xLaxCo2Fe24O41的合成及电磁性能与吸波特性

[J]. 吉林大学学报(工学版), 2006, 36(06): 856 -0860 .
[4] 张全发,李明哲,孙刚,葛欣 . 板材多点成形时柔性压边与刚性压边方式的比较[J]. 吉林大学学报(工学版), 2007, 37(01): 25 -30 .
[5] 杨树凯,宋传学,安晓娟,蔡章林 . 用虚拟样机方法分析悬架衬套弹性对
整车转向特性的影响
[J]. 吉林大学学报(工学版), 2007, 37(05): 994 -0999 .
[6] 冯金巧;杨兆升;张林;董升 . 一种自适应指数平滑动态预测模型[J]. 吉林大学学报(工学版), 2007, 37(06): 1284 -1287 .
[7] 车翔玖,刘大有,王钲旋 .

两张NURBS曲面间G1光滑过渡曲面的构造

[J]. 吉林大学学报(工学版), 2007, 37(04): 838 -841 .
[8] 刘寒冰,焦玉玲,,梁春雨,秦卫军 . 无网格法中形函数对计算精度的影响[J]. 吉林大学学报(工学版), 2007, 37(03): 715 -0720 .
[9] .

吉林大学学报(工学版)2007年第4期目录

[J]. 吉林大学学报(工学版), 2007, 37(04): 0 .
[10] 李月英,刘勇兵,陈华 . 凸轮材料的表面强化及其摩擦学特性
[J]. 吉林大学学报(工学版), 2007, 37(05): 1064 -1068 .