基于云计算和大数据分析的大规模网络流量预测

doi:10.13229/j.cnki.jdxbgxb20200329

摘要/Abstract

摘要：

结合当前网络流量海量、混沌、随机性变化的特点，为了获得理想的网络流量预测结果，提出了基于云计算和大数据分析的大规模网络流量预测模型。首先，根据混沌算法描述网络流量的混沌变化特点，建立学习样本集合。然后，引入支持向量机对网络流量随机性变化特点进行建模，并结合历史数据海量的特点，采用云计算平台使多个支持向量机并行运行。对比测试结果表明，该模型提升了网络流量预测精度，建模效率大幅度提升，可以满足网络流量在线管理的实时性要求。

关键词: 网络管理, 云计算平台, 并行建模, 随机性, 学习样本, 混沌算法

Abstract:

In order to obtain the ideal network traffic prediction results， a large-scale network traffic prediction model based on cloud computing and big data analysis is proposed. Firstly， according to the chaos algorithm to describe chaos characteristics of network traffic， the learning sample set is established. Then the support vector machine is introduced to model the randomness characteristics of network traffic， and combined with the massive characteristics of historical data， the cloud computing platform is used to make multiple support vector machines run in parallel. Finally， the comparative test results show that the proposed model improves the accuracy of network traffic prediction， and the modeling efficiency is greatly improved， which can meet the real-time requirements of online network traffic management.

Key words: network management, cloud computing technology, parallel modeling, randomness, learning samples, chaos algorithm

中图分类号:

TP393

李晓会,陈潮阳,伊华伟,李波. 基于云计算和大数据分析的大规模网络流量预测[J]. 吉林大学学报(工学版), 2021, 51(3): 1034-1039.

Xiao-hui LI,Chao-yang CHEN,Hua-wei YI,Bo LI. Large scale network traffic prediction based on cloud computing and big data analysis[J]. Journal of Jilin University(Engineering and Technology Edition), 2021, 51(3): 1034-1039.

图/表 8

图1

图2

表1

表2

表3

图3

图4

图5

参考文献 16

1	Bui N, Widmer J. Data-driven evaluation of anticipatory networking in LTE network[J]. IEEE Trans Mobile Comput, 2018, 17(10):2252-2265.
2	Suh D, Jang S, Han S, et al. Toward highly available and scalable software defined networks for service providers[J]. IEEE Communications Magazine, 2017, 55(4):100-107.
3	Benzaoui N, Estarán J M, Dutisseuil E, et al. CBOSS: bringing traffic engineering inside data center networks[J]. IEEE/OSA Journal of Optical Communications & Networking, 2018, 10(7):117-125.
4	Mohammadi R, Javidan R, Keshtgari M, et al. A novel multicast traffic engineering technique in SDN using TLBO algorithm[J]. Telecommunication Systems, 2018, 68(3):583-592.
5	张蕾,张鹏,孙伟,等. 面向高速网络流量的恶意镜像网站识别方法[J]. 通信学报,2019,40(7):87-94.
	Zhang Lei, Zhang Peng, Sun Wei, et al. An identification method of maliciousmirror website for high-speed network traffic[J]. Journal on Communications,2019,40(7):87-94.
6	董书琴,张斌. 基于深度特征学习的网络流量异常检测方法[J]. 电子与信息学报,2020,42(3):695-703.
	Dong Shu-qin, Zhang Bin. Network traffic anomaly detection method based on deep feature learning[J]. Journal of Electronics & Information Technology, 2020, 42(3):695-703.
7	徐久强,周洋洋,王进法,等. 基于流时间影响域的网络流量异常检测[J]. 东北大学学报:自然科学版, 2019, 40(1):26-31.
	Xu Jiu-qiang, Zhou Yang-yang, Wang Jin-fa, et al. Anomaly detection of network traffic based on flow time influence domain[J]. Journal of Northeastern University (Natural Science), 2019, 40(1):26-31.
8	郭佳,余永斌,杨晨阳. 基于全注意力机制的多步网络流量预测[J]. 信号处理,2019,35(5):758-767.
	Guo Jia, Yu Yong-bin, Yang Chen-yang. Multi-step prediction of traffic load with all-attention mechanism[J]. Journal of Signal Processing, 2019, 35(5): 758-767.
9	李松,周亚同,池越,等. 高斯过程混合模型应用于网络流量预测研究[J]. 计算机工程与应用, 2020, 56(5): 186-193.
	Li Song, Zhou Ya-tong, Chi Yue, et al. Application of Gaussian process mixture model to network traffic prediction[J]. Computer Engineering and Applications, 2020,56(5):186-193.
10	李校林,吴腾. 基于PF-LSTM网络的高效网络流量预测方法[J]. 计算机应用研究, 2019, 36(12):3833-3836.
	Li Xiao-lin, Wu Teng. Efficient network traffic prediction method based on PF-LSTM network[J]. Application Research of Computers, 2019, 36(12): 3833-3836.
11	韩莹,井元伟,金建宇,等. 基于改进黑洞算法优化ESN的网络流量短期预测[J]. 东北大学学报:自然科学版,2018,39(3):311-315.
	Han Ying, Jing Yuan-wei, Jin Jian-yu, et al. Network traffic short-term prediction based on echo state network optimized by improved black hole algorithm[J]. Journal of Northeastern University (Natural Science), 2018,39(3):311-315.
12	田中大,李树江,王艳红,等. 高斯过程回归补偿ARIMA的网络流量预测[J]. 北京邮电大学学报, 2017, 40(6):65-73.
	Tian Zhong-da, Li Shu-jiang, Wang Yan-hong, et al. Network traffic prediction based on ARIMA with gaussian process regression compensation[J]. Journal of Beijing University of Posts and Telecommunications, 2017, 40(6):65-73.
13	闫伟,张军. 基于时间序列分析的网络流量异常检测[J].吉林大学学报:理学版,2017,55(5):1249-1254.
	Yan Wei, Zhang Jun. Network traffic anomaly detection based on time series analysis[J]. Journal of Jilin University (Science Edition), 2017, 55(5):1249-1254.
14	张杰,白光伟,沙鑫磊,等. 基于时空特征的移动网络流量预测模型[J].计算机科学,2019,46(12):108-113.
	Zhang Jie, Bai Guang-wei, Sha Xin-lei, et al. Mobile traffic forecasting model based on spatio-temporal features[J]. Computer Science, 2019, 46(12):108-113.
15	袁开银,魏彬. 相空间重构和极限学习机的网络流量预测模型[J]. 控制工程,2018,25(11):2087-2091.
	Yuan Kai-yin, Wei Bin. Network traffic prediction based on phase space reconstruction and ELM[J]. Control Engineering of China, 2018, 25(11):2087-2091.
16	余乐正,柳凤娟,李东海,等. 基于支持向量机的癌细胞经典分泌蛋白与非经典分泌蛋白识别研究[J]. 四川大学学报:自然科学版,2020,57(1):152-156.
	Yu Le-zheng, Liu Feng-juan, Li Dong-hai, et al. A study on recognition of classically and non-classically secreted proteins from cancer cells based on support vector machine[J]. Journal of Sichuan University (Natural Science Edition), 2020, 57(1):152-156.

Metrics

Viewed

Full text

Abstract

Cited

Shared

Discussed

参数	服务器节点	普通节点
CPU	Intel 酷睿i9 9900K	AMD Ryzen 5 3500X
RAM	DDR 3200 64GB	DDR 2400 8 GB
SDD	三星970 PRO 512GB NVMe M.2 SSD	西部数据WD GREEN 240 GB M.2 SSD
OS	Windows 10	Windows10

电子商务网站服务器端口编号	网络流量的样本数量	电子商务网站服务器端口编号	网络流量的样本数量
1	20 000	6	20 000
2	25 000	7	30 000
3	25 000	8	30 000
4	50 000	9	40 000
5	20 000	10	50 000

网络流量编号	单步				多步
网络流量编号	m	τ	C	σ	m	τ	C	σ
1	12	11	262.64	12.28	5	7	259.76	18.27
2	10	10	246.50	10.92	5	8	157.05	16.97
3	6	8	167.27	16.44	6	4	131.56	15.28
4	8	5	284.77	11.61	8	11	222.70	11.36
5	10	13	128.22	18.01	12	10	270.01	13.58
6	5	9	284.21	18.63	10	13	201.34	12.89
7	8	8	288.03	14.58	9	3	166.91	18.31
8	5	9	163.04	14.21	9	10	293.41	19.12
9	6	7	130.56	15.44	4	10	115.80	11.08
10	12	11	117.76	10.29	5	6	207.38	16.84

[1]	张培林, 陈彦龙, 王怀光, 李胜. 考虑信号特点的合成量子启发结构元素[J]. 吉林大学学报(工学版), 2015, 45(4): 1181-1188.
[2]	高印寒, 王天皓, 杨开宇, 张俊东, 樊宽刚, 朱宇. 汽车线束的动态串扰特性预测[J]. 吉林大学学报(工学版), 2014, 44(5): 1258-1263.
[3]	秦贵和, 南洋, 陈筠翰, 仓晨阳, 和卫民. 面向媒体的系统传输网络连接管理策略[J]. , 2012, 42(04): 963-970.
[4]	杨志晓, 范艳峰, 孙福艳. 基于正态云模型的虚拟人点头动作不确定性控制[J]. 吉林大学学报(工学版), 2012, 42(02): 476-482.
[5]	林丹, 王文海. 基于EPL的上位机通信[J]. 吉林大学学报(工学版), 2011, 41(增刊1): 314-318.
[6]	陈筠翰¹,秦贵和^1,2,于赫¹,黄玥¹. 基于OSEK/VDX直接NM规范的车载网络系统[J]. 吉林大学学报(工学版), 2011, 41(05): 1407-1413.
[7]	陈炳锟, 申桂香, 张英芝, 王晓峰, 高文礼, 王志琼. 随机模糊理论下的数控机床动态危害性[J]. 吉林大学学报(工学版), 2010, 40(增刊): 262-0265.
[8]	刘雪洁,刘衍珩,李木山,李岩,官健. 移动环境下扩展的基于策略的网管（PBNM）模型的动态资源分配[J]. 吉林大学学报(工学版), 2010, 40(01): 176-0182.
[9]	梅芳，刘衍珩，张旭利，古天野，王旺 . 移动网络资源管理策略的动态冲突消解机制[J]. 吉林大学学报(工学版), 2009, 39(02): 430-0435.
[10]	杨月全, 江泽民, 徐德, 戴先中, 谭民. 基于网络的控制系统的建模与控制[J]. 吉林大学学报(工学版), 2004, (3): 439-444.