大数据网络并行计算环境中生理数据流动态负载均衡

doi:10.13229/j.cnki.jdxbgxb20181250

摘要/Abstract

摘要：

针对医疗大数据服务系统中生理数据流动态负载不均衡问题，传统方法处理能力只局限在某算子所处节点可处理的窗口范围，在数据逐渐增加的状态下处理能力不足，容易出现数据流拥塞的情况，而且忽略了对整个体系的负载分布和动态负载均衡中迁移决策的研究。为此，提出了一种新的大数据网络并行计算环境的生理数据流动态负载均衡方法。首先利用元组key的Hash值得到节点相应数据块，利用数据块记录获取相应目标节点，将数据元组输出。同时，对并行计算熵进行扩展，将其定义至异构集群，对其进行求解。将网络并行计算环境下并行计算熵看作医疗大数据服务系统中生理数据流动态负载均衡度的衡量指标，通过并行计算熵对是否需要进行负载迁移进行判断，并且通过并行计算熵确定迁移任务的方式及迁移量，从而制定迁移决策，实现大数据网络并行环境中生理数据流动态负载均衡处理。经实验验证，本文方法可行性高，计算性能及动态负载均衡性好。

关键词: 计算机应用, 大数据, 网络并行计算, 生理数据流, 动态, 负载均衡

Abstract:

In the medical big data service system, there exists the problem of the unbalanced dynamic load of physiological data flow. The processing power of the traditional method is limited to the window range that can be processed by the node where the operator is located. In the state where the data is gradually increased, the processing capacity is insufficient, the data flow congestion is easy to occur, and the load distribution of the whole system is neglected. To solve these problems, a new dynamic load balancing method for physiological data flow based on network parallel computing environment is proposed in this paper. Firstly, the Hash value of the tuple key is used to obtain the corresponding data block of the node, and the corresponding target node is obtained by using the data block record, and the data tuple is output. At the same time, the entropy of parallel computing is extended to define the heterogeneous cluster and solve it. Then, the parallel computing entropy in the network parallel computing environment is regarded as the measurement index of the dynamic load balancing of physiological data flow in the medical big data service system. Finally, by judging whether load migration is necessary by parallel computing entropy, the way and amount of migration tasks are determined by parallel computing entropy, so we can make migration decision and realize dynamic load balancing of physiological data flow in parallel environment of large data network. The experimental results show that the proposed method is highly feasible, and the calculation performance and dynamic load balance are good.

Key words: computer application, big data, network parallel computing, physiological data flow, dynamic, load balancing

中图分类号:

TP399

张笑东,夏筱筠,吕海峰,公绪超,廉梦佳. 大数据网络并行计算环境中生理数据流动态负载均衡[J]. 吉林大学学报(工学版), 2020, 50(1): 247-254.

Xiao-dong ZHANG,Xiao-jun XIA,Hai-feng LYU,Xu-chao GONG,Meng-jia LIAN. Dynamic load balancing of physiological data flow in big data network parallel computing environment[J]. Journal of Jilin University(Engineering and Technology Edition), 2020, 50(1): 247-254.

图/表 7

表1

图1

图2

图3

图4

图5

图6

参考文献 15

1	Omar Alzoubi , Davide Fossati , D'Mello Sidney K , et al . Affect detection from non-stationary physiological data using ensemble classifiers[J]. Evolving Systems，2015，6(2) :310-313.
2	张虹波，匡银虎 . 物联网通信资源负载均衡优化调度仿真研究[J]. 计算机仿真, 2017，34(6)：310-313.
	Zhang Hong-bo ， Kuang Yin-hu . Simulation research on load balancing optimization scheduling of communication resources in Internet of Things[J]. Computer Simulation,2017,34(6): 310-313.
3	Hadi Banaee , Amy Loutfi . Data-driven rule mining and representation of temporal patterns in physiological sensor data[J]. IEEE Journal of Biomedical & Health Informatics, 2015，19(5)：1557-1566.
4	孙兰芳,张曦煌 . 基于蜜蜂采蜜机理的云计算负载均衡策略[J]. 计算机应用研究, 2016，33(4)：1179-1182.
	Sun Lan-fang , Zhang Xi-huang . Load balancing strategy of cloud computing based on bees hunting honey mechanism[J]. Application Research of Computers, 2016，33(4)：1179-1182.
5	Ghadah Aldabbagh , Bakhsh Sheikh Tahir, Nadine Akkari , et al . Distributed dynamic load balancing in a heterogeneous network using LTE and TV white spaces[J]. Wireless Networks, 2015，21(7)：2413-2424.
6	李梓杨，于炯，卞琛，等 . 基于负载感知的数据流动态负载均衡策略[J]. 计算机应用, 2017，37(10)：2760-2766.
	Li Zi-yang ， Yu Jiong ， Bian Chen ，et al . Dynamic data stream load balancing strategy based on load awareness[J]. Journal of Computer Applications, 2017，37(10)：2760-2766.
7	郭正红，马辛华，兰安怡 . 基于层次分析法权重和灰色服务器负载预测的云计算on-line迁移策略[J]. 计算机测量与控制,2015，23(3)：1002-1004.
	Guo Zheng-hong ， Ma Xin-hua ， Lan Ai-yi . On-line Migration strategy in cloud computing based on AHP weight and gray server load predicting[J]. Computer Measurement & Control, 2015，23(3)：1002-1004.
8	Micah Adler , Soumen Chakrabarti , Michael Mitzenmacher , et al . Parallel randomized load balancing[J]. Random Structures & Algorithms, 2015，13(2):159-188.
9	Mohammad Alizadeh , Tom Edsall , Sarang Dharmapurikar ，et al . CONGA: distributed congestion-aware load balancing for datacenters[J]. ACM Sigcomm Computer Communication Review, 2015, 44(4):503-514.
10	Mukherjee D , Borst S C , van Leeuwaarden J S H , et al . Universality of load balancing schemes on diffusion scale[J]. Journal of Applied Probability, 2016，53(4)：1111-1124.
11	聂世青，钟勇，崔梦天 . 一种基于负载熵的层次负载均衡算法[J]. 计算机应用,2016，36(增刊.2：33-36.
	Nie Shi-qing ， Zhong Yong ， Cui Meng-tian . Hierarchical load balancing algorithm based on load entropy[J]. Journal of Computer Applications，2016，36(Sup.2)：33-36.
12	朱炜,王俊,周迅钊 . 基于负载均衡的医院云计算系统资源调度方案[J]. 计算机工程,2018, 44 (3): 37-41, 54.
	Zhu Wei , Wang Jun , Zhou Xun-zhao . Hospital cloud computing system resource scheduling scheme based on load balancing[J]. Computer Engineering,2018, 44 (3): 37-41, 54.
13	全力,傅明 . 云计算中任务调度优化策略的研究[J]. 计算机工程, 2018, 44(8): 14-18.
	Quan Li , Fu Ming . Research on task scheduling optimization strategy in cloud computing[J]. Computer Engineering, 2018, 44(8): 14-18.
14	Silva I ， Moody G B . An open-source toolbox for analysing and processing PhysioNet databases in MATLAB and Octave[J]. Journal of Open Research Software, 2014, 2(1):
	No .e27.
15	江列霖,杨培中,史超 . 基于负载均衡分区法的建筑火灾并行数值模拟及应用[J]. 上海交通大学学报, 2018，52(11)：1524-1531.
	Jiang Lie-lin , Yang Pei-zhong , Shi Chao . Numerical parallel simulation and application of building fire based on load balance domain decomposition method[J]. Journal of Shanghai Jiaotong University，2018，52(11)：1524-1531.

相关文章 15

[1]	常玉林,袁才鸿,孙超,张鹏. 基于改进元胞传输模型的城市路网实际阻抗计算方法[J]. 吉林大学学报(工学版), 2020, 50(1): 132-139.
[2]	郭孔辉,黄世庆,吴海东. 适用于高频激励的面内轮胎动态模型[J]. 吉林大学学报(工学版), 2020, 50(1): 19-28.
[3]	李雄飞,王婧,张小利,范铁虎. 基于SVM和窗口梯度的多焦距图像融合方法[J]. 吉林大学学报(工学版), 2020, 50(1): 227-236.
[4]	周柚,杨森,李大琳,吴春国,王岩,王康平. 基于现场可编程门电路的人脸检测识别加速平台[J]. 吉林大学学报(工学版), 2019, 49(6): 2051-2057.
[5]	赵宏伟,王鹏,范丽丽,胡黄水,刘萍萍. 相似性保持实例检索方法[J]. 吉林大学学报(工学版), 2019, 49(6): 2045-2050.
[6]	沈军,周晓,吉祖勤. 服务动态扩展网络及其结点系统模型的实现[J]. 吉林大学学报(工学版), 2019, 49(6): 2058-2068.
[7]	周炳海,吴琼. 考虑工具和空间约束的机器人装配线平衡优化[J]. 吉林大学学报(工学版), 2019, 49(6): 2069-2075.
[8]	车翔玖,刘华罗,邵庆彬. 基于Fast RCNN改进的布匹瑕疵识别算法[J]. 吉林大学学报(工学版), 2019, 49(6): 2038-2044.
[9]	曲大义,贾彦峰,刘冬梅,杨晶茹,王五林. 考虑多特性因素的路网交叉口群动态划分方法[J]. 吉林大学学报(工学版), 2019, 49(5): 1478-1483.
[10]	李宾,周旭,梅芳,潘帅宁. 基于K-means和矩阵分解的位置推荐算法[J]. 吉林大学学报(工学版), 2019, 49(5): 1653-1660.
[11]	张军,钱诚,郭春燕,钱玉君. 基于多源时空数据的建筑宜居性动态设计[J]. 吉林大学学报(工学版), 2019, 49(4): 1169-1173.
[12]	孙延君,申铉京,陈海鹏,赵永哲. 基于局部平面线性点的翻拍图像鉴别算法[J]. 吉林大学学报(工学版), 2019, 49(4): 1320-1328.
[13]	杨成,赵永胜,刘志峰,蔡力钢. 基于多尺度理论的栓接结合部动力学建模[J]. 吉林大学学报(工学版), 2019, 49(4): 1212-1220.
[14]	高万夫,张平,胡亮. 基于已选特征动态变化的非线性特征选择方法[J]. 吉林大学学报(工学版), 2019, 49(4): 1293-1300.
[15]	翟凤文,党建武,王阳萍,金静,罗维薇. 基于扩展轮廓的快速仿射不变特征提取[J]. 吉林大学学报(工学版), 2019, 49(4): 1345-1356.

Metrics

Viewed

Full text

Abstract

Cited

Shared

Discussed

核数	本文方法			文献[5]方法			文献[6]方法
核数	计算时间/s	加速比	并行效率/%	计算时间/s	加速比	并行效率/%	计算时间/s	加速比	并行效率/%
200	729	1	100	851	1	100	822	1	100
400	395	2.05	96.35	902	0.81	49.21	769	1.08	62.13
600	286	2.71	86.21	953	0.69	24.96	751	1.15	42.3
800	161	2.93	73.05	1 025	0.58	17.21	722	1.31	21.35